基于弹性供应组构建大数据分析集群

1 基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1. 超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。 2. 稳定可靠：跨可用域、跨实例规格， 降低 spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3. 快速交付：单次可在 5分钟内交付 2000个实例。 4. 多策略组合：可分别指定 spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 产品列表 1. 大规模计算集群成本高。 ⚫ 专有网络 VPC 2. 创建 ECS实例方式单一，无法跨计费 ⚫ 云服务器 ECS 方式、可用区及规格等核心参数。 3. 当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 阿里云 企业上云实践 基于弹性供应组构建大数据 分析集群最佳实践 文档版本：20150122（发布日期） II

3文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 文档版本：20200619 文档版本：20150122（发布日期） III

4基于弹性供应组构建大数据集群分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于弹性供应组构建大数据分析集群最佳实践 文档编号 162 文档版本 V1.1 版本日期 2020-06-19 文档状态 外部发布 制作人 川知 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-06-12 川知 - 创建 V1.1 2020-06-17 张明远 - 文档优化 文档版本：20200619 I

5基于弹性供应组构建大数据集群分析 前言 前言 概述 阿里云原生交付 ECS实例的的方式：单个实例和批量交付实例。以上两种方式均缺乏 灵活性，无法跨越计费方式、可用区及规格族等核心参数的限制，同时无法避免资源 不足的情况。基于此阿里云提供了一种自动化交付实例集群的方式弹性供应组（Auto Provisioning Group，APG），弹性供应组是一个使用抢占式实例和按量付费实例快速 部署实例集群的方案。 APG支持一键部署跨计费方式、跨可用区、跨实例规格族的 实例集群。无需纠结于某种实例规格在某个可用区资源不足的问题，满足既定容量需 求的同时，获得最低的 TCO总拥有成本。 应用范围 适合无状态的应用场景，比如可横向伸缩的 Web站点服务、图像渲染、大数据分析、 并行计算等。 名词解释 ⚫ 按量付费：是一种先使用后付费方式。使用这种方式，您可以按需取用资源，随时 开启和释放资源，无需提前购买大量资源。与传统主机投入相比，成本可以降低 30%－80%。开通按量付费的 ECS资源时，阿里云账户余额不得少于 100.00元 人 民 币 或 者 等 值 的 代 金 券 或 者 优 惠 券 。 详 见 : https://help.aliyun.com/knowledge_detail/40653.html ⚫ 抢占式实例：是一种按需实例，旨在降低部分场景下使用 ECS实例的成本。抢占 式实例的市场价格会随供需变化而浮动。在创建抢占式实例时指定出价模式，当 指定实例规格的当前市场价格低于出价且库存充足时，就能成功创建抢占式实例， 并按照当前市场价格计费。抢占式实例创建成功后拥有一小时的保护周期，即在 创建成功后第一个小时内，即使市场价格浮动超过了出价，抢占式实例也不会被 释放。超过保护周期后，每 5分钟检测一次实例规格的当前市场价格和库存，如 果某一时刻的市场价格高于出价或实例规格库存不足，抢占式实例会被释放。 ⚫ 访问控制（RAM）：访问控制（RAM）是阿里云提供的管理用户身份与资源访问权 限的服务，实现不同用户拥有不同资源访问权限的目的。 ⚫ VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 文档版本：20200619 III

6基于弹性供应组构建大数据集群分析 前言 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ⚫ 弹性供应组（APG）：弹性供应室一个使用抢占式实例和按量付费实例快速部署实 例集群的方案，支持一键部署跨计费方式、跨可用区、跨实例规格族的实例集群。 可以通过弹性供应组稳定提供计算力，缓解抢占式实例的回收机制带来的不稳定 因数，免去重复手动创建实例的繁琐操作。 文档版本：20200619 IV

7基于弹性供应组构建大数据集群分析 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 3 方案背景 ............................................................................................................................................................... 4 1. Spark集群及网络规划 .................................................................................................................................. 5 1.1. 相关概念介绍 ................................................................................................................................ 5 1.2. 集群计算能力规划......................................................................................................................... 5 1.3. VPC网络规划 ................................................................................................................................. 6 2. 创建专有网络 VPC ........................................................................................................................................ 7 3. 创建并配置 NAT网关 ................................................................................................................................. 12 4. Spark集群搭建 ........................................................................................................................................... 17 4.1. spark master节点 ........................................................................................................................ 17 4.1.1. 创建密钥对 .......................................................................................................................... 17 4.1.2. 创建 ECS ............................................................................................................................... 18 4.1.3. 安装 spark master节点 ........................................................................................................ 25 4.2. 基于弹性供应组搭建 Spark计算节点 ......................................................................................... 29 4.2.1. 创建启动模板....................................................................................................................... 29 4.2.2. 创建弹性供应组 ................................................................................................................... 34 文档版本：20200619 V

8基于弹性供应组构建大数据集群分析 最佳实践概述 最佳实践概述 概述 利用阿里云云服务器 ECS、弹性供应组等产品给用户展示：用户在自建大数据等平台 时，如何通过弹性供应组，快速实现一键创建跨计费方式、跨可用区、跨实例规格族、 稳定的实例集群。 场景描述 随着大数据的兴起，越来越多的客户会尝试通过云服务器搭建自己的大数据分析平台， 如 Hadoop、Spark等。但是用户通过种单例或批量创建 ecs，方式均缺乏灵活性，无 法跨越计费方式、可用区及规格族等核心参数的限制，同时无法避免资源不足的情况， 这给用户带来了极大的不便利性。 方案架构和优势 ⚫ 方案架构 文档版本：20200619 1