Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
中间件 | 容器&微服务 |

Spring Cloud应用经过简单改造,迁移到云上企业级分布式应用服务(EDAS),利用EDAS的监控、调用链、限流降级

专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS
中间件 |

介绍如何用 Serverless 应用引擎(SAE)帮助企业极速构建云上微服务应用

专有网络 VPC 负载均衡 SLB 应用实时监控服务 ARMS 云监控 Serverless 应用引擎
业务上云 | 数据库 |

使用Oracle数据库的应用上云,通过ADAM评分、改造、迁移实现数据库迁移到PolarDB(Oracle兼容版),应用访问

专有网络 VPC 云服务器ECS 云数据库PolarDB 数据库和应用迁移 ADAM

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=288, bpId=162, name=基于弹性供应组构建大数据分析集群, author=null, keyword=弹性供应组,spark, description=阿里云原生交付ECS实例的的方式:单个实例和批量交付实例。以上两种方式均缺乏灵活性,无法跨越计费方式、可用区及规格族等核心参数的限制,同时无法避免资源不足的情况。基于此阿里云提供了一种自动化交付实例集群的方式弹性供应组(Auto Provisioning Group,APG),弹性供应组是一个使用抢占式实例和按量付费实例快速部署实例集群的方案。 APG支持一键部署跨计费方式、跨可用区、跨实例规格族的实例集群。无需纠结于某种实例规格在某个可用区资源不足的问题,满足既定容量需求的同时,获得最低的TCO总拥有成本, position=null, ossUrl=bp-XWLGIGXK4NVP34KH.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 ⚫专有网络VPC ⚫云服务器ECS

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组(APG)搭建 spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1. 超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用 spot实例 交付,最高可省 90%成本。 2. 稳定可靠:跨可用域、跨实例规格, 降低 spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3. 快速交付:单次可在 5分钟内交付 2000个实例。 4. 多策略组合:可分别指定 spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 产品列表 1. 大规模计算集群成本高。 ⚫ 专有网络 VPC 2. 创建 ECS实例方式单一,无法跨计费 ⚫ 云服务器 ECS 方式、可用区及规格等核心参数。 3. 当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。
2文档模板(手册名称)/Error! Use the Home tab to apply 云服务器 ECS(产品名称) 标题 to the text that you want to appear here. 阿里云 企业上云实践 基于弹性供应组构建大数据 分析集群最佳实践 文档版本:20150122(发布日期) II
3文档模板(手册名称)/Error! Use the Home tab to apply 云服务器 ECS(产品名称) 标题 to the text that you want to appear here. 文档版本:20200619 文档版本:20150122(发布日期) III
4基于弹性供应组构建大数据集群分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于弹性供应组构建大数据分析集群最佳实践 文档编号 162 文档版本 V1.1 版本日期 2020-06-19 文档状态 外部发布 制作人 川知 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-06-12 川知 - 创建 V1.1 2020-06-17 张明远 - 文档优化 文档版本:20200619 I
5基于弹性供应组构建大数据集群分析 前言 前言 概述 阿里云原生交付 ECS实例的的方式:单个实例和批量交付实例。以上两种方式均缺乏 灵活性,无法跨越计费方式、可用区及规格族等核心参数的限制,同时无法避免资源 不足的情况。基于此阿里云提供了一种自动化交付实例集群的方式弹性供应组(Auto Provisioning Group,APG),弹性供应组是一个使用抢占式实例和按量付费实例快速 部署实例集群的方案。 APG支持一键部署跨计费方式、跨可用区、跨实例规格族的 实例集群。无需纠结于某种实例规格在某个可用区资源不足的问题,满足既定容量需 求的同时,获得最低的 TCO总拥有成本。 应用范围 适合无状态的应用场景,比如可横向伸缩的 Web站点服务、图像渲染、大数据分析、 并行计算等。 名词解释 ⚫ 按量付费:是一种先使用后付费方式。使用这种方式,您可以按需取用资源,随时 开启和释放资源,无需提前购买大量资源。与传统主机投入相比,成本可以降低 30%-80%。开通按量付费的 ECS资源时,阿里云账户余额不得少于 100.00元 人 民 币 或 者 等 值 的 代 金 券 或 者 优 惠 券 。 详 见 : https://help.aliyun.com/knowledge_detail/40653.html ⚫ 抢占式实例:是一种按需实例,旨在降低部分场景下使用 ECS实例的成本。抢占 式实例的市场价格会随供需变化而浮动。在创建抢占式实例时指定出价模式,当 指定实例规格的当前市场价格低于出价且库存充足时,就能成功创建抢占式实例, 并按照当前市场价格计费。抢占式实例创建成功后拥有一小时的保护周期,即在 创建成功后第一个小时内,即使市场价格浮动超过了出价,抢占式实例也不会被 释放。超过保护周期后,每 5分钟检测一次实例规格的当前市场价格和库存,如 果某一时刻的市场价格高于出价或实例规格库存不足,抢占式实例会被释放。 ⚫ 访问控制(RAM):访问控制(RAM)是阿里云提供的管理用户身份与资源访问权 限的服务,实现不同用户拥有不同资源访问权限的目的。 ⚫ VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 文档版本:20200619 III
6基于弹性供应组构建大数据集群分析 前言 VPC和交换机的数量及网段等。详见:https://www.aliyun.com/product/vpc ⚫ 弹性供应组(APG):弹性供应室一个使用抢占式实例和按量付费实例快速部署实 例集群的方案,支持一键部署跨计费方式、跨可用区、跨实例规格族的实例集群。 可以通过弹性供应组稳定提供计算力,缓解抢占式实例的回收机制带来的不稳定 因数,免去重复手动创建实例的繁琐操作。 文档版本:20200619 IV
7基于弹性供应组构建大数据集群分析 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 3 方案背景 ............................................................................................................................................................... 4 1. Spark集群及网络规划 .................................................................................................................................. 5 1.1. 相关概念介绍 ................................................................................................................................ 5 1.2. 集群计算能力规划......................................................................................................................... 5 1.3. VPC网络规划 ................................................................................................................................. 6 2. 创建专有网络 VPC ........................................................................................................................................ 7 3. 创建并配置 NAT网关 ................................................................................................................................. 12 4. Spark集群搭建 ........................................................................................................................................... 17 4.1. spark master节点 ........................................................................................................................ 17 4.1.1. 创建密钥对 .......................................................................................................................... 17 4.1.2. 创建 ECS ............................................................................................................................... 18 4.1.3. 安装 spark master节点 ........................................................................................................ 25 4.2. 基于弹性供应组搭建 Spark计算节点 ......................................................................................... 29 4.2.1. 创建启动模板....................................................................................................................... 29 4.2.2. 创建弹性供应组 ................................................................................................................... 34 文档版本:20200619 V
8基于弹性供应组构建大数据集群分析 最佳实践概述 最佳实践概述 概述 利用阿里云云服务器 ECS、弹性供应组等产品给用户展示:用户在自建大数据等平台 时,如何通过弹性供应组,快速实现一键创建跨计费方式、跨可用区、跨实例规格族、 稳定的实例集群。 场景描述 随着大数据的兴起,越来越多的客户会尝试通过云服务器搭建自己的大数据分析平台, 如 Hadoop、Spark等。但是用户通过种单例或批量创建 ecs,方式均缺乏灵活性,无 法跨越计费方式、可用区及规格族等核心参数的限制,同时无法避免资源不足的情况, 这给用户带来了极大的不便利性。 方案架构和优势 ⚫ 方案架构 文档版本:20200619 1