BpFile(id=162, bpId=26, name=抢占式ECS搭建离线大数据分析集群, author=null, keyword=大数据分析, description=使用阿里云抢占式ECS实例以及OSS等云上产品构建低成本弹性大数据分析系统, position=null, ossUrl=bp-MFEJGLVP5NKSNPVQ.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=
场景描述
基于阿里云的抢占式ECS实例以及弹性
伸缩能力,同时结合阿里云对象存储OSS
服务搭建离线大数据分析集群,实现计算
与存储分离架构,同时降低计算资源成本
和提升计算资源利用效率同时拥有海量
存储能力
方案优势
⚫计算与存储资源成本优化
⚫大数据分析集群海量存储能力
⚫计算资源弹性伸缩
⚫运维简便
⚫计算与存储分离架构,集群高性能
解决问题
1.离线大数据分析集群计算与存储资源成
本管控困难
2.计算资源弹性能力不足
3.大数据量大导致容量不足
4.大数据分析集群云资源性能优化
产品列表
⚫抢占式ECS实例
⚫对象存储OSS
⚫弹性伸缩ESS
⚫专有网络VPC
⚫弹性公网IP
, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null, cooperation=, cooperationList=null)
1低成本基于抢占式 ECS实例进行离线大数据分析 最佳实践
业务架构 场景描述
基于阿里云的抢占式 ECS实例以及弹性
伸缩能力,同时结合阿里云对象存储 OSS
服务搭建离线大数据分析集群,实现计算
与存储分离架构,同时降低计算资源成本
和提升计算资源利用效率同时拥有海量
存储能力
方案优势
⚫ 计算与存储资源成本优化
⚫ 大数据分析集群海量存储能力
⚫ 计算资源弹性伸缩
⚫ 运维简便
⚫ 计算与存储分离架构,集群高性能
解决问题
1. 离线大数据分析集群计算与存储资源成
本管控困难
2. 计算资源弹性能力不足
3. 大数据量大导致容量不足
4. 大数据分析集群云资源性能优化
产品列表
⚫ 抢占式 ECS实例
⚫ 对象存储 OSS
⚫ 弹性伸缩 ESS
⚫ 专有网络 VPC
⚫ 弹性公网 IP
2文档模板(手册名称)/Error! Use the Home tab to apply
云服务器 ECS(产品名称) 标题 to the text that you want to appear here.
文档版本:20150122(发布日期)
I
3文档模板(手册名称)/Error! Use the Home tab to apply
云服务器 ECS(产品名称) 标题 to the text that you want to appear here.
文档版本:20191018
阿里云
企业上云实践
低成本基于抢占式 ECS实例进行
离线大数据分析实践
文档版本:20150122(发布日期)
II
4企业上云实践 低成本基于抢占式 ECS实例进行离线大数据分析实践
文档版本信息
文本信息
属性 内容
文档名称 低成本基于抢占式 ECS实例进行离线大数据分析实践
026
文档编号
V1.4
文档版本
2019-10-18
版本日期
文档状态 外部发布
制作人 明誉
-
审阅人
文档变更记录
版本编号 日期 作者 审核人 说明
V1.0 2019/03/18 明誉 创建
V1.1 2019/04/14 明誉 游圣 更新部分文案错误
V1.2 2019/6/17 明誉 更新文档封面内容等信
息
V1.3 2019/8/12 明誉 更新文档模版以及增加
最佳实践描述
V1.4 2019/10/18 明誉 增加对弹性伸缩的伸缩
组停机回收模式介绍、伸
文档版本:20191018 I
5企业上云实践 低成本基于抢占式 ECS实例进行离线大数据分析实践
缩配置多 ECS实例规格
配置说明、伸缩规则强调
说明
文档版本:20191018 II
6企业上云实践 低成本基于抢占式 ECS实例进行离线大数据分析实践
前言
概述
本文以抢占式 ECS实例以及对象存储为基础创建云上大数据分析系统,可以帮助用户
进行基于云上产品构建自身的弹性低成本以及计算与存储分离架构的离线大数据分析
平台
应用范围
⚫ 互联网等行业离线大数据分析平台。
⚫ 可扩展到各类需要构建云上离线大数据分析平台的企业用户。
名词解释
⚫ 抢占式 ECS实例:抢占式 ECS实例是一种按需实例,可以降低用户在部分应用
场景下使用 ECS的成本,例如可弹性伸缩的 Web站点服务、图像渲染、大数据
分析和大规模并行计算等,应用程序的分布度、可扩展性和容错能力越高,使用抢
占式实例越能节省成本和提升吞吐量。
⚫ 弹性伸缩服务(ESS):弹性伸缩可以根据用户设置的伸缩规则,自动调整弹性资源
大小,在业务需求增长时自动增加 ECS实例以保证计算能力,在业务需求下降时
自动减少 ECS实例以节约成本。
⚫ 对象存储(OSS): 是阿里云提供的海量、安全、低成本、高可靠的云存储服务。用
户可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
⚫ Hadoop:一个分布式系统基础架构。简单来说,Hadoop是一个可以更容易开发和
运行处理大规模数据的软件平台。该平台使用面向对象编程语言 Java进行开发,
具有良好的可移植性。
文档版本:20191018 II
7企业上云实践 低成本基于抢占式 ECS实例进行离线大数据分析实践
最佳实践概述
概述
本文以抢占式 ECS实例以及对象存储为基础创建云上大数据分析系统,可以帮助用户
进行基于云上产品构建自身的弹性低成本以及计算与存储分离架构的离线大数据分析
平台,并提供完整的 demo演示,可供客户以及一线业务架构师进行 PoC测试验证
场景描述
目前,大数据分析等技术已在网络社交、电商、广告、搜索等业务领域得到广泛应用。
电信、金融、医疗、交通等行业基于大数据推出了风险防控、信用评价等新型业务和
个性定制。企业更是利用相关数据和分析降低成本、提高效率、开发新产品,从而作
出更明智的业务。企业可以借助开源大数据分析软件例如 Hadoop搭建自有离线大数
据分析平台,从而拥有大数据分析能力,但是传统自建物理服务集群进行离线大数据
分析集群部署对于集群物理资源的成本、弹性、运维等方面存在比较明显的局限性,
因此企业会寻求基于云上资源部署 Hadoop离线大数据分析集群,拥有低成本、易维
护、高性能、计算资源灵活伸缩的离线大数据分析平台。本方案实践模拟基于阿里云
云上产品部署用户的离线大数据分析平台
方案架构和优势
⚫ 方案架构
文档版本:20191018 III
8企业上云实践 低成本基于抢占式 ECS实例进行离线大数据分析实践
⚫ 方案优势
✓ 低成本
✓ 海量存储
✓ 弹性伸缩
✓ 易运维
✓ 高性能
文档版本:20191018 IV