BpFile(id=162, bpId=26, name=抢占式ECS搭建离线大数据分析集群, author=null, keyword=大数据分析, description=使用阿里云抢占式ECS实例以及OSS等云上产品构建低成本弹性大数据分析系统, position=null, ossUrl=bp-RT0DJH2BHJKQ9F7D.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述基于阿里云的抢占式ECS实例以及弹性伸缩能力，同时结合阿里云对象存储OSS 服务搭建离线大数据分析集群，实现计算与存储分离架构，同时降低计算资源成本和提升计算资源利用效率同时拥有海量存储能力方案优势 ⚫计算与存储资源成本优化 ⚫大数据分析集群海量存储能力 ⚫计算资源弹性伸缩 ⚫运维简便 ⚫计算与存储分离架构，集群高性能解决问题 1.离线大数据分析集群计算与存储资源成本管控困难 2.计算资源弹性能力不足 3.大数据量大导致容量不足 4.大数据分析集群云资源性能优化产品列表 ⚫抢占式ECS实例 ⚫对象存储OSS ⚫弹性伸缩ESS ⚫专有网络VPC ⚫弹性公网IP, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)

1低成本基于抢占式 ECS实例进行离线大数据分析最佳实践业务架构场景描述基于阿里云的抢占式 ECS实例以及弹性伸缩能力，同时结合阿里云对象存储 OSS 服务搭建离线大数据分析集群，实现计算与存储分离架构，同时降低计算资源成本和提升计算资源利用效率同时拥有海量存储能力方案优势 ⚫ 计算与存储资源成本优化 ⚫ 大数据分析集群海量存储能力 ⚫ 计算资源弹性伸缩 ⚫ 运维简便 ⚫ 计算与存储分离架构，集群高性能解决问题 1. 离线大数据分析集群计算与存储资源成本管控困难 2. 计算资源弹性能力不足 3. 大数据量大导致容量不足 4. 大数据分析集群云资源性能优化产品列表 ⚫ 抢占式 ECS实例 ⚫ 对象存储 OSS ⚫ 弹性伸缩 ESS ⚫ 专有网络 VPC ⚫ 弹性公网 IP

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the text that you want to appear here. 文档版本：20150122（发布日期） I

3文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the text that you want to appear here. 文档版本：20191018 阿里云企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践文档版本：20150122（发布日期） II

4企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践文档版本信息文本信息属性内容文档名称低成本基于抢占式 ECS实例进行离线大数据分析实践 026 文档编号 V1.4 文档版本 2019-10-18 版本日期文档状态外部发布制作人明誉 - 审阅人文档变更记录版本编号日期作者审核人说明 V1.0 2019/03/18 明誉创建 V1.1 2019/04/14 明誉游圣更新部分文案错误 V1.2 2019/6/17 明誉更新文档封面内容等信息 V1.3 2019/8/12 明誉更新文档模版以及增加最佳实践描述 V1.4 2019/10/18 明誉增加对弹性伸缩的伸缩组停机回收模式介绍、伸文档版本：20191018 I

5企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践缩配置多 ECS实例规格配置说明、伸缩规则强调说明文档版本：20191018 II

6企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践前言概述本文以抢占式 ECS实例以及对象存储为基础创建云上大数据分析系统，可以帮助用户进行基于云上产品构建自身的弹性低成本以及计算与存储分离架构的离线大数据分析平台应用范围 ⚫ 互联网等行业离线大数据分析平台。 ⚫ 可扩展到各类需要构建云上离线大数据分析平台的企业用户。名词解释 ⚫ 抢占式 ECS实例：抢占式 ECS实例是一种按需实例，可以降低用户在部分应用场景下使用 ECS的成本，例如可弹性伸缩的 Web站点服务、图像渲染、大数据分析和大规模并行计算等，应用程序的分布度、可扩展性和容错能力越高，使用抢占式实例越能节省成本和提升吞吐量。 ⚫ 弹性伸缩服务(ESS):弹性伸缩可以根据用户设置的伸缩规则，自动调整弹性资源大小，在业务需求增长时自动增加 ECS实例以保证计算能力，在业务需求下降时自动减少 ECS实例以节约成本。 ⚫ 对象存储(OSS): 是阿里云提供的海量、安全、低成本、高可靠的云存储服务。用户可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。 ⚫ Hadoop:一个分布式系统基础架构。简单来说，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用面向对象编程语言 Java进行开发，具有良好的可移植性。文档版本：20191018 II

7企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践最佳实践概述概述本文以抢占式 ECS实例以及对象存储为基础创建云上大数据分析系统，可以帮助用户进行基于云上产品构建自身的弹性低成本以及计算与存储分离架构的离线大数据分析平台,并提供完整的 demo演示，可供客户以及一线业务架构师进行 PoC测试验证场景描述目前，大数据分析等技术已在网络社交、电商、广告、搜索等业务领域得到广泛应用。电信、金融、医疗、交通等行业基于大数据推出了风险防控、信用评价等新型业务和个性定制。企业更是利用相关数据和分析降低成本、提高效率、开发新产品，从而作出更明智的业务。企业可以借助开源大数据分析软件例如 Hadoop搭建自有离线大数据分析平台，从而拥有大数据分析能力，但是传统自建物理服务集群进行离线大数据分析集群部署对于集群物理资源的成本、弹性、运维等方面存在比较明显的局限性，因此企业会寻求基于云上资源部署 Hadoop离线大数据分析集群，拥有低成本、易维护、高性能、计算资源灵活伸缩的离线大数据分析平台。本方案实践模拟基于阿里云云上产品部署用户的离线大数据分析平台方案架构和优势 ⚫ 方案架构文档版本：20191018 III

8企业上云实践低成本基于抢占式 ECS实例进行离线大数据分析实践 ⚫ 方案优势 ✓ 低成本 ✓ 海量存储 ✓ 弹性伸缩 ✓ 易运维 ✓ 高性能文档版本：20191018 IV

抢占式ECS搭建离线大数据分析集群

相关产品

温馨提示