最佳实践助力数禾构建高弹性低成本数_客户案例

客户之声

客户简介

数禾科技成立于2015年8月，是分众传媒、红杉资本、新浪等联合投资的C轮金融科技公司。公司的愿景是做陪伴用户一生的智能金融家，秉承开放，挑战，专业，创新的价值观，让人人享有金融服务最优解。公司的主要产品是还呗和拿铁智投，主要提供信贷，理财，电商等服务，已经拥有8000万注册用户。作为国内金融科技代表性企业，数禾科技率先将大数据和AI技术引入智能获客、智能风控、智能运营、智能客服等多个方面。截至目前，数禾科技已与包括银行、信贷、持牌消金、基金和保险等在内的100余家金融机构展开合作。

客户需求

客户业务及技术挑战：

1、在大数据上云过程中，客户遇到最大的问题就是计算资源不足，以及大规模计算用量带来的高成本。在创建多个EMR集群之后，如何按照业务维度进行合理的分账也是一个运维难题。

2、基于EMR+OSS的数据湖方案，如何与MaxCompute数仓有机结合，统一元数据管理和权限管理。

客户价值

1、弹性资源保障及成本优化：

a. 对可用区及服务器规格做合理的规划选型，避免底层资源不足导致的业务被动迁移。

b. EMR集群的task节点起初选择的是抢占式实例（相比较按量有较低折扣），但在底层资源不足的情况下会导致扩容失败。为了保障资源交付，弹性资源从抢占式实例切换到按量付费，随之而来带来的就是按量资源的高成本。梳理客户按量资源类型，推荐客户购买预留实例券XXX台覆盖稳态按量资源，使用率达 100%，保守估计降本 40% 以上。目前客户也正在参考SCU最佳实践部分对块存储进行成本优化。

c. 后来EMR集群集成了弹性伸缩的成本优先策略，即优先创建抢占式实例、若失败再创建按量实例，增加弹性资源交付成功率，同时降低成本。

2、成本管理：
阿里云提供了给资源打TAG的方式实现分账，具体实现上，客户通过给EMR集群打TAG的方式实现多EMR业务集群之间的分账管理。客户在此基础之上，拉取ResourceManger里的MemorySeconds指标，按照计算公式：MemorySeconds Of SQL/Total MemorySeconds Of EMR * EMR集群总费用估算出每条SQL的费用，督促业务优化消耗资源多的SQL和下线无用SQL。
3、前沿技术探索：
当前客户正在尝试基于DLF的数据湖架构，将EMR的元数据和Maxcompute元数据迁移到DLF，底层使用OSS作统一存储，打通EMR构建的数据湖和Maxcompute构建的数据仓库两套体系，让数据和计算在湖和仓之间自由流动，真正实现湖仓一体。

客户之声

数禾科技成立于2015年8月，是分众传媒、红杉资本、新浪等联合投资的C轮金融科技公司。公司的主要产品是还呗和拿铁智投，主要提供信贷，理财，电商等服务，已经拥有8000万注册用户。在大数据上云过程中，我们遇到最大的问题就是计算资源不足，以及大规模计算用量带来的高成本。参考最佳实践《RI和SCU全链路使用实践》我们梳理了大数据集群的服务器弹性用量情况，通过预留实例券将原来的按量资源费用降低了40%。在《单账户企业分账最佳实践》指导下，我们也采用了给各个集群打TAG标签的方式，实现了多个EMR业务集群的分账管理。在摸索湖上建仓的过程中，阿里云计算平台和最佳实践团队输出的《MaxCompute湖仓一体方案》给了我们很多宝贵的思路。希望能继续和阿里云最佳实践团队保持密切合作。

解说人

大数据平台架构师程俊杰

最佳实践助力数禾构建高弹性低成本数据湖方案

客户之声

客户简介

客户需求

客户价值

客户之声

解说人

相关产品

相关最佳实践