利用交互式分析(Hologres)进行数据查询

1 利用交互式分析工具进行数据查询 最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富，企 业信息化程度越来越高，企业掌握的 数据量呈 TB、PB或 EB级别增长。 同时，数据中台的快速推进，使数据 应用主要为数据支撑、用户画像、实 时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成 为企业数字化转型的关键。 产品列表 Hologres致力于低成本和高性能地 MaxCompute 大规模计算型存储和强大的查询能 Hologres 力，为您提供海量数据的实时数据仓 实时计算 Flink 专有网络 VPC 库解决方案和实时交互式查询服务。 DataWorks DataV 解决问题 最佳实践频道 阿里云最佳实践生态群 1. 加速查询 MaxCompute数据 2. 快速搭建实时数据仓库 3. 无缝对接主流 BI工具

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 阿里云 利用交互式分析工具 进行数据查询 最佳实践 文档版本：20150122（发布日期） II

3文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 文档版本：20210117 文档版本：20150122（发布日期） III

4利用交互式分析工具进行数据查询 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 利用交互式分析工具进行数据查询解决方案 文档编号 176 文档版本 V1.2 版本日期 2020-11-18 文档状态 外部发布 制作人 适己 审阅人 敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-10-30 适己 敬海，木久 创建 V1.1 2020-11-13 适己 攸恒 需求确认 V1.2 2020-11-18 适己 张明远 文档格式修改 V1.3 2021-01-17 久诚 敬海 换为 Flink V1.4 2021-02-26 川知 久诚 添加 dataworks处理 文档版本：20210117 I

5利用交互式分析工具进行数据查询 前言 前言 概述 数据经由实时大数据与历史数据聚合分析后通过 BI工具展示。该方案打通实时和离线 数据的壁垒，并将数据实时展示在 BI工具中；针对 IoT、金融、广告等领域需要实时 数据和离线数据结合使用的领域有所帮助。 应用范围 在阿里云大数据服务中，利用 MaxCompute服务进行海量历史数据的存储以及查询， 同时利用实时计算 Flink 进行实时数据的收集，并同历史数据一起汇聚在阿里云实时 交互式查询工具 Hologres中，最后利用 DataV进行动态展示。 名词解释 Hologres： Hologres 是阿里巴巴自主研发的一款交互式分析产品，兼容 PostgreSQL 11协议，与大数据生态无缝连接，支持高并发和低延时地分析处理 PB级数据。随着收集数据的方式不断丰富，企业信息化程度越来越高，企业掌握 的数据量呈 TB、PB或 EB级别增长。同时，数据中台的快速推进，使数据应用主 要为数据支撑、用户画像、实时圈人及广告精准投放等核心业务服务。高可靠和低 延 时 地 数 据 服 务 成 为 企 业 数 字 化 转 型 的 关 键 。 详 见 https://help.aliyun.com/product/113622.html MaxCompute：大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全 托管的 EB级数据仓库解决方案。随着数据收集手段不断丰富，行业数据大量积 累，数据规模已增长到了传统软件行业无法承载的海量数据（百 TB、PB、EB） 级别。MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的 解决方案及分析建模服务。由于单台服务器的处理能力有限，海量数据的分析需 要分布式的计算模型。分布式的计算模型对数据分析人员要求较高且不易维护。 数据分析人员不仅需要了解业务需求，同时还需要熟悉底层分布式计算模型。 MaxCompute为您提供完善的数据导入方案以及多种经典的分布式计算模型，您 可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。 详见 https://help.aliyun.com/product/27797.html 实时计算 Flink: 阿里云实时计算 Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink构建的企业 级、高性能实时大数据处理系统，由 Apache Flink创始团队官方出品，拥有全球 文档版本：20210117 III

6利用交互式分析工具进行数据查询 前言 统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。详见 https://help.aliyun.com/product/45029.html 文档版本：20210117 IV

7利用交互式分析工具进行数据查询 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 2 1. 产品简介 ....................................................................................................................................................... 3 1.1. 交互式分析 Hologres ..................................................................................................................... 3 1.2. 实时计算 ........................................................................................................................................ 4 1.3. 大数据计算服务 MaxCompute ...................................................................................................... 5 1.4. DataV .............................................................................................................................................. 6 2. 解决方案系统搭建 ........................................................................................................................................ 7 2.1. 解决方案介绍 ................................................................................................................................ 7 2.2. 创建子用户 .................................................................................................................................... 7 2.3. Hologres搭建 ................................................................................................................................. 8 2.3.1. 购买 Hologres实例................................................................................................................. 8 2.3.2. 创建数据库 .......................................................................................................................... 14 2.3.3. 数据连接 .............................................................................................................................. 17 2.4. 创建实时计算系统....................................................................................................................... 22 2.4.1. 创建网络资源....................................................................................................................... 22 2.4.2. 创建 OSS存储 ...................................................................................................................... 24 2.4.3. 开通 Flink全托管集群.......................................................................................................... 24 2.4.4. 创建作业 .............................................................................................................................. 26 2.5. 大数据计算服务 MaxCompute搭建 ............................................................................................ 29 2.5.1. 开通 MaxCompute ................................................................................................................ 29 2.5.2. 为工作空间添加成员和角色 ................................................................................................ 34 2.5.3. 数据处理与存储 ................................................................................................................... 37 2.5.3.1. 基于 ODPS CMD进行开发 ............................................................................................ 37 2.5.3.2. 基于 DataWorks进行开发 ............................................................................................ 41 2.5.4. 结果汇聚查询....................................................................................................................... 49 2.6. 可视化工具 DataV搭建 ............................................................................................................... 52 文档版本：20210117 V

8利用交互式分析工具进行数据查询 最佳实践概述 最佳实践概述 场景描述 在阿里云大数据服务中，利用 MaxCompute服务进行海量历史推送数据的存储以及查 询，同时利用实时计算 Flink进行实时广告曝光数据的收集，并同历史数据一起汇聚在 阿里云实时交互式查询工具 Hologres中，最后利用 DataV进行动态展示。 本最佳实践通过一个实际的 demo来演示如何建立 Maxcompute集群，使用 Flink收 集实时数据，并利用 Hologres进行汇聚查询。 系统架构 文档版本：20210117 1