Ctrl+F / Command+F 全文检索

相关产品

客户案例

相关最佳实践
业务上云 |

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS

专有网络 VPC 云服务器ECS 服务器迁移中心 云架构设计工具
ML&AI |

利用PAI平台快速构建一个高效的离线训练和在线推理的推荐业务系统。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 大数据计算服务 MaxCompute 机器学习PAI 云架构设计工具
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

云原生高性价比的等保三级最佳实践;在等保二级基础上,叠加必要的安全产品及高可用架构/满足三级要求

云服务器ECS 日志服务(SLS) 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云架构设计工具
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 云数据库RDS MySQL 版 负载均衡 SLB 容器服务 ACK 云效 云架构设计工具
业务上云 |

适用于中小型电商应用上云。包括常用最佳实践架构,同时提供云上资源建站和数据库迁移实践操作。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=301, bpId=176, name=利用交互式分析(Hologres)进行数据查询, author=null, keyword=交互,maxcompute,hologres,DataV,实时计算, description=数据经由实时大数据与历史数据聚合分析后通过BI工具展示。该方案打通实时和离线数据的壁垒,并将数据实时展示在BI工具中;针对IoT、金融、广告等领域需要实时数据和离线数据结合使用的领域有所帮助。, position=null, ossUrl=bp-JDKS6CTOBHQ8DOU0.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 ⚫MaxCompute ⚫Hologres ⚫实时计算Flink ⚫专有网络VPC ⚫DataWorks ⚫DataV

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 利用交互式分析工具进行数据查询 最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富,企 业信息化程度越来越高,企业掌握的 数据量呈 TB、PB或 EB级别增长。 同时,数据中台的快速推进,使数据 应用主要为数据支撑、用户画像、实 时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成 为企业数字化转型的关键。 产品列表 Hologres致力于低成本和高性能地 MaxCompute 大规模计算型存储和强大的查询能 Hologres 力,为您提供海量数据的实时数据仓 实时计算 Flink 专有网络 VPC 库解决方案和实时交互式查询服务。 DataWorks DataV 解决问题 最佳实践频道 阿里云最佳实践生态群 1. 加速查询 MaxCompute数据 2. 快速搭建实时数据仓库 3. 无缝对接主流 BI工具
2文档模板(手册名称)/Error! Use the Home tab to apply 云服务器 ECS(产品名称) 标题 to the text that you want to appear here. 阿里云 利用交互式分析工具 进行数据查询 最佳实践 文档版本:20150122(发布日期) II
3文档模板(手册名称)/Error! Use the Home tab to apply 云服务器 ECS(产品名称) 标题 to the text that you want to appear here. 文档版本:20210117 文档版本:20150122(发布日期) III
4利用交互式分析工具进行数据查询 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 利用交互式分析工具进行数据查询解决方案 文档编号 176 文档版本 V1.2 版本日期 2020-11-18 文档状态 外部发布 制作人 适己 审阅人 敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-10-30 适己 敬海,木久 创建 V1.1 2020-11-13 适己 攸恒 需求确认 V1.2 2020-11-18 适己 张明远 文档格式修改 V1.3 2021-01-17 久诚 敬海 换为 Flink V1.4 2021-02-26 川知 久诚 添加 dataworks处理 文档版本:20210117 I
5利用交互式分析工具进行数据查询 前言 前言 概述 数据经由实时大数据与历史数据聚合分析后通过 BI工具展示。该方案打通实时和离线 数据的壁垒,并将数据实时展示在 BI工具中;针对 IoT、金融、广告等领域需要实时 数据和离线数据结合使用的领域有所帮助。 应用范围 在阿里云大数据服务中,利用 MaxCompute服务进行海量历史数据的存储以及查询, 同时利用实时计算 Flink 进行实时数据的收集,并同历史数据一起汇聚在阿里云实时 交互式查询工具 Hologres中,最后利用 DataV进行动态展示。 名词解释 Hologres: Hologres 是阿里巴巴自主研发的一款交互式分析产品,兼容 PostgreSQL 11协议,与大数据生态无缝连接,支持高并发和低延时地分析处理 PB级数据。随着收集数据的方式不断丰富,企业信息化程度越来越高,企业掌握 的数据量呈 TB、PB或 EB级别增长。同时,数据中台的快速推进,使数据应用主 要为数据支撑、用户画像、实时圈人及广告精准投放等核心业务服务。高可靠和低 延 时 地 数 据 服 务 成 为 企 业 数 字 化 转 型 的 关 键 。 详 见 https://help.aliyun.com/product/113622.html MaxCompute:大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全 托管的 EB级数据仓库解决方案。随着数据收集手段不断丰富,行业数据大量积 累,数据规模已增长到了传统软件行业无法承载的海量数据(百 TB、PB、EB) 级别。MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的 解决方案及分析建模服务。由于单台服务器的处理能力有限,海量数据的分析需 要分布式的计算模型。分布式的计算模型对数据分析人员要求较高且不易维护。 数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。 MaxCompute为您提供完善的数据导入方案以及多种经典的分布式计算模型,您 可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。 详见 https://help.aliyun.com/product/27797.html 实时计算 Flink: 阿里云实时计算 Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink构建的企业 级、高性能实时大数据处理系统,由 Apache Flink创始团队官方出品,拥有全球 文档版本:20210117 III
6利用交互式分析工具进行数据查询 前言 统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。详见 https://help.aliyun.com/product/45029.html 文档版本:20210117 IV
7利用交互式分析工具进行数据查询 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 2 1. 产品简介 ....................................................................................................................................................... 3 1.1. 交互式分析 Hologres ..................................................................................................................... 3 1.2. 实时计算 ........................................................................................................................................ 4 1.3. 大数据计算服务 MaxCompute ...................................................................................................... 5 1.4. DataV .............................................................................................................................................. 6 2. 解决方案系统搭建 ........................................................................................................................................ 7 2.1. 解决方案介绍 ................................................................................................................................ 7 2.2. 创建子用户 .................................................................................................................................... 7 2.3. Hologres搭建 ................................................................................................................................. 8 2.3.1. 购买 Hologres实例................................................................................................................. 8 2.3.2. 创建数据库 .......................................................................................................................... 14 2.3.3. 数据连接 .............................................................................................................................. 17 2.4. 创建实时计算系统....................................................................................................................... 22 2.4.1. 创建网络资源....................................................................................................................... 22 2.4.2. 创建 OSS存储 ...................................................................................................................... 24 2.4.3. 开通 Flink全托管集群.......................................................................................................... 24 2.4.4. 创建作业 .............................................................................................................................. 26 2.5. 大数据计算服务 MaxCompute搭建 ............................................................................................ 29 2.5.1. 开通 MaxCompute ................................................................................................................ 29 2.5.2. 为工作空间添加成员和角色 ................................................................................................ 34 2.5.3. 数据处理与存储 ................................................................................................................... 37 2.5.3.1. 基于 ODPS CMD进行开发 ............................................................................................ 37 2.5.3.2. 基于 DataWorks进行开发 ............................................................................................ 41 2.5.4. 结果汇聚查询....................................................................................................................... 49 2.6. 可视化工具 DataV搭建 ............................................................................................................... 52 文档版本:20210117 V
8利用交互式分析工具进行数据查询 最佳实践概述 最佳实践概述 场景描述 在阿里云大数据服务中,利用 MaxCompute服务进行海量历史推送数据的存储以及查 询,同时利用实时计算 Flink进行实时广告曝光数据的收集,并同历史数据一起汇聚在 阿里云实时交互式查询工具 Hologres中,最后利用 DataV进行动态展示。 本最佳实践通过一个实际的 demo来演示如何建立 Maxcompute集群,使用 Flink收 集实时数据,并利用 Hologres进行汇聚查询。 系统架构 文档版本:20210117 1