互联网电商与游戏行业实时BI分析

1互联网电商与游戏行业实时BI分析 最佳实践 业务架构图 场景描述 本文以电商行业为例，将业务数据和 日志数据同步到ADB，之后通过 QuickBI做实时可视化分析。相对于 传统的关系型数据库，阿里云分析型 数据库MySQL版只需要几毫秒的时 间，即可查询PB级数据并从中找到 匹配信息。 解决问题 1. 互联网行业、电商、游戏行业等 网站、App、小程序应用内BI分 析场景。 2. 在线运营、运营指标实时化分析 等场景。 3. 可扩展到各类网站BI分析场景使 用。 产品列表 1. 分析型数据库MySQL版 2. 日志服务SLS 3. QuickBI 4. 数据传输服务DTS 5. 云服务器ECS 6. RDSMySQL版

2云服务器ECS（产品名称） 文档模板（手册名称）/错误！文档中没有指定样式的文字。 阿里云 企业上云实践 互联网电商及游戏行业实时BI分析 最佳实践 文档版本：20210829 2

3互联网、电商及游戏行业BI分析最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 互联网、电商及游戏行业实时BI分析最佳实践 文档编号 100 文档版本 V1.6 版本日期 2021-08-29 文档状态 外部发布 制作人 弦望、期会 审阅人 云魁、敬海、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-07-12 弦望、期会 云魁、敬海 创建 V1.1 2019-10-11 筱晖 - 文档优化 V1.2 2020-01-06 期会 - 更新ADB3.0 V1.3 2020-01-20 期会 - 增加概览页 V1.4 2021-01-20 期会 - 增加CADT V1.5 2021-02-08 敬海 - 更新一些补充 步骤 V1.6 2021-08-29 衾影 - 文档优化 文档版本：20210829 I

4互联网、电商及游戏行业BI分析最佳实践 前言 前言 概述 本文以电商行业为例，将业务数据和日志数据同步到ADB之后通过QuickBI做实时可 视化分析。相对于传统的关系型数据库，阿里云分析型数据库MySQL版只需要几毫 秒的时间，即可查询PB级数据并从中找到匹配信息。本文提供全流程完整的Demo 演示，可作为客户、架构师PoC验证使用。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  线运营、运营指标实时化分析等场景  可扩展到各类网站BI分析场景使用。 名词解释  专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划VPC和交换机的数量及网段等。更多信息，请参见专有网络 VPC简介（https://www.aliyun.com/product/vpc）。  弹性公网IP：独立的公网IP资源，可以绑定到阿里云专有网络VPC类型的ECS、 NAT网关、私网负载均衡SLB上，并可以动态解绑，实现公网IP和ECS、NAT 网关、SLB 的解耦，满足灵活管理的要求。更多信息请参见： （https://www.aliyun.com/product/eip）。  关系型数据库RDS：RelationalDatabaseService，简称RDS，是一种稳定可靠、 可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和SSD盘高性 能存储，支持MySQL、SQLServer、PostgreSQL、PPAS和MariaDB引擎，提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运 维的烦恼。更多信息，请参见云数据库 RDS MySQL 版简介 （https://www.aliyun.com/product/rds/mysql）。  数据传输服务(DataTransmissionService):DTS支持关系型数据库、NoSQL、大 数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决 文档版本：20210829 III

5互联网、电商及游戏行业BI分析最佳实践 前言 远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为阿里双11异地 多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行5年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。更多信息，请 参见DTS简介：（https://www.aliyun.com/product/dts）。  云服务器 ECS（ElasticComputeService）:是一种弹性可伸缩的计算服务，助您 降低 IT 成本，提升运维效率，使您更专注于核心业务创新。更多信息，请参见 ECS简介：（https://www.aliyun.com/product/ecs）。  分析型数据库MySQL版（后文简称ADB）：分析型数据库MySQL版（AnalyticDB forMySQL）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议 以及SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视 和业务探索。更多信息请参见（https://www.aliyun.com/product/ads）。  日志服务SLS：行业领先的日志大数据解决方案，一站式提供数据集、清洗、分 析、可视化和告警功能。全面提升海量日志处理能力，实时挖掘数据价值，智能 助力研发/运维/运营/安全等场景。  数据管理DMS：数据管理DMS源自阿里数据库服务平台，是一个免安装、免运 维、即开即用、多环境来源、多种数据库类型统一的数据库管理web终端，已为 数万人员提供数据库研发支撑。更有完善的安全合规审计保障、数据库全流程 DevOps服务支持。更多信息请参见（https://www.aliyun.com/product/dms）。 文档版本：20210829 IV

6互联网、电商及游戏行业BI分析最佳实践 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II ................................................................................................................................................................................ 前言 III 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 前置条件........................................................................................................................................................................3 ................................................................................................................................................................ 演示环境说明 4 ........................................................................................................................................................................ 1. 导读 5 1.1. 如何选择阅读内容................................................................................................................................5 .................................................................................................................... 1.2. 如何下载源码和脚本文件 5 1.3. 配置账号AK、SK.................................................................................................................................5 ............................................................................................................................................. 2. 搭建电商网站Demo 7 ........................................................................................................................................ 2.1. 基础环境搭建 7 2.2. 电商网站初始化..................................................................................................................................10 ...................................................................................................................................... 2.3. 构造用户数据 17 2.4. 构造产品数据......................................................................................................................................22 ................................................................................................................................................. 3. ADB数据库配置 28 .................................................................................................................................... 3.1. 创建ADB账号 28 3.2. 创建数据库..........................................................................................................................................29 .......................................................................................................................................... 3.3. 创建日志表 31 3.4. 添加白名单..........................................................................................................................................31 .............................................................................................................. 3.5. 业务数据实时同步（DTS） 33 .............................................................................................................................................................. 4. SLS配置 40 4.1. OSS配置.............................................................................................................................................40 .............................................................................................................................................. 4.2. SLS配置 42 4.3. WebTracking日志数据采集............................................................................................................44 ............................................................................................................. 4.4. magento系统开启日志采集 45 ...................................................................................................................................... 4.5. 查看日志数据 48 4.6. SLS数据加工（ETL）......................................................................................................................48 ......................................................................................................................... 4.7. 同步日志数据到ADB 53 4.8. 生成ADB的日志数据........................................................................................................................56 .................................................................................................................................. 5. 数据分析及QuickBI展示 60 .............................................................................................................................. 5.1. 开通QuickBI服务 60 5.2. 添加数据集..........................................................................................................................................62 .......................................................................................................................................... 5.3. 添加仪表板 68 5.4. 数据分析-用户地域分布....................................................................................................................70 .................................................................................................................... 5.5. 数据分析-用户年龄分布 73 ............................................................................................................................ 5.6. 数据分析-用户画像 75 5.7. 展示页面..............................................................................................................................................78 文档版本：20210208 V

7互联网、电商及游戏行业BI分析最佳实践 最佳实践概述 最佳实践概述 概述 本文以电商行业为例，将业务数据和日志数据同步到ADB，之后通过QuickBI做实时 可视化分析。相对于传统的关系型数据库，阿里云分析型数据库MySQL版只需要几 毫秒的时间，即可查询PB级数据并从中找到匹配信息。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  在线运营、运营指标实时化分析等场景。  可扩展到各类网站BI分析场景使用。 方案架构 使用ADB+QuickBI可以快速对数据进行BI分析，分析业务数据，建立用户画像等。 本方案业务数据保存在RDS中，通过DTS实时同步到ADB，日志数据通过日志服务 投放到ADB。 1 文档版本：20210829

8互联网、电商及游戏行业BI分析最佳实践 最佳实践概述 方案优势  以ADB+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数据、 日志数据同步到阿里云的日志服务和分析性数据库。  融合阿里云的日志服务SLS的生态，增强用户体验(如无缝对接 Blink、 Elasticsearch、RDS、ADB、EMR、dataV 等产品)。  通过ADB强大的数据查询分析能力，极大的降低了用户大数据平台建设的门槛， 轻松解决了海量数据的计算问题，同时有效降低企业成本并保障数据安全。  与第三方开源生态无缝对接，在不侵入用户应用的情况下传输日志到SLS，降低 用户使用门槛。 2 文档版本：20210829