游戏数据运营融合分析

1 游戏数据运营融合分析 最佳实践 业务架构 场景描述 1. 游戏行业有结构化和非结构化数据融 合分析需求的客户。 2. 游戏行业有数据实时分析需求的客 户，无法接受 T+1延迟。 3. 对数据成本有一定诉求的客户，希望 物尽其用尽量优化成本。 4. 其他行业有类似需求的客户。 方案优势/解决问题 1. 秒级实时分析：依托 ADB计算密集型 实例，秒级监控 DAU等数据，为广告 投放效果提供有力的在线决策支撑。 2. 高效数据融合分析：打通结构化和非 结构化数据，支撑产品体验分析；广 告买量投放效果实时（分钟级）分 析，渠道的评估更准确。 3. 低成本：DLA融合冷数据分析+ADB 存储密集型温数据分析+ADB计算密 集型热数据分析，在满足各种分析场 景需求的同时，有效地降低的客户的 总体使用成本。 最佳实践频道 阿里云最佳实践技术分享群 4. 学习成本低：DLA和 ADB兼容标准 SQL语法，无需额外学习其他技术。 产品列表 ⚫ 专有网络 VPC、负载均衡 SLB、 NAT网关、弹性公网 IP ⚫ 云服务器 ECS、日志服务 SLS、对 象存储 OSS ⚫ 数据库 RDS MySQL、数据传输服 务 DTS、数据管理 DMS ⚫ 分析型数据库 MySQL版 ADS ⚫ 数据湖分析 DLA、Quick BI

2云服务器 ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 游戏数据运营融合分析 最佳实践 文档版本：20210224（发布日期） 文档版本：20150122（发布日期） II

3游戏数据运营融合分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 游戏数据运营融合分析 文档编号 157 文档版本 V2.0 版本日期 2021-02-24 文档状态 外部发布 制作人 七凌，明中 审阅人 云魁，阿谈 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-25 明中，南靖， 云魁，阿谈 创建 云帅，清洵， 逸疏 V1.1 2020-03-31 筱晖 明中，翟冉 文档优化 V1.2 2020-08-13 明中 - 修复部分表述问 题 V2.0 2021-02-24 七凌 - 全版更新、构建 脚本更新、关键 产品功能 文档版本：20210224 I

4游戏数据运营融合分析 前言 前言 概述 本实践基于众多游戏客户落地的实际方案抽象而成，是阿里云众多产品帮助游戏类客 户进行游戏产品内部运营（游戏研发方）以及游戏广告数据运营（游戏发行方）的经 验总结和沉淀。本最佳实践基于分析型数据库 AnalyticDB 、数据湖分析 Data Lake Analytics、日志服务 SLS、对象存储 OSS、关系型数据库服务 RDS、数据传输服务 DTS、数据分析与展现 Quick BI等产品组合，构建新一代游戏数据（热、温、冷三层） 运营融合分析一体化解决方案。 应用范围 ⚫ 游戏行业有结构化和非结构化数据融合分析需求的客户。 ⚫ 游戏行业有数据实时分析需求的客户，无法接受 T+1延迟。 ⚫ 对数据成本有一定诉求的客户，希望物尽其用尽量优化成本。 ⚫ 其他行业有类似需求的客户。 名词解释 ⚫ VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云 产品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务， 规划 VPC 和交换机的数量及网段等。更多信息，请参见： www.aliyun.com/product/vpc ⚫ ECS：Elastic Compute Service，简称 ECS。是阿里云提供的一种基础云计算 服务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。 也能随时释放资源，节省费用。更多信息，请参见： www.aliyun.com/product/ecs ⚫ RAM：RAM（Resource Access Management）是阿里云提供的资源访问控制 服务。通过 RAM，您可以集中管理您的用户（比如员工、系统或应用程序）， 以及控制用户可以访问您名下哪些资源的权限。更多信息，请参见： help.aliyun.com/document_detail/28672.html ⚫ NAT网关：NAT网关（NAT Gateway）是一款企业级的公网网关，提供 NAT代 文档版本：20210224 III

5游戏数据运营融合分析 前言 理（SNAT和 DNAT）、高达 10Gbps级别转发能力以及跨可用区的容灾能力。 更多信息，请参见：help.aliyun.com/document_detail/32322.html ⚫ ROS：资源编排服务（Resource Orchestration Service，简称 ROS）是阿里云 提供的一项简化云计算资源管理的服务。您可以遵循 ROS定义的模板规范编写 资源栈模板，在模板中定义所需的云计算资源（例如 ECS实例、RDS数据库实 例）、资源间的依赖关系等。 ROS的编排引擎将根据模板自动完成所有资源的创 建和配置，实现自动化部署及运维。 更多信息，请参见： help.aliyun.com/document_detail/28852.html ⚫ EIP：弹性公网 IP（Elastic IP Address，简称 EIP），是可以独立购买和持有的 公网 IP地址资源。目前，EIP可绑定到专有网络类型的 ECS实例、专有网络类 型的私网 SLB实例、专有网络类型的辅助弹性网卡、NAT网关和高可用虚拟 IP 上。更多信息，请参见：help.aliyun.com/document_detail/32321.html ⚫ AnalyticDB（简称 ADB）：分析型数据库 MySQL版（AnalyticDB for MySQL） 是一种高并发低延时的 PB 级实时数据仓库，全面兼容 MySQL 协议以及 SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和 业务探索。更多信息，请参见：help.aliyun.com/document_detail/93776.html ⚫ Data Lake Analytics（简称 DLA）：Data Lake Analytics是 Serverless化的交互 式联邦查询服务。无需 ETL，使用标准 SQL即可分析与集成对象存储(OSS)、 数据库(PostgreSQL/MySQL等)、NoSQL(TableStore等)数据源的数据。更多 信息，请参见：help.aliyun.com/document_detail/70378.html ⚫ SLS：行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可 视化和告警功能。全面提升海量日志处理能力，实时挖掘数据价值，智能助力研 发 /运维 /运营 / 安 全 等 场 景 。 更 多 信 息 ， 请 参见： help.aliyun.com/document_detail/48869.html ⚫ OSS：阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云 提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。更多信息，请参见：help.aliyun.com/document_detail/31817.html ⚫ DTS：数据传输服务(Data Transmission Service) DTS 支持关系型数据库、 NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订 阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云 场景下，解决远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为 文档版本：20210224 IV

6游戏数据运营融合分析 前言 阿里双 11异地多活基础架构， 为数千下游应用提供实时数据流，已在线上稳 定运行 5年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据 架构。更多信息，请参见：help.aliyun.com/document_detail/26592.html ⚫ RDS：云数据库 RDS MySQL 版本， MySQL是全球最受欢迎的开源数据库， 阿里云 MySQL版通过深度的内核优化和独享实例提供稳定极致的数据库性能， 同时灵活的部署架构及产品形态，可满足不同场景下的数据库需求。更多信息， 请参见：help.aliyun.com/document_detail/26092.html ⚫ QuickBI：Quick BI是阿里云旗下产品，是一个基于云计算致力于大数据高效分 析与展现的轻量级自助 BI工具服务平台。通过对数据源的连接和数据集的创建， 对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进 行数据的可视化呈现。更多信息，请参见 help.aliyun.com/document_detail/33813.html 文档版本：20210224 V

7游戏数据运营融合分析 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................ VI 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 5 1. 创建基础资源 ..................................................................................................................................................... 6 1.1. 资源编排简介 ..................................................................................................................................... 6 1.2. 创建资源栈介绍 ................................................................................................................................. 6 1.3. 创建资源栈 ......................................................................................................................................... 7 1.4. 验证资源栈 ....................................................................................................................................... 11 1.5. 配置 NAT网关 ................................................................................................................................... 13 1.6. 配置 ssh访问端口 ............................................................................................................................ 18 1.7. 验证后端服务可访问性，部署 httpd服务 ..................................................................................... 24 1.8. 创建 OSS Bucket ................................................................................................................................ 27 2. 部署 RDS-ADB高性能库数据采集 ................................................................................................................... 31 2.1. RDS数据同步账号配置 .................................................................................................................... 31 2.2. RDS创建业务表，生成测试数据 .................................................................................................... 33 2.3. 创建 ADB实例 .................................................................................................................................. 36 2.4. 配置 ADB实例 .................................................................................................................................. 42 2.5. 创建和配置 DTS同步链路 ............................................................................................................... 50 3. 部署 ECS-SLS数据采集 ..................................................................................................................................... 57 3.1. 部署应用环境，模拟日志写入........................................................................................................ 57 3.2. 创建日志服务 Project ....................................................................................................................... 59 3.3. 创建日志服务 Logstore..................................................................................................................... 60 3.4. 数据接入日志服务 ........................................................................................................................... 62 4. 部署 SLS-OSS数据投递 .................................................................................................................................... 68 4.1. 角色赋权 ........................................................................................................................................... 68 4.2. 配置数据投递 ................................................................................................................................... 70 4.3. 投递结果验证 ................................................................................................................................... 73 5. 数据融合 ........................................................................................................................................................... 75 5.1. 开通 DLA服务，创建 DLA账号 ....................................................................................................... 75 5.2. 创建 schema指向 OSS ...................................................................................................................... 76 5.3. 创建 schema指向 adb高性能库，并创建 adb外部表 ................................................................. 79 5.4. 创建 schema指向 adb大容量库，并创建 adb外部表 ................................................................. 82 5.5. 数据处理 ........................................................................................................................................... 86 6. 数据分析及展示 ............................................................................................................................................... 89 6.1. 开通 QuickBI服务 ............................................................................................................................. 89 6.2. 添加数据源 ....................................................................................................................................... 90 6.3. 核心运营数据实时分析：客户来源渠道实时分析 ........................................................................ 94 6.4. 运营数据实时分析：活跃分析...................................................................................................... 101 文档版本：20210224 VI

8游戏数据运营融合分析 目录 6.5. 数据融合分析 ................................................................................................................................. 107 7. 经典游戏数据运营分析场景列举 ................................................................................................................. 112 7.1. 活跃分析 ......................................................................................................................................... 112 7.2. 来源分析 ......................................................................................................................................... 112 7.3. 留存分析 ......................................................................................................................................... 113 7.4. 付费分析 ......................................................................................................................................... 116 文档版本：20210224 VII