Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
数据分析 | 数据库 |

针对游戏行业数据分析实时性高、结构化和非结构化数据融合需求,构建游戏数据运营融合分析一体化架构。

云数据库RDS MySQL 版 对象存储 OSS 云原生数据仓库AnalyticDB MySQL版 数据湖分析 Quick BI
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 |

针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 NAT网关 云原生数据仓库AnalyticDB MySQL版
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
数据分析 |

Spark和云原生结合提供计算与存储分离的高性价比大数据分析

专有网络 VPC 对象存储 OSS 容器服务 ACK 弹性容器实例 ECI 文件存储HDFS
数据分析 |

微服务应用化过程的日志采集运维管理,解决用户微服务改造过程中日志采集处理分析痛点

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 容器镜像服务 ACR

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=237, bpId=157, name=游戏数据运营融合分析, author=null, keyword=游戏行业,运营,买量分析,融合分析,实时大数据分析, description=针对游戏行业数据分析实时性高、结构化和非结构化数据融合需求,构建游戏数据运营融合分析一体化架构。, position=null, ossUrl=bp-77CDUMZ81BLEJQ0G.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 游戏数据运营融合分析 最佳实践 业务架构 场景描述 1. 游戏行业有结构化和非结构化数据融 合分析需求的客户。 2. 游戏行业有数据实时分析需求的客 户,无法接受 T+1延迟。 3. 对数据成本有一定诉求的客户,希望 物尽其用尽量优化成本。 4. 其他行业有类似需求的客户。 方案优势/解决问题 1. 秒级实时分析:依托 ADB计算密集型 实例,秒级监控 DAU等数据,为广告 投放效果提供有力的在线决策支撑。 2. 高效数据融合分析:打通结构化和非 结构化数据,支撑产品体验分析;广 告买量投放效果实时(分钟级)分 析,渠道的评估更准确。 3. 低成本:DLA融合冷数据分析+ADB 存储密集型温数据分析+ADB计算密 集型热数据分析,在满足各种分析场 景需求的同时,有效地降低的客户的 总体使用成本。 最佳实践频道 阿里云最佳实践技术分享群 4. 学习成本低:DLA和 ADB兼容标准 SQL语法,无需额外学习其他技术。 产品列表 ⚫ 专有网络 VPC、负载均衡 SLB、 NAT网关、弹性公网 IP ⚫ 云服务器 ECS、日志服务 SLS、对 象存储 OSS ⚫ 数据库 RDS MySQL、数据传输服 务 DTS、数据管理 DMS ⚫ 分析型数据库 MySQL版 ADS ⚫ 数据湖分析 DLA、Quick BI
2云服务器 ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 游戏数据运营融合分析 最佳实践 文档版本:20210224(发布日期) 文档版本:20150122(发布日期) II
3游戏数据运营融合分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 游戏数据运营融合分析 文档编号 157 文档版本 V2.0 版本日期 2021-02-24 文档状态 外部发布 制作人 七凌,明中 审阅人 云魁,阿谈 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-25 明中,南靖, 云魁,阿谈 创建 云帅,清洵, 逸疏 V1.1 2020-03-31 筱晖 明中,翟冉 文档优化 V1.2 2020-08-13 明中 - 修复部分表述问 题 V2.0 2021-02-24 七凌 - 全版更新、构建 脚本更新、关键 产品功能 文档版本:20210224 I
4游戏数据运营融合分析 前言 前言 概述 本实践基于众多游戏客户落地的实际方案抽象而成,是阿里云众多产品帮助游戏类客 户进行游戏产品内部运营(游戏研发方)以及游戏广告数据运营(游戏发行方)的经 验总结和沉淀。本最佳实践基于分析型数据库 AnalyticDB 、数据湖分析 Data Lake Analytics、日志服务 SLS、对象存储 OSS、关系型数据库服务 RDS、数据传输服务 DTS、数据分析与展现 Quick BI等产品组合,构建新一代游戏数据(热、温、冷三层) 运营融合分析一体化解决方案。 应用范围 ⚫ 游戏行业有结构化和非结构化数据融合分析需求的客户。 ⚫ 游戏行业有数据实时分析需求的客户,无法接受 T+1延迟。 ⚫ 对数据成本有一定诉求的客户,希望物尽其用尽量优化成本。 ⚫ 其他行业有类似需求的客户。 名词解释 ⚫ VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云 产品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务, 规划 VPC 和交换机的数量及网段等。更多信息,请参见: www.aliyun.com/product/vpc ⚫ ECS:Elastic Compute Service,简称 ECS。是阿里云提供的一种基础云计算 服务。无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。 也能随时释放资源,节省费用。更多信息,请参见: www.aliyun.com/product/ecs ⚫ RAM:RAM(Resource Access Management)是阿里云提供的资源访问控制 服务。通过 RAM,您可以集中管理您的用户(比如员工、系统或应用程序), 以及控制用户可以访问您名下哪些资源的权限。更多信息,请参见: help.aliyun.com/document_detail/28672.html ⚫ NAT网关:NAT网关(NAT Gateway)是一款企业级的公网网关,提供 NAT代 文档版本:20210224 III
5游戏数据运营融合分析 前言 理(SNAT和 DNAT)、高达 10Gbps级别转发能力以及跨可用区的容灾能力。 更多信息,请参见:help.aliyun.com/document_detail/32322.html ⚫ ROS:资源编排服务(Resource Orchestration Service,简称 ROS)是阿里云 提供的一项简化云计算资源管理的服务。您可以遵循 ROS定义的模板规范编写 资源栈模板,在模板中定义所需的云计算资源(例如 ECS实例、RDS数据库实 例)、资源间的依赖关系等。 ROS的编排引擎将根据模板自动完成所有资源的创 建和配置,实现自动化部署及运维。 更多信息,请参见: help.aliyun.com/document_detail/28852.html ⚫ EIP:弹性公网 IP(Elastic IP Address,简称 EIP),是可以独立购买和持有的 公网 IP地址资源。目前,EIP可绑定到专有网络类型的 ECS实例、专有网络类 型的私网 SLB实例、专有网络类型的辅助弹性网卡、NAT网关和高可用虚拟 IP 上。更多信息,请参见:help.aliyun.com/document_detail/32321.html ⚫ AnalyticDB(简称 ADB):分析型数据库 MySQL版(AnalyticDB for MySQL) 是一种高并发低延时的 PB 级实时数据仓库,全面兼容 MySQL 协议以及 SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和 业务探索。更多信息,请参见:help.aliyun.com/document_detail/93776.html ⚫ Data Lake Analytics(简称 DLA):Data Lake Analytics是 Serverless化的交互 式联邦查询服务。无需 ETL,使用标准 SQL即可分析与集成对象存储(OSS)、 数据库(PostgreSQL/MySQL等)、NoSQL(TableStore等)数据源的数据。更多 信息,请参见:help.aliyun.com/document_detail/70378.html ⚫ SLS:行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可 视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能助力研 发 /运维 /运营 / 安 全 等 场 景 。 更 多 信 息 , 请 参见: help.aliyun.com/document_detail/48869.html ⚫ OSS:阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云 提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%(12 个 9),服务设计可用性(或业务连续性)不低于 99.995%。更多信息,请参见:help.aliyun.com/document_detail/31817.html ⚫ DTS:数据传输服务(Data Transmission Service) DTS 支持关系型数据库、 NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订 阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云 场景下,解决远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为 文档版本:20210224 IV
6游戏数据运营融合分析 前言 阿里双 11异地多活基础架构, 为数千下游应用提供实时数据流,已在线上稳 定运行 5年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据 架构。更多信息,请参见:help.aliyun.com/document_detail/26592.html ⚫ RDS:云数据库 RDS MySQL 版本, MySQL是全球最受欢迎的开源数据库, 阿里云 MySQL版通过深度的内核优化和独享实例提供稳定极致的数据库性能, 同时灵活的部署架构及产品形态,可满足不同场景下的数据库需求。更多信息, 请参见:help.aliyun.com/document_detail/26092.html ⚫ QuickBI:Quick BI是阿里云旗下产品,是一个基于云计算致力于大数据高效分 析与展现的轻量级自助 BI工具服务平台。通过对数据源的连接和数据集的创建, 对数据进行即时的分析与查询;通过电子表格或仪表板功能,以拖拽的方式进 行数据的可视化呈现。更多信息,请参见 help.aliyun.com/document_detail/33813.html 文档版本:20210224 V
7游戏数据运营融合分析 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................ VI 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 5 1. 创建基础资源 ..................................................................................................................................................... 6 1.1. 资源编排简介 ..................................................................................................................................... 6 1.2. 创建资源栈介绍 ................................................................................................................................. 6 1.3. 创建资源栈 ......................................................................................................................................... 7 1.4. 验证资源栈 ....................................................................................................................................... 11 1.5. 配置 NAT网关 ................................................................................................................................... 13 1.6. 配置 ssh访问端口 ............................................................................................................................ 18 1.7. 验证后端服务可访问性,部署 httpd服务 ..................................................................................... 24 1.8. 创建 OSS Bucket ................................................................................................................................ 27 2. 部署 RDS-ADB高性能库数据采集 ................................................................................................................... 31 2.1. RDS数据同步账号配置 .................................................................................................................... 31 2.2. RDS创建业务表,生成测试数据 .................................................................................................... 33 2.3. 创建 ADB实例 .................................................................................................................................. 36 2.4. 配置 ADB实例 .................................................................................................................................. 42 2.5. 创建和配置 DTS同步链路 ............................................................................................................... 50 3. 部署 ECS-SLS数据采集 ..................................................................................................................................... 57 3.1. 部署应用环境,模拟日志写入........................................................................................................ 57 3.2. 创建日志服务 Project ....................................................................................................................... 59 3.3. 创建日志服务 Logstore..................................................................................................................... 60 3.4. 数据接入日志服务 ........................................................................................................................... 62 4. 部署 SLS-OSS数据投递 .................................................................................................................................... 68 4.1. 角色赋权 ........................................................................................................................................... 68 4.2. 配置数据投递 ................................................................................................................................... 70 4.3. 投递结果验证 ................................................................................................................................... 73 5. 数据融合 ........................................................................................................................................................... 75 5.1. 开通 DLA服务,创建 DLA账号 ....................................................................................................... 75 5.2. 创建 schema指向 OSS ...................................................................................................................... 76 5.3. 创建 schema指向 adb高性能库,并创建 adb外部表 ................................................................. 79 5.4. 创建 schema指向 adb大容量库,并创建 adb外部表 ................................................................. 82 5.5. 数据处理 ........................................................................................................................................... 86 6. 数据分析及展示 ............................................................................................................................................... 89 6.1. 开通 QuickBI服务 ............................................................................................................................. 89 6.2. 添加数据源 ....................................................................................................................................... 90 6.3. 核心运营数据实时分析:客户来源渠道实时分析 ........................................................................ 94 6.4. 运营数据实时分析:活跃分析...................................................................................................... 101 文档版本:20210224 VI
8游戏数据运营融合分析 目录 6.5. 数据融合分析 ................................................................................................................................. 107 7. 经典游戏数据运营分析场景列举 ................................................................................................................. 112 7.1. 活跃分析 ......................................................................................................................................... 112 7.2. 来源分析 ......................................................................................................................................... 112 7.3. 留存分析 ......................................................................................................................................... 113 7.4. 付费分析 ......................................................................................................................................... 116 文档版本:20210224 VII