Ctrl+F / Command+F 全文检索

相关产品

客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线
数据分析 |

电商网站向用户推荐带有商品属性物品以促进交易,提升购买率和转化率

云服务器ECS 云数据库RDS MySQL 版 日志服务(SLS) 大数据计算服务 MaxCompute 智能推荐 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
数据分析 |

使用阿里云服务实现电商网站销售数据离线分析后在大屏幕上展示/极大地增强数据的可读性。

云服务器ECS 云数据库RDS MySQL 版 DataWorks 大数据计算服务 MaxCompute DataV数据可视化 API网关 云速搭
业务上云 |

适用于中小型电商应用上云。包括常用最佳实践架构,同时提供云上资源建站和数据库迁移实践操作。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=241, bpId=100, name=互联网电商与游戏行业实时BI分析, author=null, keyword=数据分析,ADB,BI,BI分析,Quick BI,大数据,数据仓库, description=在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析和决策,本文演示如何将业务数据和日志数据汇总到ADB,并通过QuickBI等工具进行可视化分析的方案。, position=null, ossUrl=bp-3B3B9RZPNTX74BPE.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 本文以电商行业为例,将业务数据和日志数据同步到 ADB,之后通过QuickBI做实时可视化分析。相对 于传统的关系型数据库,阿里云分析型数据库 MySQL版只需要几毫秒的时间,即可查询PB级数 据并从中找到匹配信息。 解决问题 1.互联网行业、电商、游戏行业等网站、App、小 程序应用内BI分析场景。 2.在线运营、运营指标实时化分析等场景。 3.可扩展到各类网站BI分析场景使用。 产品列表 1.分析型数据库MySQL版 2.日志服务SLS 3.QuickBI 4.数据传输服务DTS 5.云服务器ECS 6.RDSMySQL版

, templateId=NL46MW60BHD01S4U, freetry=null, visitTime=null, visitCount=null, video_url=https://yqh.aliyun.com/live/detail/22045, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1互联网电商与游戏行业实时BI分析 最佳实践 业务架构图 场景描述 本文以电商行业为例,将业务数据和 日志数据同步到ADB,之后通过 QuickBI做实时可视化分析。相对于 传统的关系型数据库,阿里云分析型 数据库MySQL版只需要几毫秒的时 间,即可查询PB级数据并从中找到 匹配信息。 解决问题 1. 互联网行业、电商、游戏行业等 网站、App、小程序应用内BI分 析场景。 2. 在线运营、运营指标实时化分析 等场景。 3. 可扩展到各类网站BI分析场景使 用。 产品列表 1. 分析型数据库MySQL版 2. 日志服务SLS 3. QuickBI 4. 数据传输服务DTS 5. 云服务器ECS 6. RDSMySQL版
2云服务器ECS(产品名称) 文档模板(手册名称)/错误!文档中没有指定样式的文字。 阿里云 企业上云实践 互联网电商及游戏行业实时BI分析 最佳实践 文档版本:20210829 2
3互联网、电商及游戏行业BI分析最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 互联网、电商及游戏行业实时BI分析最佳实践 文档编号 100 文档版本 V1.6 版本日期 2021-08-29 文档状态 外部发布 制作人 弦望、期会 审阅人 云魁、敬海、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-07-12 弦望、期会 云魁、敬海 创建 V1.1 2019-10-11 筱晖 - 文档优化 V1.2 2020-01-06 期会 - 更新ADB3.0 V1.3 2020-01-20 期会 - 增加概览页 V1.4 2021-01-20 期会 - 增加CADT V1.5 2021-02-08 敬海 - 更新一些补充 步骤 V1.6 2021-08-29 衾影 - 文档优化 文档版本:20210829 I
4互联网、电商及游戏行业BI分析最佳实践 前言 前言 概述 本文以电商行业为例,将业务数据和日志数据同步到ADB之后通过QuickBI做实时可 视化分析。相对于传统的关系型数据库,阿里云分析型数据库MySQL版只需要几毫 秒的时间,即可查询PB级数据并从中找到匹配信息。本文提供全流程完整的Demo 演示,可作为客户、架构师PoC验证使用。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  线运营、运营指标实时化分析等场景  可扩展到各类网站BI分析场景使用。 名词解释  专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要 结合具体业务,规划VPC和交换机的数量及网段等。更多信息,请参见专有网络 VPC简介(https://www.aliyun.com/product/vpc)。  弹性公网IP:独立的公网IP资源,可以绑定到阿里云专有网络VPC类型的ECS、 NAT网关、私网负载均衡SLB上,并可以动态解绑,实现公网IP和ECS、NAT 网关、SLB 的解耦,满足灵活管理的要求。更多信息请参见: (https://www.aliyun.com/product/eip)。  关系型数据库RDS:RelationalDatabaseService,简称RDS,是一种稳定可靠、 可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和SSD盘高性 能存储,支持MySQL、SQLServer、PostgreSQL、PPAS和MariaDB引擎,提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运 维的烦恼。更多信息,请参见云数据库 RDS MySQL 版简介 (https://www.aliyun.com/product/rds/mysql)。  数据传输服务(DataTransmissionService):DTS支持关系型数据库、NoSQL、大 数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决 文档版本:20210829 III
5互联网、电商及游戏行业BI分析最佳实践 前言 远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为阿里双11异地 多活基础架构,为数千下游应用提供实时数据流,已在线上稳定运行5年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。更多信息,请 参见DTS简介:(https://www.aliyun.com/product/dts)。  云服务器 ECS(ElasticComputeService):是一种弹性可伸缩的计算服务,助您 降低 IT 成本,提升运维效率,使您更专注于核心业务创新。更多信息,请参见 ECS简介:(https://www.aliyun.com/product/ecs)。  分析型数据库MySQL版(后文简称ADB):分析型数据库MySQL版(AnalyticDB forMySQL)是一种高并发低延时的PB级实时数据仓库,全面兼容MySQL协议 以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视 和业务探索。更多信息请参见(https://www.aliyun.com/product/ads)。  日志服务SLS:行业领先的日志大数据解决方案,一站式提供数据集、清洗、分 析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能 助力研发/运维/运营/安全等场景。  数据管理DMS:数据管理DMS源自阿里数据库服务平台,是一个免安装、免运 维、即开即用、多环境来源、多种数据库类型统一的数据库管理web终端,已为 数万人员提供数据库研发支撑。更有完善的安全合规审计保障、数据库全流程 DevOps服务支持。更多信息请参见(https://www.aliyun.com/product/dms)。 文档版本:20210829 IV
6互联网、电商及游戏行业BI分析最佳实践 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II ................................................................................................................................................................................ 前言 III 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 前置条件........................................................................................................................................................................3 ................................................................................................................................................................ 演示环境说明 4 ........................................................................................................................................................................ 1. 导读 5 1.1. 如何选择阅读内容................................................................................................................................5 .................................................................................................................... 1.2. 如何下载源码和脚本文件 5 1.3. 配置账号AK、SK.................................................................................................................................5 ............................................................................................................................................. 2. 搭建电商网站Demo 7 ........................................................................................................................................ 2.1. 基础环境搭建 7 2.2. 电商网站初始化..................................................................................................................................10 ...................................................................................................................................... 2.3. 构造用户数据 17 2.4. 构造产品数据......................................................................................................................................22 ................................................................................................................................................. 3. ADB数据库配置 28 .................................................................................................................................... 3.1. 创建ADB账号 28 3.2. 创建数据库..........................................................................................................................................29 .......................................................................................................................................... 3.3. 创建日志表 31 3.4. 添加白名单..........................................................................................................................................31 .............................................................................................................. 3.5. 业务数据实时同步(DTS) 33 .............................................................................................................................................................. 4. SLS配置 40 4.1. OSS配置.............................................................................................................................................40 .............................................................................................................................................. 4.2. SLS配置 42 4.3. WebTracking日志数据采集............................................................................................................44 ............................................................................................................. 4.4. magento系统开启日志采集 45 ...................................................................................................................................... 4.5. 查看日志数据 48 4.6. SLS数据加工(ETL)......................................................................................................................48 ......................................................................................................................... 4.7. 同步日志数据到ADB 53 4.8. 生成ADB的日志数据........................................................................................................................56 .................................................................................................................................. 5. 数据分析及QuickBI展示 60 .............................................................................................................................. 5.1. 开通QuickBI服务 60 5.2. 添加数据集..........................................................................................................................................62 .......................................................................................................................................... 5.3. 添加仪表板 68 5.4. 数据分析-用户地域分布....................................................................................................................70 .................................................................................................................... 5.5. 数据分析-用户年龄分布 73 ............................................................................................................................ 5.6. 数据分析-用户画像 75 5.7. 展示页面..............................................................................................................................................78 文档版本:20210208 V
7互联网、电商及游戏行业BI分析最佳实践 最佳实践概述 最佳实践概述 概述 本文以电商行业为例,将业务数据和日志数据同步到ADB,之后通过QuickBI做实时 可视化分析。相对于传统的关系型数据库,阿里云分析型数据库MySQL版只需要几 毫秒的时间,即可查询PB级数据并从中找到匹配信息。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  在线运营、运营指标实时化分析等场景。  可扩展到各类网站BI分析场景使用。 方案架构 使用ADB+QuickBI可以快速对数据进行BI分析,分析业务数据,建立用户画像等。 本方案业务数据保存在RDS中,通过DTS实时同步到ADB,日志数据通过日志服务 投放到ADB。 1 文档版本:20210829
8互联网、电商及游戏行业BI分析最佳实践 最佳实践概述 方案优势  以ADB+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务数据、 日志数据同步到阿里云的日志服务和分析性数据库。  融合阿里云的日志服务SLS的生态,增强用户体验(如无缝对接 Blink、 Elasticsearch、RDS、ADB、EMR、dataV 等产品)。  通过ADB强大的数据查询分析能力,极大的降低了用户大数据平台建设的门槛, 轻松解决了海量数据的计算问题,同时有效降低企业成本并保障数据安全。  与第三方开源生态无缝对接,在不侵入用户应用的情况下传输日志到SLS,降低 用户使用门槛。 2 文档版本:20210829