BpFile(id=204, bpId=31, name=电商网站数据埋点及分析, author=null, keyword=数据埋点,webtracking,日志分析, description=对网站用户行为的每一个事件对应的位置进行埋点通过SDK上报/汇总数据进行分析以推动产品优化及指导运营, position=null, ossUrl=bp-HQZBHXUB1VAWH3YN.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=
场景描述
数据埋点是数据产品经理、数据运营以及数据分
析师,基于业务需求(例如:CPC点击付费广
告中统计每一个广告位的点击次数),产品需求
(例如:推荐系统中推荐商品的曝光次数以及点
击的人数)对用户行为的每一个事件对应的位置
进行开发埋点,并通过SDK上报埋点的数据结
果,记录数据汇总后进行分析,推动产品优化或
指导运营。
解决问题
1.电商网站广告位效果统计分析
2.电网网站推荐商品曝光、点击、购买等行为统
计分析
3.电商网站用户分布分析
4.电商网站页面热点图分析等
产品列表
日志服务SLS
Dataworks
云服务器ECS
云数据库RDS版
负载均衡SLB
专有网络VPC
, templateId=JTYOZ741F1SGOWJG, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=JTYOZ741F1SGOWJG, partner=null, partnerUrl=null, partnerLogo=null, cooperation=, cooperationList=null)
1电商网站数据埋点及分析 最佳实践
场景描述
数据埋点是数据产品经理、数据运营以及数据分
析师,基于业务需求(例如:CPC点击付费广
告中统计每一个广告位的点击次数),产品需求
(例如:推荐系统中推荐商品的曝光次数以及点
击的人数)对用户行为的每一个事件对应的位置
进行开发埋点,并通过SDK上报埋点的数据结
果,记录数据汇总后进行分析,推动产品优化或
指导运营。
解决问题
1. 电商网站广告位效果统计分析
2. 电网网站推荐商品曝光、点击、购买等行为统
计分析
3. 电商网站用户分布分析
4. 电商网站页面热点图分析等
产品列表
日志服务SLS
Dataworks
云服务器ECS
云数据库RDS版
负载均衡SLB
专有网络VPC
2云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息
文档版本:20150122(发布日期) 1
3云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息
阿里云
企业上云实践
电商网站数据埋点及分析最佳实践
文档版本:20191101
文档版本:20150122(发布日期) 2
4企业上云实践 电商网站数据埋点及分析最佳实践|文档版本信息
文档版本信息
文本信息
属性 内容
文档名称 电商网站数据埋点及分析最佳实践
文档编号 031
文档版本 V1.2
版本日期 2019-11-01
文档状态 外部发布
制作人 弦望
审阅人 -
文档变更记录
版本编号 日期 作者 审核人 说明
V1.0 2019/04/24 弦望 创建文档
V1.1 2019/05/06 弦望 增加最佳实践概
述、优化模板
V1.2 2019/11/01 弦望 调整应用部署,新
版SLS控制台
文档版本:20191101 I
5企业上云实践 电商网站数据埋点及分析最佳实践|前言
前言
概述
本文以电商网站为例,使用日志服务采集日志,RDS作为后端数据存储服务并使用
日志服务对数据进行分析。数据埋点是数据产品经理、数据运营以及数据分析师,基
于业务需求(例如:CPC点击付费广告中统计每一个广告位的点击次数),产品需求
(例如:推荐系统中推荐商品的曝光次数以及点击的人数)对用户行为的每一个事件
对应的位置进行开发埋点,并通过SDK上报埋点的数据结果,记录数据汇总后进行
分析,推动产品优化或指导运营。
应用范围
电商网站广告位效果统计分析。
电网网站推荐商品曝光、点击、购买等行为统计分析。
电商网站用户分布分析。
电商网站页面热点图分析等等。
本方案可扩展非电商行业、适合通用的网站数据埋点分析。
名词解释
日志服务SLS:行业领先的日志大数据解决方案,一站式提供数据收集、清洗、
分析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智
能助力研发/运维/运营/安全等场景。。更多信息,请参见日志服务简介
(https://www.aliyun.com/product/sls)。
专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义
私有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内
创建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您
需要结合具体业务,规划VPC和交换机的数量及网段等。更多信息,请参见专
有网络VPC简介(https://www.aliyun.com/product/vpc)。
关系型数据库RDS:RelationalDatabaseService,简称RDS,是一种稳定可
靠、可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和SSD盘
高性能存储,支持MySQL、SQLServer、PostgreSQL、PPAS和MariaDB引
擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数
据库运维的烦恼。更多信息,请参见云数据库RDS MySQL版简介
文档版本:20191101 II
6企业上云实践 电商网站数据埋点及分析最佳实践|前言
(https://www.aliyun.com/product/rds/mysql)。
DataWorks:是一个提供了大数据OS能力、并以allinonebox的方式提供专业
高效、安全可靠的一站式大数据智能云研发平台。同时能满足用户对数据治理、
质量管理需求,赋予用户对外提供数据服务的能力。更多信息,请参见Dataworks
简介:(https://data.aliyun.com/product/ide)。
云服务器 ECS(ElasticComputeService):是一种弹性可伸缩的计算服务,助
您降低IT 成本,提升运维效率,使您更专注于核心业务创新。更多信息,请参
见ECS简介:(https://www.aliyun.com/product/ecs)。
文档版本:20191101 III
7企业上云实践 电商网站数据埋点及分析最佳实践|目录
目录
文档版本信息..................................................................................................................................................................I
法律声明..........................................................................................................................................................................I
.................................................................................................................................................................................
前言 II
目录...............................................................................................................................................................................IV
................................................................................................................................................................
最佳实践概述 1
前置条件........................................................................................................................................................................2
1. 导读........................................................................................................................................................................3
................................................................................................................................
1.1. 如何选择阅读内容 3
1.2. 如何下载源码和脚本文件....................................................................................................................3
............................................................................................................................................
2. 电商网站Demo搭建 4
2.1. 专有网络VPC创建..............................................................................................................................4
2.2. ECS创建...............................................................................................................................................5
.................................................................................................................................
2.3. RDS数据库创建 12
2.4. 使用terraform创建云资源...............................................................................................................19
..................................................................................................................................
2.5. 电商网站初始化 22
3. 电商网站数据埋点..............................................................................................................................................27
3.1. 创建日志服务Project和Logstore..................................................................................................27
......................................................................................................................................
3.2. 电商网站埋点 30
3.3. 构造假数据..........................................................................................................................................35
..............................................................................................................................................
4. 电商网站数据分析 39
4.1. 开启查询分析功能..............................................................................................................................39
4.2. 使用SQL进行数据分析....................................................................................................................40
..........................................................................................................
4.3. 使用仪表盘追踪数据分析结果 41
4.4. 订阅数据图表......................................................................................................................................42
文档版本:20191101 IV
8企业上云实践 电商网站数据埋点及分析最佳实践| 最佳实践概述
最佳实践概述
场景描述
数据埋点是数据产品经理、数据运营以及数据分析师,基于业务需求(例如:CPC
点击付费广告中统计每一个广告位的点击次数),产品需求(例如:推荐系统中推荐
商品的曝光次数以及点击的人数)对用户行为的每一个事件对应的位置进行开发埋点,
并通过SDK上报埋点的数据结果,记录数据汇总后进行分析,推动产品优化或指导
运营。
适用场景
电商网站广告位效果统计分析。
电网网站推荐商品曝光、点击、购买等行为统计分析。
电商网站用户分布分析。
电商网站页面热点图分析等等。
本方案可扩展非电商行业、适合通用的网站数据埋点分析。
方案架构
使用SLS的webtracking功能对电商网站前端页面进行埋点。
埋点数据实时上传到日志服务。
通过SQL语言分析日志,生成数据报表。
把数据报表添加到仪表盘,推送到邮件或钉钉。
1
文档版本:20191101