Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
数据分析 |

针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 NAT网关 云原生数据仓库AnalyticDB MySQL版
数据分析 |

使用阿里云服务实现电商网站销售数据离线分析后在大屏幕上展示/极大地增强数据的可读性。

云服务器ECS 云数据库RDS MySQL 版 DataWorks 大数据计算服务 MaxCompute DataV数据可视化 API网关 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线
数据分析 |

电商网站向用户推荐带有商品属性物品以促进交易,提升购买率和转化率

云服务器ECS 云数据库RDS MySQL 版 日志服务(SLS) 大数据计算服务 MaxCompute 智能推荐 云速搭

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=242, bpId=106, name=基于MaxCompute的大数据BI分析, author=null, keyword=数据分析,ADB,BI,BI分析,Quick BI,大数据,数据仓库,MaxCompute, description=在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析和决策/本文演示如何将业务数据和日志数据通过MaxCompute处理后汇总到ADB/并通过QuickBI等工具进行可视化分析的方案。, position=null, ossUrl=bp-NJYW9V1SN47DS5DB.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1基于MaxCompute的大数据BI分析 最佳实践 业务架构图 场景描述 本文以电商行业为例,将业务数据和日志数据 使用MaxCompute做ETL之后,同步到ADB 进行实时分析,之后通过QuickBI进行快速可 视化展示。 解决问题 1. 互联网行业、电商、游戏行业等网站、 App、小程序应用内BI分析场景。 2. 可扩展到各类网站BI分析场景使用。 如有问题请使用钉钉扫码联系文档作者: 产品列表 1. MaxCompute 2. 分析型数据MySQL版 3. 日志服务SLS 4. QuickBI 5. 云服务器ECS 6. RDSMySQL版 文档版本:20191021
2云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 基于MaxCompute的大数据BI分析 最佳实践 文档版本:20150122(发布日期) 2
3基于MaxCompute的大数据BI分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于MaxCompute的大数据BI分析最佳实践 文档编号 106 文档版本 V1.5 版本日期 2021-07-08 文档状态 外部发布 制作人 弦望、期会、衾影 审阅人 云魁、敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-07-12 弦望、期会 云魁、敬海 创建 V1.1 2019-10-21 筱晖 - 文档优化 V1.2 2019-10-29 期会 敬海 ADB更新3.0 文档优化 V1.3 2020-01-20 期会 - 增加概览页 V1.4 2021-06-02 衾影 解决 python2 版本问题 V1.5 2021-07-08 衾影 适配DW更新 文档版本:20210708 I
4基于MaxCompute的大数据BI分析 前言 前言 概述 本文以电商行业为例,将业务数据和日志数据同步到ADB之后通过QuickBI做快速可 视化展现,其中对业务场景数据的ETL采用MaxCompute处理。本文提供全流程完 整的Demo演示,可作为客户、架构师PoC验证使用。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  可扩展到各类网站BI分析场景使用。 名词解释  专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要 结合具体业务,规划VPC和交换机的数量及网段等。更多信息,请参见专有网络 VPC简介(https://www.aliyun.com/product/vpc)。  弹性公网IP:独立的公网IP资源,可以绑定到阿里云专有网络VPC类型的ECS、 NAT网关、私网负载均衡SLB上,并可以动态解绑,实现公网IP和ECS、NAT 网关、SLB 的解耦,满足灵活管理的要求。更多信息请参见: (https://www.aliyun.com/product/eip)。  关系型数据库RDS:RelationalDatabaseService,简称RDS,是一种稳定可靠、 可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和SSD盘高性 能存储,支持MySQL、SQLServer、PostgreSQL、PPAS和MariaDB引擎,提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运 维的烦恼。更多信息,请参见云数据库 RDS MySQL 版简介 (https://www.aliyun.com/product/rds/mysql)。  DataWorks:是一个提供了大数据OS能力、并以allinonebox的方式提供专业 高效、安全可靠的一站式大数据智能云研发平台。同时能满足用户对数据治理、 质量管理需求,赋予用户对外提供数据服务的能力。更多信息,请参见Dataworks 简介:(https://data.aliyun.com/product/ide)。  数据传输服务(DataTransmissionService):DTS支持关系型数据库、NoSQL、大 文档版本:20210708 III
5基于MaxCompute的大数据BI分析 前言 数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决 远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为阿里双11异地 多活基础架构,为数千下游应用提供实时数据流,已在线上稳定运行5年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。更多信息,请 参见DTS简介:(https://www.aliyun.com/product/dts)。  云服务器 ECS(ElasticComputeService):是一种弹性可伸缩的计算服务,助您 降低 IT 成本,提升运维效率,使您更专注于核心业务创新。更多信息,请参见 ECS简介:(https://www.aliyun.com/product/ecs)。  分析型数据库MySQL版(后文简称ADB):分析型数据库MySQL版(AnalyticDB forMySQL)是一种高并发低延时的PB级实时数据仓库,全面兼容MySQL协议 以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视 和业务探索。更多信息请参见(https://www.aliyun.com/product/ads)。  日志服务SLS:行业领先的日志大数据解决方案,一站式提供数据集、清洗、分 析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能 助力研发/运维/运营/安全等场景。  MaxCompute(原ODPS):是一项大数据计算服务,它能提供快速、完全托管的 PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。更多信息请 参见(https://www.aliyun.com/product/odps)。  数据管理DMS:数据管理DMS源自阿里数据库服务平台,是一个免安装、免运 维、即开即用、多环境来源、多种数据库类型统一的数据库管理web终端,已为 数万人员提供数据库研发支撑。更有完善的安全合规审计保障、数据库全流程 DevOps服务支持。更多信息请参见(https://www.aliyun.com/product/dms)。 文档版本:20210708 IV
6基于MaxCompute的大数据BI分析 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II ................................................................................................................................................................................ 前言 III 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 前置条件........................................................................................................................................................................3 ........................................................................................................................................................................ 1. 导读 4 ................................................................................................................................ 1.1. 如何选择阅读内容 4 1.2. 如何下载源码和脚本文件....................................................................................................................4 ................................................................................................................................. 1.3. 配置账号AK、SK 4 2. 搭建电商网站Demo.............................................................................................................................................6 ............................................................................................................................... 2.1. 创建专有网络VPC 6 ................................................................................................................................. 2.2. 创建并配置ECS 10 2.3. 创建RDS数据库................................................................................................................................17 .................................................................................................................................. 2.4. 电商网站初始化 24 2.5. 构造用户数据......................................................................................................................................28 ................................................................................................................................................. 3. ADB数据库配置 34 ........................................................................................................................ 3.1. 创建ADB数据库实例 34 3.2. 创建ADB账号....................................................................................................................................36 .......................................................................................................................................... 3.3. 创建数据库 37 3.4. 创建数据表和日志表..........................................................................................................................40 .......................................................................................................................................... 3.5. 添加白名单 42 .............................................................................................................................................................. 4. SLS配置 45 4.1. 创建OSSBucket...............................................................................................................................45 ............................................................................................................................ 4.2. 开通SLS日志服务 47 4.3. WebTracking配置............................................................................................................................53 ............................................................................................................. 4.4. magento系统开启日志采集 56 ...................................................................................................................................... 4.5. 查看日志数据 58 5. DataWorks大数据处理.....................................................................................................................................60 ..................................................................................................... 5.1. 开通DataWorks(已开通跳过) 60 5.2. 创建工作空间......................................................................................................................................63 ................................................................................................................................ 5.3. 新增RDS数据源 68 .......................................................................................................................... 5.4. 新增Loghub数据源 72 5.5. 新增ADB数据源................................................................................................................................73 ...................................................................................................................................... 5.6. 创建业务流程 74 5.7. 数据同步-customer表(从RDS同步到ADB)...........................................................................75 .............................................................................. 5.8. 数据同步-product表(从RDS同步到ADB) 78 .......................................................................................................... 5.9. 运行业务流程并检查数据同步 80 5.10. 数据同步-weblog表(从SLS同步到MaxCompute)...............................................................81 .................................................................................................................................... 5.11. ETL-UDF开发 88 5.12. 创建日志结果表mc_weblog............................................................................................................96 文档版本:20191021 V
7基于MaxCompute的大数据BI分析 目录 5.13. ETL-数据开发.....................................................................................................................................98 ...................................................................... 5.14. 数据同步-weblog结果表(从MC同步到ADB) 101 .................................................................................................. 5.15. 生成ADB中的weblog日志数据 105 6. 数据分析及QuickBI展示...............................................................................................................................109 ........................................................................................................................... 6.1. 开通QuickBI服务 109 6.2. 添加数据源........................................................................................................................................109 ........................................................................................................................................ 6.3. 添加数据集 112 ........................................................................................................................................ 6.4. 添加仪表板 117 6.5. 数据分析-用户地域分布..................................................................................................................119 .................................................................................................................. 6.6. 数据分析-用户年龄分布 121 6.7. 数据分析-用户画像..........................................................................................................................124 ............................................................................................................................................ 6.8. 展示页面 126 文档版本:20191021 VI
8基于MaxCompute的大数据BI分析 最佳实践概述 最佳实践概述 概述 本文以电商行业为例,将业务数据和日志数据使用MaxCompute做ETL之后,同步 到ADB进行实时分析,之后通过QuickBI进行快速可视化展示。 应用范围  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。  可扩展到各类网站BI分析场景使用。 方案架构 公司在数据化建设中后期,数据结构非常复杂,数据量非常大,大量数据需要先进行 ETL,本方案通过数据集成把业务数据和日志数据同步到MaxCompute进行ETL后, 再同步到ADB数据分析,之后使用QuickBI进行快速可视化建立用户画像等。 方案优势  以ADB+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务数据、 日志数据引导至阿里云的日志服务和分析性数据库。  融合阿里云的日志服务SLS的生态,增强用户体验(如无缝对接 Blink、 1 文档版本:20210708