云上数据OLAP+OLTP

1 云上数据 OLAP+OLTP 最佳实践 部署架构图 场景描述 1. 混合型 HTAP数据库需求：如 ORACLE数 据库改造上云，云上数据库方案选型； 2. OLTP系统查询慢，存在分析型场景和瓶颈 的客户。 方案优势/解决问题 1. 实时性强：利用 DTS 高实时将业务库 产品列表 （PolarDB）数据变更同步到 ADB中，供分 析查询业务查询，与线上业务数据延迟低。 ⚫ 专用网络 VPC ⚫ 云服务器 ECS 2. 提供阿里云上最强大的 HTAP能力： OLTP ⚫ 弹性公网 IP 和 OLAP需求通过 PolarDB和 ADB分治， 解决客户 HTAP的复杂需求。 ⚫ 数据迁移服务 DTS ⚫ 云数据库 PolarDB 3. 提供完备的 OLAP、OLTP压测的工具和方 法，指导客户压测对比，便于客户 POC测 ⚫ 分析型数据库 MySQL版 ADS 试和数据库选型。

2云服务器 ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云上数据OLAP+OLTP 最佳实践 文档版本：20200120 文档版本：20150122（发布日期） II

3云上数据 OLAP+OLTP 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云上数据 OLAP+OLTP最佳实践 文档编号 131 文档版本 V1.1 版本日期 2020-01-20 文档状态 外部发布 制作人 明中 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-01-16 明中，言楼，逸疏 阿瑟，弦望 创建 V1.1 2020-01-20 明中，筱晖 - 文档优化 文档版本：20200120 I

4云上数据 OLAP+OLTP 前言 前言 概述 本实践提供数据库上云后 OLTP+OLAP 分离架构的最佳实践，并为客户提供完整的 OLAP、OLTP数据库系统压测对比方式。 应用范围 1. 传统 ORACLE数据库改造上云，云上数据库方案选型； 2. OLTP系统查询慢，存在分析型场景和瓶颈的客户。 名词解释 ⚫ OLTP：Online Transaction Processing的简称。OLTP的查询一般只会访问少量 的记录，且大多时候都会利用索引，在线地面向终端用户直接使用的 Web应用： 金融，博客，评论，电商等系统，比如最常见的基于主键的 CRUD操作。 ⚫ OLAP：Online Analytical Processing的简称。它使分析人员能够迅速、一致、交 互地从各个方面观察信息，以达到深入理解数据的目的。具有共享多维信息的快 速分析的特征，能够满足此特征的数据库叫做 OLAP数据库。 ⚫ HTAP：混合 OLTP和 OLAP的简称，是一种新兴的应用程序架构。它在事务处理 和分析处理之间“打破了壁垒”。它可以实现更多信息和“实时业务”决策。近年来 Gartner提出了 HTAP数据库概念，一个数据库既能支持 OLTP(在线事务处理)， 又能支持 OLAP(在线分析处理)，涵盖大部分企业级应用的需求，一站解决这些问 题。 ⚫ VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC 和交换机的数量及网段等。 更 多 信 息 ， 请 参 见 ： https://www.aliyun.com/product/vpc ⚫ ECS：Elastic Compute Service，简称 ECS。是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多信息，请参见：https://www.aliyun.com/product/ecs ⚫ RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩 文档版本：20200120 III

5云上数据 OLAP+OLTP 前言 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、 备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更 多信息，请参见：https://help.aliyun.com/product/26090.html ⚫ DTS：Data Transmission Service，简称 DTS， 是一种集数据迁移、数据订阅及 数据实时同步于一体的数据传输服务。解决远距离、毫秒级异步数据传输难题。更 多信息，请参见：https://help.aliyun.com/product/26590.html ⚫ 云解析：云解析（PrivateZone），是基于阿里云专有网络 VPC（Virtual Private Cloud） 环境的私有域名解析和管理服务。您能够在自定义的一个或多个专有网络中将私 有域名映射到 IP资源地址，同时在其他网络环境无法访问您的私有域名。更多信 息，请参见：https://help.aliyun.com/product/64583.html ⚫ 安全组：安全组是一种虚拟防火墙，具备状态检测和数据包过滤功能，用于在云端 划分安全域。您可以通过配置安全组规则，允许或禁止安全组内的 ECS实例对公 网或私网的访问。更多信息，请参见： https://help.aliyun.com/document_detail/25387.html ⚫ 分析型数据库 MySQL版（ADB）：分析型数据库 MySQL版，是阿里巴巴自主研 发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级 数据进行即时的多维分析透视和业务探索。更多信息，请参见： https://help.aliyun.com/product/92664.html 文档版本：20200120 IV

6云上数据 OLAP+OLTP 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................. V 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 3 1. 基础环境配置 ..................................................................................................................................................... 4 1.1. 背景介绍 ............................................................................................................................................. 4 1.2. 登录 cloudshell .................................................................................................................................... 4 1.3. 创建华南 1（深圳）地域 VPC和 VSWITCH ...................................................................................... 4 1.4. 创建 ECS实例并启动 .......................................................................................................................... 5 1.5. 创建弹性公网 IP并绑定 ECS .............................................................................................................. 5 1.6. 登录 ECS，配置基础环境 ................................................................................................................... 6 2. 创建和配置 PolarDB数据库环境 ...................................................................................................................... 9 2.1. 创建 PolarDB集群 .............................................................................................................................. 9 2.2. 创建数据库账号，配置 IP白名单 .................................................................................................. 12 2.3. 配置 PolarDB内网域名解析............................................................................................................. 14 2.4. 登录 PolarDB，创建压测数据库 ...................................................................................................... 19 3. 创建和配置 ADB环境 ...................................................................................................................................... 20 3.1. 创建 ADB集群 .................................................................................................................................. 20 3.2. 创建数据库账号，配置 IP白名单 .................................................................................................. 23 3.3. 设置 ADB内网域名解析................................................................................................................... 25 3.4. 登录 ADB，创建压测数据库............................................................................................................ 27 4. 使用 TPC-H工具对数据库进行 OLAP验证 ..................................................................................................... 29 4.1. 压测工具介绍 ................................................................................................................................... 29 4.2. 安装并编译 tpc-h工具 ..................................................................................................................... 29 4.3. 建立数据表，生成测试数据 ........................................................................................................... 30 4.4. 导入数据，压测对比 ....................................................................................................................... 32 4.5. 压测数据和小结 ............................................................................................................................... 34 5. 使用 TPCC-MySQL工具对数据库进行 OLTP压测 ........................................................................................... 37 5.1. 压测工具介绍 ................................................................................................................................... 37 5.2. 安装 TPCC-MySQL工具..................................................................................................................... 37 5.3. 准备压测环境 ................................................................................................................................... 38 5.4. 进行压测 ........................................................................................................................................... 39 6. 使用 Sysbench对自建数据库进行压测 .......................................................................................................... 42 6.1. 压测工具介绍 ................................................................................................................................... 42 6.2. 安装 SysBench工具 .......................................................................................................................... 42 6.3. 准备基础数据 ................................................................................................................................... 42 6.4. 进行压测 ........................................................................................................................................... 43 7. PolarDB数据同步 ADB ..................................................................................................................................... 45 7.1. PolarDB开启 binlog .......................................................................................................................... 45 7.2. 构建 PolarDB业务数库..................................................................................................................... 47 文档版本：20200120 V

7云上数据 OLAP+OLTP 目录 7.3. 创建 DTS同步链路 ........................................................................................................................... 49 7.4. 验证 ADB数据同步情况................................................................................................................... 55 文档版本：20200120 VI

8云上数据 OLAP+OLTP 最佳实践概述 最佳实践概述 应用场景 1. 混合型 HTAP数据库需求：如 ORACLE数据库改造上云，云上数据库方案选型； 2. OLTP系统查询慢，存在分析型场景和瓶颈的客户。 方案架构 本实践基于如下图所示的技术架构和主要流程。 在使用本最佳实践时，也可以参考以下通用架构构建 HTAP系统： 文档版本：20200102 1