Ctrl+F / Command+F 全文检索

相关产品

客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
数据分析 | 数据库 |

本例提供数据库上云后OLTP+OLAP分离架构的最佳实践,并提供完整的数据库系统压测指导

专有网络 VPC 云服务器ECS 数据传输 云数据库PolarDB 云原生数据仓库AnalyticDB MySQL版
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用Redis、RDS和NAS以及阿里云容器服务搭建一个跨可用区高可用的系统

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版
数据库 |

介绍POLARDB的核心需求场景和MySQL迁移到POLARDB的最佳实践。

云数据库RDS MySQL 版 负载均衡 SLB 数据传输 云数据库PolarDB
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=234, bpId=131, name=云上数据OLAP+OLTP, author=null, keyword=HTAP,OLAP,数据库压测,分析型数据库,查询瓶颈, description=本例提供数据库上云后OLTP+OLAP分离架构的最佳实践,并提供完整的数据库系统压测指导, position=null, ossUrl=bp-JIZUOO2Z96CO6A4I.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 1. 混合型 HTAP 数据库需求:如 ORACLE 数 据库改造上云,云上数据库方案选型; 2. OLTP 系统查询慢,存在分析型场景和瓶颈 的客户。 方案优势/解决问题 1. 实时性强:利用 DTS 高实时将业务库 (PolarDB)数据变更同步到 ADB 中,供分 析查询业务查询,与线上业务数据延迟低。 2. 提供阿里云上最强大的 HTAP 能力: OLTP 和 OLAP 需求通过 PolarDB 和 ADB 分治, 解决客户 HTAP 的复杂需求。 3. 提供完备的 OLAP、 OLTP 压测的工具和方 法,指导客户压测对比,便于客户 POC 测 试和数据库选型。 产品列表 ⚫ 专用网络 VPC ⚫ 云服务器 ECS ⚫ 弹性公网 IP ⚫ 数据迁移服务 DTS ⚫ 云数据库 PolarDB ⚫ 分析型数据库 MySQL 版 ADS

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 云上数据 OLAP+OLTP 最佳实践 部署架构图 场景描述 1. 混合型 HTAP数据库需求:如 ORACLE数 据库改造上云,云上数据库方案选型; 2. OLTP系统查询慢,存在分析型场景和瓶颈 的客户。 方案优势/解决问题 1. 实时性强:利用 DTS 高实时将业务库 产品列表 (PolarDB)数据变更同步到 ADB中,供分 析查询业务查询,与线上业务数据延迟低。 ⚫ 专用网络 VPC ⚫ 云服务器 ECS 2. 提供阿里云上最强大的 HTAP能力: OLTP ⚫ 弹性公网 IP 和 OLAP需求通过 PolarDB和 ADB分治, 解决客户 HTAP的复杂需求。 ⚫ 数据迁移服务 DTS ⚫ 云数据库 PolarDB 3. 提供完备的 OLAP、OLTP压测的工具和方 法,指导客户压测对比,便于客户 POC测 ⚫ 分析型数据库 MySQL版 ADS 试和数据库选型。
2云服务器 ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 云上数据OLAP+OLTP 最佳实践 文档版本:20200120 文档版本:20150122(发布日期) II
3云上数据 OLAP+OLTP 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云上数据 OLAP+OLTP最佳实践 文档编号 131 文档版本 V1.1 版本日期 2020-01-20 文档状态 外部发布 制作人 明中 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-01-16 明中,言楼,逸疏 阿瑟,弦望 创建 V1.1 2020-01-20 明中,筱晖 - 文档优化 文档版本:20200120 I
4云上数据 OLAP+OLTP 前言 前言 概述 本实践提供数据库上云后 OLTP+OLAP 分离架构的最佳实践,并为客户提供完整的 OLAP、OLTP数据库系统压测对比方式。 应用范围 1. 传统 ORACLE数据库改造上云,云上数据库方案选型; 2. OLTP系统查询慢,存在分析型场景和瓶颈的客户。 名词解释 ⚫ OLTP:Online Transaction Processing的简称。OLTP的查询一般只会访问少量 的记录,且大多时候都会利用索引,在线地面向终端用户直接使用的 Web应用: 金融,博客,评论,电商等系统,比如最常见的基于主键的 CRUD操作。 ⚫ OLAP:Online Analytical Processing的简称。它使分析人员能够迅速、一致、交 互地从各个方面观察信息,以达到深入理解数据的目的。具有共享多维信息的快 速分析的特征,能够满足此特征的数据库叫做 OLAP数据库。 ⚫ HTAP:混合 OLTP和 OLAP的简称,是一种新兴的应用程序架构。它在事务处理 和分析处理之间“打破了壁垒”。它可以实现更多信息和“实时业务”决策。近年来 Gartner提出了 HTAP数据库概念,一个数据库既能支持 OLTP(在线事务处理), 又能支持 OLAP(在线分析处理),涵盖大部分企业级应用的需求,一站解决这些问 题。 ⚫ VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC 和交换机的数量及网段等。 更 多 信 息 , 请 参 见 : https://www.aliyun.com/product/vpc ⚫ ECS:Elastic Compute Service,简称 ECS。是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。更多信息,请参见:https://www.aliyun.com/product/ecs ⚫ RDS:Relational Database Service,简称 RDS,是一种稳定可靠、可弹性伸缩 文档版本:20200120 III
5云上数据 OLAP+OLTP 前言 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、 备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。更 多信息,请参见:https://help.aliyun.com/product/26090.html ⚫ DTS:Data Transmission Service,简称 DTS, 是一种集数据迁移、数据订阅及 数据实时同步于一体的数据传输服务。解决远距离、毫秒级异步数据传输难题。更 多信息,请参见:https://help.aliyun.com/product/26590.html ⚫ 云解析:云解析(PrivateZone),是基于阿里云专有网络 VPC(Virtual Private Cloud) 环境的私有域名解析和管理服务。您能够在自定义的一个或多个专有网络中将私 有域名映射到 IP资源地址,同时在其他网络环境无法访问您的私有域名。更多信 息,请参见:https://help.aliyun.com/product/64583.html ⚫ 安全组:安全组是一种虚拟防火墙,具备状态检测和数据包过滤功能,用于在云端 划分安全域。您可以通过配置安全组规则,允许或禁止安全组内的 ECS实例对公 网或私网的访问。更多信息,请参见: https://help.aliyun.com/document_detail/25387.html ⚫ 分析型数据库 MySQL版(ADB):分析型数据库 MySQL版,是阿里巴巴自主研 发的海量数据实时高并发在线分析云计算服务,使得您可以在毫秒级针对千亿级 数据进行即时的多维分析透视和业务探索。更多信息,请参见: https://help.aliyun.com/product/92664.html 文档版本:20200120 IV
6云上数据 OLAP+OLTP 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................. V 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 3 1. 基础环境配置 ..................................................................................................................................................... 4 1.1. 背景介绍 ............................................................................................................................................. 4 1.2. 登录 cloudshell .................................................................................................................................... 4 1.3. 创建华南 1(深圳)地域 VPC和 VSWITCH ...................................................................................... 4 1.4. 创建 ECS实例并启动 .......................................................................................................................... 5 1.5. 创建弹性公网 IP并绑定 ECS .............................................................................................................. 5 1.6. 登录 ECS,配置基础环境 ................................................................................................................... 6 2. 创建和配置 PolarDB数据库环境 ...................................................................................................................... 9 2.1. 创建 PolarDB集群 .............................................................................................................................. 9 2.2. 创建数据库账号,配置 IP白名单 .................................................................................................. 12 2.3. 配置 PolarDB内网域名解析............................................................................................................. 14 2.4. 登录 PolarDB,创建压测数据库 ...................................................................................................... 19 3. 创建和配置 ADB环境 ...................................................................................................................................... 20 3.1. 创建 ADB集群 .................................................................................................................................. 20 3.2. 创建数据库账号,配置 IP白名单 .................................................................................................. 23 3.3. 设置 ADB内网域名解析................................................................................................................... 25 3.4. 登录 ADB,创建压测数据库............................................................................................................ 27 4. 使用 TPC-H工具对数据库进行 OLAP验证 ..................................................................................................... 29 4.1. 压测工具介绍 ................................................................................................................................... 29 4.2. 安装并编译 tpc-h工具 ..................................................................................................................... 29 4.3. 建立数据表,生成测试数据 ........................................................................................................... 30 4.4. 导入数据,压测对比 ....................................................................................................................... 32 4.5. 压测数据和小结 ............................................................................................................................... 34 5. 使用 TPCC-MySQL工具对数据库进行 OLTP压测 ........................................................................................... 37 5.1. 压测工具介绍 ................................................................................................................................... 37 5.2. 安装 TPCC-MySQL工具..................................................................................................................... 37 5.3. 准备压测环境 ................................................................................................................................... 38 5.4. 进行压测 ........................................................................................................................................... 39 6. 使用 Sysbench对自建数据库进行压测 .......................................................................................................... 42 6.1. 压测工具介绍 ................................................................................................................................... 42 6.2. 安装 SysBench工具 .......................................................................................................................... 42 6.3. 准备基础数据 ................................................................................................................................... 42 6.4. 进行压测 ........................................................................................................................................... 43 7. PolarDB数据同步 ADB ..................................................................................................................................... 45 7.1. PolarDB开启 binlog .......................................................................................................................... 45 7.2. 构建 PolarDB业务数库..................................................................................................................... 47 文档版本:20200120 V
7云上数据 OLAP+OLTP 目录 7.3. 创建 DTS同步链路 ........................................................................................................................... 49 7.4. 验证 ADB数据同步情况................................................................................................................... 55 文档版本:20200120 VI
8云上数据 OLAP+OLTP 最佳实践概述 最佳实践概述 应用场景 1. 混合型 HTAP数据库需求:如 ORACLE数据库改造上云,云上数据库方案选型; 2. OLTP系统查询慢,存在分析型场景和瓶颈的客户。 方案架构 本实践基于如下图所示的技术架构和主要流程。 在使用本最佳实践时,也可以参考以下通用架构构建 HTAP系统: 文档版本:20200102 1