BpFile(id=307, bpId=178, name=异地双活场景下的数据双向同步, author=null, keyword=双活,多活,单元化,数据双向同步, description=随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。, position=null, ossUrl=bp-N1U4VN326KMHZ2KP.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=
概述
随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。
适用场景
数据库双向同步
数据库全局ID不冲突
双活架构的数据库建设问题
技术架构
本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:
方案优势
DTS双向同步,采用独立模块避免数据同步占用系统资源。
奇偶ID涉及,避免数据冲突。
DTS多种处理冲突的方式供业务选择。
安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
, templateId=null, freetry=, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null, cooperation=, cooperationList=null)
1异地双活场景下的数据双向同步最佳实践
业务架构
场景描述 解决的问题
随着客户业务规模的扩大,对系统高可用性要求越 数据库双向同步
来越高,越来越多用户采用异地双活/多活架构,多
数据库全局ID不冲突
活架构往往涉及业务侧做单元化改造,本方案仅模
双活架构的数据库建设问题
拟用户已做单元化改造后的数据双向同步,数据库
采用双主架构,本地写本地读,同时又保证双库的
数据一致性,为业务增加可用性和灵活性。
产品列表
ECS、VPC、RDS、ACK、DTS、SLB、CEN、PTS
2云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息
阿里云
异地双活场景下的数据双向同步
最佳实践
文档版本:20201130
文档版本:20150122(发布日期) 2
3异地双活场景下的数据双向同步 文档版本信息
文档版本信息
文本信息
属性 内容
文档名称 异地双活场景下的数据双向同步
文档编号 178
文档版本 V1.0
版本日期 2020-11-30
文档状态 外部发布
制作人 弦望、青俞
审阅人
文档变更记录
版本编号 日期 作者 审核人 说明
V1.0 2020-11-30 弦望、青俞 创建
文档版本:20201130 I
4异地双活场景下的数据双向同步 前言
前言
概述
随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双
活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元
化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的
数据一致性,为业务增加可用性和灵活性。
名词解释
VPC:VirtualPrivateCloud,简称VPC。基于阿里云创建的自定义私有网络, 不
同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产
品实例,比如ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规
划VPC和交换机的数量及网段等。
详见:https://www.aliyun.com/product/vpc
SLB:ServerLoadBalancer,简称SLB。多台云服务器进行流量分发的负载均
衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提
升应用系统的可用性。
详见:https://www.aliyun.com/product/slb
PTS:PerformanceTestingService是面向所有技术背景人员的云化测试工具。
有别于传统工具的繁复,PTS以互联网化的交互,提供性能测试、API调试和监
测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务
的场景,任务随时发起,免去繁琐的搭建和维护成本。更是紧密结合监控、流控
等兄弟产品提供一站式高可用能力,高效检验和管理业务性能。
详见:https://www.aliyun.com/product/rds/pts
ACK容器服务 Kubernetes版(简称ACK)提供高性能可伸缩的容器应用管理
能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网
络和安全能力,打造云端最佳容器化应用运行环境。
详见:https://www.aliyun.com/product/kubernetes
云数据库RDSMySQL版:MySQL 是全球最受欢迎的开源数据库之一,作为开
源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一
文档版本:20201130 III
5异地双活场景下的数据双向同步 前言
环,广泛应用于各类应用场景。
详见:https://www.aliyun.com/product/mysql
数据传输服务(DataTransmissionService):DTS支持关系型数据库、NoSQL、
大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据
实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解
决远距离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双11异
地多活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行6年之
久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。
详见:https://www.aliyun.com/product/dts
云企业网:阿里云致力于为用户提供优质、高效、稳定的网络传输环境,云企业
网(CloudEnterpriseNetwork)将提供一种能够快速构建混合云和分布式业务
系统的全球网络,帮助用户打造一张具有企业级规模和通信能力的云上网络。
详见:https://www.aliyun.com/product/cbn
文档版本:20201130 IV
6异地双活场景下的数据双向同步 目录
目录
文档版本信息..................................................................................................................................................................I
.........................................................................................................................................................................
法律声明 II
前言................................................................................................................................................................................III
目录................................................................................................................................................................................V
................................................................................................................................................................
最佳实践概述 1
前置条件........................................................................................................................................................................3
...........................................................................................................................................................
1.基础环境搭建 4
1.1. VPC创建...............................................................................................................................................4
1.2. 创建ACK...............................................................................................................................................4
........................................................................................................................................
1.3. 创建镜像仓库 9
1.4. 创建RDS...............................................................................................................................................7
................................................................................................................................
1.5. 创建北京地域资源 9
1.6. 创建DTS.............................................................................................................................................12
1.7. 创建云企业网......................................................................................................................................13
..............................................................................................................................................................
2. 服务部署 17
2.1. 制作镜像..............................................................................................................................................17
............................................................................................................................
2.2. 在ACK中部署应用 21
2.3. 应用访问测试......................................................................................................................................27
2.4. 部署北京地域应用并测试..................................................................................................................32
..............................................................................................................................
2.5. 配置全局流量管理 44
3. 数据双向同步......................................................................................................................................................53
......................................................................................................................................
3.1. 配置正向链路 53
3.2. 配置反向链路......................................................................................................................................54
4. 模拟业务测试......................................................................................................................................................57
..............................................................................................................................
4.1. 数据冲突模拟测试 57
4.2. 单元化ID模拟测试............................................................................................................................59
文档版本:20201130 V
7异地双活场景下的数据双向同步 最佳实践概述
最佳实践概述
概述
随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双
活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元
化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的
数据一致性,为业务增加可用性和灵活性。
适用场景
数据库双向同步
数据库全局ID不冲突
双活架构的数据库建设问题
技术架构
本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:
文档版本:20201130 1
8异地双活场景下的数据双向同步 最佳实践概述
方案优势
DTS双向同步,采用独立模块避免数据同步占用系统资源。
奇偶ID涉及,避免数据冲突。
DTS多种处理冲突的方式供业务选择。
安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
文档版本:20201130 2