Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
容器&微服务 |

使用Redis、RDS和NAS以及阿里云容器服务搭建一个跨可用区高可用的系统

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版
中间件 |

介绍如何用 Serverless 应用引擎(SAE)帮助企业极速构建云上微服务应用

专有网络 VPC 负载均衡 SLB 应用实时监控服务 ARMS 云监控 Serverless 应用引擎
中间件 | 容器&微服务 |

Spring Cloud应用经过简单改造,迁移到云上企业级分布式应用服务(EDAS),利用EDAS的监控、调用链、限流降级

专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=135, bpId=121, name=在线迁移消息队列Kafka, author=null, keyword=Kafka,Kafka在线迁移,MirrorMaker,Kafka数据迁移, description=介绍如何选择并使用通用迁移和数据迁移两种方案将阿里云自建Kafka集群迁移到消息队列Kafka, position=null, ossUrl=bp-DZPAT6VH46S2EQ6Q.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription= 场景描述 本文Step by Step介绍了如何选择并使用通用迁移和数据迁移两种方案将阿里云自建Kafka集群迁移到消息队 列Kafka。同时本文可以作为线下IDC自建Kafka集群等场景迁移到消息队列Kafka的参考手册。 解决问题 1.如何通用迁移消息队列Kafka。 2.如何数据迁移消息队列Kafka。 产品列表 ⚫消息队列Kafka版 ⚫云监控, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 在线迁移消息队列 Kafka 最佳实践 业务架构图 场景描述 本文 Step by Step介绍了如何选择并使用通用迁移和数据迁移两种方案将阿里云自建 Kafka集群迁移到消息队 列 Kafka。同时本文可以作为线下 IDC自建 Kafka集群等场景迁移到消息队列 Kafka的参考手册。 解决问题 1. 如何通用迁移消息队列 Kafka。 产品列表 2. 如何数据迁移消息队列 Kafka。 ⚫ 消息队列 Kafka版 ⚫ 云监控
2云服务器 ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 在线迁移消息队列 Kafka 最佳实践 文档版本:20191225 文档版本:20191225 2
3在线迁移消息队列 Kafka 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 在线迁移消息队列 Kafka最佳实践 文档编号 121 文档版本 V1.1 版本日期 2019-12-25 文档状态 - 制作人 懿弘 审阅人 竹恩、云滴、敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-24 懿弘 竹恩、云滴、敬海 创建 V1.1 2019-12-25 筱晖 懿弘 文档工程师优化 文档版本:20191225 I
4在线迁移消息队列 Kafka 前言 前言 概述 Apache Kafka为了分布式大数据而生,具有丰富的应用生态,广泛应用于大数据领域, 如网站行为分析、日志聚合、Apps 监控等场景。消息队列 Kafka 版是阿里云基于 Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务。 在线迁移消息队列 Kafka最佳实践 Step by Step介绍了如何选择并使用通用迁移和数 据迁移两种方案将阿里云自建 Kafka集群迁移到消息队列 Kafka。同时本文可以作为 线下 IDC自建 Kafka集群等场景迁移到消息队列 Kafka的参考手册。 应用范围 ⚫ 消息队列 Kafka版选型。 ⚫ Kafka集群通用迁移消息队列 Kafka版。 ⚫ Kafka集群数据迁移消息队列 Kafka版。 ⚫ 消息队列 Kafka版监控报警配置。 名词解释 ⚫ VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。 更多信息,请参见:https://www.aliyun.com/product/vpc ⚫ ECS:Elastic Compute Service,简称 ECS。是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。更多信息,请参见:https://www.aliyun.com/product/ecs ⚫ 消息队列 Kafka版:是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性 的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线 和离线分析等,是大数据生态中不可或缺的产品之一。阿里云提供全托管服务,用 户无需部署运维,更专业、更可靠、更安全。 更多信息,请参见:https://www.aliyun.com/product/kafka 文档版本:20191225 III
5在线迁移消息队列 Kafka 前言 ⚫ 云监控:可用于收集获取阿里云资源的监控指标或用户自定义的监控指标,探测 服务可用性,以及针对指标设置警报。使您全面了解阿里云上的资源使用情况、业 务的运行状况和健康度,并及时收到异常报警做出反应,保证应用程序顺畅运行。 更多信息,请参见:https://www.aliyun.com/product/jiankong 文档版本:20191225 IV
6在线迁移消息队列 Kafka 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................. V 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 3 演示环境说明 ............................................................................................................................................................. 4 1. 迁移评估 ............................................................................................................................................................. 5 1.1. Kafka版本评估 .................................................................................................................................... 5 1.2. 网络评估 ............................................................................................................................................. 6 1.3. 流量和磁盘评估 ................................................................................................................................. 6 1.4. 高可用需求评估 ................................................................................................................................. 7 1.5. 消息幂等评估 ..................................................................................................................................... 7 2. 迁移准备 ............................................................................................................................................................. 8 2.1. 准备源 Kafka集群相关信息 ............................................................................................................... 8 2.2. 创建并测试消息队列 Kafka版 ........................................................................................................... 9 2.2.1. 创建消息队列 Kafka版 ............................................................................................................... 9 2.2.2. 测试消息队列 Kafka版 ............................................................................................................. 14 3. 迁移方案选择与实施 ....................................................................................................................................... 17 3.1. 通用迁移方案 ................................................................................................................................... 17 3.1.1. 普通场景:不保证消息分区有序 ............................................................................................ 17 3.1.2. 特殊场景:保证消息分区有序 ................................................................................................ 21 3.2. 数据迁移方案 ................................................................................................................................... 23 3.2.1. 部署 Kafka MirrorMaker ............................................................................................................ 23 3.2.1.1. 创建云服务器 ECS ............................................................................................................. 23 3.2.1.2. 绑定 EIP ............................................................................................................................. 28 3.2.1.3. 部署 Kafka MirrorMaker .................................................................................................... 30 3.2.2. 迁移数据 ................................................................................................................................... 31 3.2.2.1. 创建模拟数据.................................................................................................................... 31 3.2.2.2. 迁移 Metadata ................................................................................................................... 31 3.2.2.3. 执行数据迁移.................................................................................................................... 32 3.2.2.4. 查看迁移结果.................................................................................................................... 33 3.2.3. 切换 Kafka集群 ......................................................................................................................... 36 4. 监控报警 ........................................................................................................................................................... 38 4.1. 查看监控数据 ................................................................................................................................... 38 4.2. 设置报警 ........................................................................................................................................... 39 5. 参考文档 ........................................................................................................................................................... 41 6. 附录 ................................................................................................................................................................... 42 6.1. 搭建 Kafka自建集群 DEMO ............................................................................................................. 42 6.1.1. 部署环境 ................................................................................................................................... 42 6.1.1.1. 创建专有网络 VPC ............................................................................................................ 42 6.1.1.2. 创建云服务器 ECS ............................................................................................................. 44 文档版本:20191225 V
7在线迁移消息队列 Kafka 目录 6.1.2. 搭建 Kafka集群 ......................................................................................................................... 49 6.1.2.1. 安装 JDK ............................................................................................................................. 49 6.1.2.2. 部署 ZooKeeper ................................................................................................................. 52 6.1.2.3. 部署 Kafka .......................................................................................................................... 55 文档版本:20191225 VI
8在线迁移消息队列 Kafka 最佳实践概述 最佳实践概述 场景描述 本文以阿里云自建Kafka集群迁移到消息队列Kafka版的典型场景为例,从迁移评估、 迁移准备,到迁移方案选择及实施,全面详细介绍了如何将 Kafka集群迁移到阿里云 消息队列 Kafka版。同时本文也可以作为线下 IDC自建 Kafka集群等场景迁移到消息 队列 Kafka的参考手册。 方案架构 方案优势 本文全面及 Step by Step介绍了如何将 Kafka集群迁移到阿里云消息队列 Kafka版, 可以作为阿里云消息队列 Kafka迁移的官方参考手册。 迁移后,阿里云消息队列 Kafka版为您提供: ⚫ 100%兼容开源,支持 0.9.0 ~ 2.x版本。 ⚫ 全托管服务,提供业务监控与告警,具备完善的管控 API。 ⚫ 高可靠性,数据可靠性可达 99.999999%,服务可用性可达 99.9%;海量堆积下保 持集群高吞吐能力。 ⚫ 弹性计算,Broker可跨可用区(跨机房)横向扩容;支持万级 topic。 文档版本:20191225 1