混合云部署Kubernetes集群

1 混合云部署 Kubernetes集群最佳实践 业务架构图 场景描述 本方案演示线下 IDC与阿里云以混合云的形式 部署 Kubernetes集群，实现云下云上服务交叉 调用，云上资源可以根据业务请求峰谷值做弹性 伸缩。使用 DTS实现 IDC与云上数据库单向同 步，将云上数据库作为混合云场景下的冗余和灾 备，可以在云上部署可接受一定读延迟的业务应 用，缓解 IDC机房业务压力。 解决问题 实现原理 1. 云上冗余部署和快速弹性伸缩，低成本解决 1. IDC 与云上独立部署 Kubernetes 集群，通过高速通道打通 IDC弹性伸缩问题 内网环境。 2. 云上应用可作为接受一定读延迟请求分流 2. 云上集群可冗余或独立部署应用，调用 IDC 提供的数据服务 后端，降低 IDC主服务的压力。 接口访问 IDC 数据库。 3. ACR 企业版支持多地域同步部署，加速镜 3. IDC 部署的 Docker harbor 等镜像仓库同步镜像文件至阿 像分发。 里云 ACR 企业版，云上集群节点直接从 ACR 就近拉取 4. DTS单向同步数据灾备，提升 IDC机房数 Docker 镜像，实现快速部署。 据库高可用。 4. 云下数据库通过 DTS 单向同步任务同步数据至云上 RDS 做 灾备，云上也可以部署接受一定读延迟的业务应用直接访问云 上数据库。 产品列表 阿里云最佳实践技术分享群 最佳实践频道 ⚫ 专有网络 VPC ⚫ 云服务器 ECS ⚫ 云数据库 RDS ⚫ 容器镜像服务 ACR ⚫ PrivateZone ⚫ 高速通道（专线） ⚫ 云速搭 CADT

2云服务器 ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 混合云部署 Kubernetes集群 最佳实践 文档版本：20210811（发布日期） 文档版本：20210811 2

3混合云部署 Kubernetes集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 混合云部署 Kubernetes集群最佳实践 文档编号 102 文档版本 V1.8 版本日期 2021-8-11 文档状态 - 制作人 七凌，毕役，云护，朱延生 审阅人 敬海，弦望，期会 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/09/15 毕役 - 创建 V1.1 2019/09/22 毕役 - 初稿完成 V1.2 2019/09/27 筱晖 - 文档优化 V1.3 2019/10/06 毕役 敬海 文档优化 V1.4 2019/10/10 毕役 弦望，期会 文档优化 V.15 2019/11/27 毕役 添加钉群二维码 V1.6 2019/12/31 毕役 对等连接替换云企 业网 V1.7 2020/1/21 毕役 增加概览页 V1.8 2021/08/11 七凌 增加 CADT部署 文档版本：20210811 I

4混合云部署 Kubernetes集群 前言 前言 概述 本方案演示线下 IDC与阿里云以混合云的形式部署 Kubernetes集群，实现云下云上 服务交叉调用，云上资源可以根据业务请求峰谷值做弹性伸缩。使用 DTS实现 IDC与 云上数据库单向同步，将云上数据库作为混合云场景下的冗余和灾备，可以在云上部 署可接受一定读延迟的业务应用，缓解 IDC机房业务压力。 应用范围 ⚫ 适用于已有 IDC环境，想快速实现弹性伸缩的场景 ⚫ 云上冗余或独立部署应用，在云下入口统一调度，提升云下应用高可用 名词解释 ⚫ VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ⚫ ECS：云服务器（Elastic Compute Service，ECS）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT 成本，使您更专注于核心业务创新。 详见：https://www.aliyun.com/product/ecs ⚫ RDS：阿里云关系型数据库 RDS（Relational Database Service）是一种稳定可 靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解 决方案，彻底解决数据库运维的烦恼。 详见：https://help.aliyun.com/product/26090.html ⚫ ACK：容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理 能力，支持企业级 Kubernetes 容器化应用的全生命周期管理。容器服务 Kubernetes 版简化集群的搭建和扩容等工作，整合阿里云虚拟化、存储、网络和 安全能力，打造云端最佳的 Kubernetes 容器化应用运行环境。 详见：https://www.aliyun.com/product/kubernetes ⚫ ACR：容器镜像服务（Container Registry）提供安全的镜像托管能力，稳定的国 文档版本：20210811 III

5混合云部署 Kubernetes集群 前言 内外镜像构建服务，便捷的镜像授权功能，方便用户进行镜像全生命周期管理。容 器镜像服务简化了 Registry的搭建运维工作，支持多地域的镜像托管，并联合容 器服务等云产品，为用户打造云上使用 Docker的一体化体验。 详见：https://www.aliyun.com/product/acr ⚫ NAT：帮助您在 VPC环境下构建一个公网流量的出入口，通过自定义 SNAT， DNAT规则灵活使用网络资源，支持多 IP，支持共享公网带宽。 详见：https://www.aliyun.com/product/nat ⚫ 弹性公网 IP：独立的公网 IP资源，可以绑定到阿里云专有网络 VPC类型的 ECS、 NAT网关、私网负载均衡 SLB上，并可以动态解绑，实现公网 IP和 ECS、NAT 网关、SLB的解耦，满足灵活管理的要求。 详见：https://www.aliyun.com/product/eip ⚫ DTS：数据传输服务(Data Transmission Service) DTS支持关系型数据库、 NoSQL、 大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实 时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远 距离、毫秒级异步数据传输难题。 详见：https://www.aliyun.com/product/dts ⚫ 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。 详见：https://www.aliyun.com/product/developerservices/cadt ⚫ Docker Harbor：Harbor是由 VMware公司开源的企业级的 Docker Registry管理 项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复 制和中文支持等功能，Harbor 是一个用于存储和分发 Docker 镜像的企业级 Regitstry服务器。 详见：https://harbor.com/ 文档版本：20210811 IV

6混合云部署 Kubernetes集群 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ............................................................................................................................................................................. V 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 2 演示环境说明 ............................................................................................................................................................. 3 1. 基础环境搭建 ..................................................................................................................................................... 4 2. 搭建 IDC集群 ...................................................................................................................................................... 8 2.1. 环境规划 ............................................................................................................................................. 8 2.2. 创建 VPC(可选).................................................................................................................................... 9 2.3. 创建 ECS（可选） ............................................................................................................................. 11 2.3.1. 购买 ECS..................................................................................................................................... 11 2.3.2. 配置主机名 ............................................................................................................................... 15 2.3.3. 配置网络 ................................................................................................................................... 18 2.3.3.1. 创建 NAT网关 ................................................................................................................... 18 2.3.3.2. 创建弹性公网 IP ............................................................................................................... 20 2.3.3.3. 绑定弹性公网 IP ............................................................................................................... 21 2.3.3.4. 配置 SNAT .......................................................................................................................... 22 2.4. 部署 Kubernetes集群 ....................................................................................................................... 23 2.4.1. 配置 master和 worker节点的信任关系 ................................................................................. 23 2.4.2. 安装 Docker引擎 ...................................................................................................................... 25 2.4.3. 安装 Kubernetes组件 ............................................................................................................... 26 2.4.4. 创建 Kubernetes集群 ............................................................................................................... 27 2.4.5. 安装网络插件 calico ................................................................................................................. 28 2.5. 创建数据库 ....................................................................................................................................... 30 2.5.1. 安装数据库实例 ....................................................................................................................... 30 2.5.2. 创建业务数据库 ....................................................................................................................... 33 2.5.3. 创建用户 ................................................................................................................................... 34 2.6. 安装本地镜像仓库 ........................................................................................................................... 35 2.6.1. 安装 docker compose ................................................................................................................ 35 2.6.2. 安装 docker harbor .................................................................................................................... 35 2.6.3. 配置 TLS访问 ............................................................................................................................ 38 2.6.3.1. 创建 CA证书 ..................................................................................................................... 38 2.6.3.2. 创建服务器证书................................................................................................................ 39 2.6.3.3. Docker配置 ....................................................................................................................... 40 2.6.3.4. Harbor配置 ....................................................................................................................... 40 2.6.3.5. HTTPS访问验证 ................................................................................................................ 43 2.7. 部署应用 ........................................................................................................................................... 43 2.7.1. 创建应用 Docker镜像 .............................................................................................................. 43 2.7.2. 部署 deployment ....................................................................................................................... 48 2.7.3. 部署 service ............................................................................................................................... 49 文档版本：20210811 V

7混合云部署 Kubernetes集群 目录 2.7.4. 配置 Ingress ............................................................................................................................... 50 2.8. 配置负载均衡 ................................................................................................................................... 51 3. 迁移 harbor镜像到 ACR ................................................................................................................................... 53 3.1. 创建企业版 ACR ................................................................................................................................ 53 3.2. 同步 harbor镜像 .............................................................................................................................. 58 3.3. 多地域分发 ....................................................................................................................................... 60 4. 迁移数据库到 RDS ............................................................................................................................................ 61 4.1. 购买 RDS实例 ................................................................................................................................... 61 4.2. 配置 RDS安全 IP ............................................................................................................................... 63 4.3. 创建数据库 ....................................................................................................................................... 64 4.4. 创建数据库用户 ............................................................................................................................... 65 4.4.1. 创建高权限数据库账号............................................................................................................ 65 4.4.2. 创建普通数据库账号 ............................................................................................................... 66 4.5. 创建 DTS数据同步任务 ................................................................................................................... 67 5. 搭建 ACK集群 ................................................................................................................................................... 71 5.1. 创建托管 ACK集群 ........................................................................................................................... 71 5.2. 部署 deployment ............................................................................................................................... 80 5.2.1. 配置 PrivateZone ....................................................................................................................... 80 5.2.2. 部署应用 ................................................................................................................................... 82 5.3. 配置 service ....................................................................................................................................... 84 5.4. 配置 Ingress ....................................................................................................................................... 84 6. 混合云网络互通 ............................................................................................................................................... 86 6.1. 创建云企业网 ................................................................................................................................... 86 6.2. 添加路由 ........................................................................................................................................... 89 6.2.1. 网络连通性验证 ....................................................................................................................... 90 6.2.1.1. 节点到节点互通................................................................................................................ 90 6.2.1.2. 节点到 Pod互通 ............................................................................................................... 91 6.2.1.3. Pod到 Pod互通 ................................................................................................................ 92 7. 数据库单向同步 ............................................................................................................................................... 93 7.1. 创建数据同步作业 ........................................................................................................................... 93 7.2. 配置同步链路 ................................................................................................................................... 94 8. 业务验证 ........................................................................................................................................................... 98 8.1. 混合云负载均衡 ............................................................................................................................... 98 8.2. 业务灾备 ........................................................................................................................................... 99 9. 云上弹性伸缩 ................................................................................................................................................. 101 9.1. 配置 CA ............................................................................................................................................ 101 9.2. 配置 HPA .......................................................................................................................................... 101 10. 附录 ......................................................................................................................................................... 102 10.1. 代码仓库 ......................................................................................................................................... 102 文档版本：20210811 VI

8混合云部署 Kubernetes集群 最佳实践概述 最佳实践概述 方案架构 ⚫ IDC与云上独立部署 Kubernetes集群，通过高速通道打通内网环境。 ⚫ 云上集群可冗余或独立部署应用，调用 IDC提供的数据服务接口访问 IDC数据库。 ⚫ IDC部署的 docker harbor等镜像仓库同步镜像文件至阿里云 ACR企业版，云上 集群节点直接从 ACR就近拉取 docker镜像，实现快速部署。 ⚫ 云下数据库通过 DTS单向同步任务同步数据至云上 RDS做灾备，云上也可以部 署接受一定读延迟的业务应用直接访问云上数据库。 方案优势 ⚫ 通过云上冗余部署和快速弹性伸缩，低成本解决 IDC弹性伸缩问题。 ⚫ 云上应用可作为接受一定读延迟请求分流后端，降低 IDC主服务的压力。 ⚫ ACR企业版支持多地域同步部署，加速镜像分发。 ⚫ DTS单向同步数据灾备，提升 IDC机房数据库高可用。 文档版本：20210811 1