搭建高性能ACK集群

1 搭建高性能网络 ACK集群 最佳实践 场景描述 容器的网络协议栈实现方式，导致容器之间的网 部署架构图 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的 K8S容器服务， 支持自研的 Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 如果有问题请钉钉扫码联系我们： 1. POD之间网络性能提升。 2. 性能测试方法 产品列表 ⚫ 阿里云托管 K8S ACK 文档版本：20190903（发布日期）

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 阿里云 基于多网卡搭建 高性能 ACK集群最佳实践 文档版本：20150122（发布日期） II

3基于多网卡搭建高性能 ACK集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于多网卡搭建高性能 ACK集群最佳实践 文档编号 079 文档版本 V1.3 版本日期 2020-06-30 文档状态 外部发布 制作人 明誉 审阅人 行夜 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/08/01 云滴 行夜 创建 V1.1 2019/08/27 筱晖 文档优化 V1.2 2020/01/14 云滴 增加概览页，作者二维码 V1.3 2020/6/30 明誉 更新制作人信息 文档版本：20200630 I

4基于多网卡搭建高性能 ACK集群 前言 前言 概述 本实践在一个 VPC的基础环境上，创建三个不同类型的 K8S容器集群，包括普通的 ACK集群（Flannel模式，简称 standard）、支持多网卡的 ACK集群（Terway-ENI， 简称 multieni）和支持多 IP的 ACK集群（Terway-ENI多 IP模式，简称 multiip），并 在每个集群上创建相同规格的应用，然后对比这三类应用之间的网络性能差异。 网络性能对比分为两种场景，一种是跨可用区的对比；一种是同可用区内的对比。本 文提供了跨可用区性能对比的具体操作步骤和测试结果；同可用区对比的操作方法与 之类似，仅提供测试结果。 应用范围 学习如何搭建支持多网卡的高性能网络 ACK集群，以及网络性能方面的 PoC测试使 用。 名词解释 ⚫ 容器服务 Kubernetes版：阿里云容器服务 Kubernetes版（简称 ACK）提供高性 能可伸缩的容器应用管理服务，支持企业级 Kubernetes容器化应用的生命周期管 理。容器服务 ACK简化集群的搭建和扩容等运维工作，整合阿里云虚拟化、存储、 网络和安全能力，打造云端最佳的 Kubernetes容器化应用运行环境。容器服务是 全球首批通过 Kubernetes一致性认证的服务平台，可以为您提供专业的容器支持 和服务。 ⚫ Terway：Terway是阿里云容器服务自研的网络插件，功能上完全兼容 Flannel， 支持将阿里云的弹性网卡分配给容器，支持基于 Kubernetes 标准的 NetworkPolicy来定义容器间的访问策略，支持对单个容器做带宽的限流。在创建 ACK集群时，对于不需要使用 Network Policy的用户，可以选择 Flannel，其他 情况建议选择 Terway。 ⚫ iperf3：iPerf3是一款用于主动侦测 IP网络上最大可实现带宽的工具。它支持时 序、缓冲区、协议（TCP，UDP，SCTP与 IPv4和 IPv6）有关的各种参数。对于 每个测试，它都会报告带宽，丢包和其他参数。 文档版本：20200630 III

5基于多网卡搭建高性能 ACK集群 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ..................................................................................................................................................................... IV 前置条件 ............................................................................................................................................................... 1 演示环境说明 ....................................................................................................................................................... 2 方案概述 ............................................................................................................................................................... 3 1. 创建专有网络 ............................................................................................................................................... 4 2. 创建跨可用区普通 ACK集群 ........................................................................................................................ 8 2.1. 创建集群 ........................................................................................................................................ 8 2.2. 创建应用 ...................................................................................................................................... 13 3. 创建跨可用区多网卡 ACK集群 .................................................................................................................. 18 3.1. 创建虚拟交换机 .......................................................................................................................... 18 3.2. 创建集群 ...................................................................................................................................... 21 3.3. 创建应用 ...................................................................................................................................... 26 4. 创建跨可用区多 IP ACK集群 ...................................................................................................................... 30 4.1. 创建集群 ...................................................................................................................................... 30 4.2. 创建应用 ...................................................................................................................................... 35 5. 跨可用区性能测试对比 .............................................................................................................................. 39 5.1. 准备工作 ...................................................................................................................................... 39 5.1.1. 进入容器组的 docker终端................................................................................................... 39 5.1.2. 安装 ping、ifconfig和 iperf3命令工具 ................................................................................ 41 5.1.3. 远程连接容器组的 host节点 ............................................................................................... 44 5.2. ping延时对比 .............................................................................................................................. 47 5.2.1. standard ................................................................................................................................ 47 5.2.2. multiip .................................................................................................................................. 50 5.2.3. multieni................................................................................................................................. 53 5.2.4. 延时对比表 .......................................................................................................................... 56 5.3. 吞吐量对比 .................................................................................................................................. 57 5.3.1. standard ................................................................................................................................ 57 5.3.2. multiip .................................................................................................................................. 60 5.3.3. multieni................................................................................................................................. 63 5.3.4. 吞度量对比表....................................................................................................................... 66 5.4. PPS性能对比 ............................................................................................................................... 67 5.4.1. standard ................................................................................................................................ 67 5.4.2. multiip .................................................................................................................................. 69 5.4.3. multieni................................................................................................................................. 71 5.4.4. PPS性能对比表 .................................................................................................................... 73 6. 同可用区性能测试对比 .............................................................................................................................. 74 6.1. ping延时对比 .............................................................................................................................. 74 6.1.1. standard ................................................................................................................................ 74 文档版本：20200630 IV

6基于多网卡搭建高性能 ACK集群 目录 6.1.2. multiip .................................................................................................................................. 77 6.1.3. multieni................................................................................................................................. 80 6.1.4. 延时对比表 .......................................................................................................................... 83 6.2. 吞吐量对比 .................................................................................................................................. 84 6.2.1. standard ................................................................................................................................ 84 6.2.2. multiip .................................................................................................................................. 87 6.2.3. multieni................................................................................................................................. 90 6.2.4. 吞度量对比表....................................................................................................................... 93 6.3. PPS性能对比 ............................................................................................................................... 94 6.3.1. standard ................................................................................................................................ 94 6.3.2. multiip .................................................................................................................................. 96 6.3.3. multieni................................................................................................................................. 98 6.3.4. PPS性能对比表 .................................................................................................................. 100 文档版本：20200630 V

7基于多网卡搭建高性能 ACK集群 前置条件 前置条件 目前创建支持多网卡 Pod功能的 ACK集群（Terway网络插件）还处于公测阶段，如 需试用，请联系客户经理开通白名单。 文档版本：20200630 1

8基于多网卡搭建高性能 ACK集群 演示环境说明 演示环境说明 资源规划 本实践中需要开通的阿里云产品或服务以及相关规格的描述见下表。 说明：凡是涉及到阿里云资源的开通，统一将地域设置为华东 2（上海）。 产品或服务 本文示例 备注 VPC [专有网络] docker_test [专有网络网段] 192.168.0.0 [交换机] [交换机可用区&网段] ⚫ subnet1 ⚫ E，192.168.1.0/24 ⚫ subnet2 ⚫ F，192.168.2.0/24 ⚫ subnet3 ⚫ G，192.168.3.0/24 ⚫ subnet1_pod ⚫ E，192.168.128.0/18 ⚫ subnet2_pod ⚫ F，192.168.64.0/18 ⚫ subnet3_pod ⚫ G，192.168.192.0/18 容器服务 [集群] [集群网络插件] Kubernetes版 ⚫ cluster-standard ⚫ Flannel ⚫ cluster-eni ⚫ Terway（独占网卡） ⚫ cluster-multiip ⚫ Terway（独占弹性 IP） [Worker实例规格] ecs.g5.4xlarge 文档版本：20200630 2