微服务架构日志采集运维管理

1微服务架构日志采集运维管理 最佳实践 业务架构 场景描述 阿里云日志服务(SLS)结合Kubernetes日志 特点以及应用场景，提供全方位的容器微服 务应用环境下的日志采集、处理以及分析的 实践。 方案优势  日志采集配置灵活，支持多种日志形态， 日志采集与Kubernetes完美集成  日志采集Agent占用资源少  安装部署方便，运维成本低  便捷实用，支持多种日志智能分析能力 解决问题 1. 容器微服务架构下日志采集困难 2. 日志采集Agent资源消耗多 3. 运维日志平台系统成本代价高 4. 日志分析方式少，日志分析不方便 产品列表 容器服务Kubernetes版   日志服务SLS  专有网络VPC 负载均衡SLB   弹性计算ECS  容器镜像服务ACR 云数据库RDS版   智能解析DNS

2云服务器ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 微服务架构日志采集 运维管理最佳实践 文档版本：20200131 文档版本：20200131 1

3微服务架构日志采集运维管理 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 微服务架构日志采集运维管理最佳实践 文档编号 094 文档版本 V1.4 版本日期 2020-01-31 文档状态 外部发布 制作人 明誉、弦望 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 牧蓝、君择 V1.0 2019/08/20 明誉、弦望 创建 V1.1 2019/09/05 筱晖 - 文档优化 V1.2 2019/09/19 明誉 阿瑟 更新修改文档部分内容 V1.3 2020/01/20 明誉 更新4.4节和4.5节的 DaemonSet和SideCar 模式日志采集示例 YAML文件的注释说明 V1.4 2020/01/31 明誉 1. 强调SideCar日志采 集模式的限制； 2. 更新补充说明 SideCar模式日志采集 的CRD配置的功能 文档版本：20200131 I

4微服务架构日志采集运维管理 前言 前言 概述 日志服务可以适用于运维、研发、运营、安全、BI、审计等多场景；Kubernetes目前 是容器编排领域的领导者，朝着PAAS底座标配方向发展；阿里云日志服务(SLS)结 合阿里云容器服务Kubernetes版(ACK)等云产品为基于阿里云公共云产品为基础构建 微服务架构的用户提供日志采集、消费和查询分析的能力。 应用范围 通用行业，微服务应用部署的用户需要进行日志采集运维管理。 名词解释  容器服务Kubernetes版(ACK)：容器服务Kubernetes版（简称ACK)提供高性能 可伸缩的容器应用管理能力，支持企业级Kubernetes容器化应用的全生命周期管 理。容器服务Kubernetes版简化集群的搭建和扩容等工作，整合阿里云虚拟化、 存储、网络和安全能力，打造云端最佳的Kubernetes容器化应用运行环境。  容器镜像服务ACR：容器镜像服务提供安全的镜像托管能力，稳定的国内外镜像 构建服务，便捷的镜像授权功能，方便用户进行镜像全生命周期管理。容器镜像 服务简化了Registry的搭建运维工作，支持多地域的镜像托管，并联合容器服务 等云产品为用户打造云上使用Docker的一体化体验。  云数据库RDS：阿里云关系型数据库（RelationalDatabaseService，简称RDS） 是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL、PPAS（Postgre PlusAdvancedServer，高度兼容Oracle数据库）和MariaDBTX引擎，并且提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运 维的烦恼。  文件存储NAS：阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠， 高性能的分布式文件系统。它基于 POSIX 文件接口，天然适配原生操作系统， 提供共享访问，同时保证数据一致性和锁互斥。文件存储NAS中的数据自动地在 可用区内以多副本冗余方式存储，避免数据的单点故障风险，提供高达 99.999999999%的数据可靠性。NAS针对不同应用场景的业务模型提供多种规格 类型的实例，满足高吞吐或者低时延的存储性能要求。  日志服务(LOG)：LogService，简称LOG/原SLS是针对实时数据一站式服务，在 文档版本：20200131 III

5微服务架构日志采集运维管理 前言 阿里集团经历大量大数据场景锤炼而成，提供日志类数据采集、消费、投递及查 询分析功能，全面提升海量日志处理/分析能力，服务智能研发/运维/运营/安全等 场景。  云解析DNS: 云解析DNS，一种安全、快速、稳定、可靠的权威DNS解析管理 服务。云解析DNS为企业和开发者将易于管理识别的域名转换为计算机用户互连 通信的数字IP地址，从而将用户的访问路由到相应的网站或应用服务器。 文档版本：20200131 IV

6微服务架构日志采集运维管理最佳实践 最佳实践概述 最佳实践概述 概述 利用阿里云容器服务Kubernetes版、容器镜像服务、云NAS、日志服务SLS、云数 据库RDS、云服务器ECS等产品给用户展示用户在应用微服务改造落地过程中对容 器化应用/非容器化应用日志采集、运维分析的产品最佳实践能力展示。 场景描述 随着容器/Kubernetes技术在微服务落地过程中的部署、交付等环节给用户带来了很. 多便捷，也同时可能会存在容器化应用/非容器化应用混合部署的形态；在日志采集处 理分析领域，会有一些主要的业务痛点。 方案架构和优势  方案架构  方案优势 基于阿里云容器服务Kubernetes托管版集群与云NAS构建互联网微服务应 ￚ 用，高可用及高弹性架构。 文档版本：20200131 V

7微服务架构日志采集运维管理最佳实践 最佳实践概述 ￚ 容器镜像服务(ACR)提供自动化部署和更新能力，维护应用的最新状态。 ￚ 数据通过RDS存储，提供读写分离容灾能力。 ￚ SLS与阿里云公共云产品深度集成，提供便捷一站式的日志采集、消费、分 析和查询的日志运维能力。 ￚ 容器化应用和非容器化应用混合部署，技术架构平滑演进。 ￚ 阿里云智能DNS提供稳定易用的域名DNS解析能力。 文档版本：20200131 VI

8微服务架构日志采集运维管理最佳实践 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II 前言................................................................................................................................................................................III ................................................................................................................................................................ 最佳实践概述 V 目录..............................................................................................................................................................................VII 前置条件........................................................................................................................................................................1 ........................................................................................................................................................................ 方案背景 2 导读.................................................................................................................................................................................3 ................................................................................................. 1. 基于阿里云容器服务Kubernetes的应用部署 4 1.1. 创建容器镜像仓库................................................................................................................................4 1.2. 创建VPC网络......................................................................................................................................8 .................................................................................................................... 1.3. 创建和配置RDS数据库 11 1.4. 创建NAS文件系统............................................................................................................................17 ........................................................................................................................ 1.5. 创建日志服务Project 20 1.6. 创建和配置容器服务..........................................................................................................................21 1.6.1. 创建容器服务Kubernetes版集群...........................................................................................21 .............................................................................................................................. 1.6.2. 创建命名空间 27 1.6.3. 创建存储卷和存储声明..............................................................................................................28 .................................................................................................. 1.6.4. 获取原始镜像并上传镜像仓库 30 1.6.5. 创建WordPress应用................................................................................................................32 1.6.6. 初始化容器应用..........................................................................................................................38 ...................................................................................................... 2. KubernetesIngress日志采集分析与监控 43 2.1. 基本概念..............................................................................................................................................43 ................................................................................................... 2.2. 阿里云日志服务Ingress解决方案 44 2.3. 检查日志服务组件版本......................................................................................................................45 2.4. 模拟访问应用网站产生接入日志......................................................................................................48 ....................................................................................................................... 2.5. 查看分析Ingress日志 49 2.6. 查看Ingress日志报表.......................................................................................................................53 ............................................................................................................ 3. Kubernetes容器日志采集分析与监控 55 3.1. 基本概念..............................................................................................................................................55 3.2. Kubernetes容器日志采集方式对比................................................................................................56 ............................................................................................ 3.3. 阿里云Logtail容器日志采集方案简介 57 3.4. DaemonSet模式日志采集分析........................................................................................................58 .............................................................................................................. 3.5. SideCar模式日志采集分析 67 4. ECS日志采集分析与监控.................................................................................................................................76 4.1. 创建ECS.............................................................................................................................................76 .............................................................................................................................................. 4.2. 应用配置 82 4.3. ECS日志采集.....................................................................................................................................88 .............................................................................................................................................. 4.4. 日志分析 93 4.5. 自定义分析..........................................................................................................................................95 5. RDS审计日志采集分析与监控.........................................................................................................................98 .................................................................................................................................... 5.1. 开启SQL洞察 98 文档版本：20200131 VII