基于日志服务构建业务可观测性系统

1 基于日志服务构建业务可观测性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX， Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分， 举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，导航， 倒车影像等等，这些设备都各自承载了一部分的 功能，但是都存在着如下的问题： ⚫ 数据覆盖不完整 ⚫ 存在数据孤岛（无法关联协同） ⚫ 使用门槛高，不够人性化 核心价值 最佳实践频道 阿里云最佳实践技术分享群 ⚫ 全覆盖，统一协议，支持各类平台。 ⚫ 数据关联，统一 Schema，关联 Metrics/Logs。 ⚫ 云原生，SaaS服务，拥抱云原生。 ⚫ 简单易用，自动化埋点，数十项易用功能。 ⚫ 智能化，异常诊断，根因分析。 产品列表 ⚫ 专有网络 VPC ⚫ 容器服务 ACK ⚫ 云架构设计工具 CADT ⚫ 日志服务 SLS

2基于日志服务构建业务可观测性系统 文档版本信息 阿里云 基于日志服务构建业务 可观测性系统 最佳实践 文档版本：20210624（发布日期）

3基于日志服务构建业务可观测性系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于日志服务构建业务可观测性系统 文档编号 220 文档版本 V1.0 版本日期 2021-06-24 文档状态 对外发布 制作人 七凌、谷奈 审阅人 天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-06-24 七凌、谷奈 天裵 创建 文档版本：20210624 I

4基于日志服务构建业务可观测性系统 产品介绍 产品介绍 ⚫ VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ⚫ CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管 理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的 对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见： https://www.aliyun.com/product/developerservices/cadt ⚫ SLS：日志服务（SLS）是云原生观测分析平台，为 Log/Metric/Trace等数据提供 大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视 化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详见： https://www.aliyun.com/product/sls ⚫ 容器服务 ACK：容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器 应用管理能力，支持企业级容器化应用的全生命周期管理；是国内唯一入选 2020 年 Gartner公共云容器报告的产品，并在 2019年 Forrester容器报告中获国内排 名第一；整合了阿里云虚拟化、存储、网络和安全能力，助力企业高效运行云端 Kubernetes容器化应用。详见：https://www.aliyun.com/product/kubernetes 文档版本：20210624 III

5基于日志服务构建业务可观测性系统 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 产品介绍 .................................................................................................................................................................... III 目录 ............................................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 2 1. 架构设计 ............................................................................................................................................................. 3 1.1. 什么是可观察性 ................................................................................................................................. 3 1.2. 可观察性的挑战 ................................................................................................................................. 4 1.3. 可观察性整体架构 ............................................................................................................................. 5 1.4. 架构优势 ............................................................................................................................................. 5 2. 基础环境搭建 ..................................................................................................................................................... 7 3. 架构环境搭建 ................................................................................................................................................... 11 3.1. 创建追踪服务 ................................................................................................................................... 11 3.2. 配置容器集群 ................................................................................................................................... 12 3.2.1. 添加配置参数 ........................................................................................................................... 12 3.2.2. 部署前端镜像 ........................................................................................................................... 15 3.2.3. 部署后端镜像 ........................................................................................................................... 18 3.3. 添加服务和路由 ............................................................................................................................... 20 3.3.1. 添加服务 ................................................................................................................................... 20 3.3.2. 添加路由 ................................................................................................................................... 22 3.4. 配置日志采集 ................................................................................................................................... 24 3.5. 配置追踪服务 ................................................................................................................................... 27 3.5.1. 模拟出错 ................................................................................................................................... 29 3.6. 配置事件中心 ................................................................................................................................... 31 3.6.1. 创建事件中心 ........................................................................................................................... 31 3.6.2. 配置事件采集 ........................................................................................................................... 32 3.6.3. 使用事件中心 ........................................................................................................................... 34 3.7. 小结 ................................................................................................................................................... 35 文档版本：20210624 1

6基于日志服务构建业务可观测性系统 前置条件 前置条件 执行本文操作之前， 请完成以下准备工作： ⚫ 注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成实名认证。 ⚫ 阿里云账户余额大于 100 元。您可以登录阿里云控制台，并前往账户总览页面 （https://expense.console.aliyun.com/#/account/home）查看账户余额。 ⚫ 已开通 VPC、SLS、CADT和 ACK等服务。 文档版本：20210624 2

7基于日志服务构建业务可观测性系统 架构设计 1. 架构设计 1.1. 什么是可观察性 根据海恩法则(Heinrich‘s Law)，每一起严重事故背后，必然有 29次轻微事故和 300 起未遂先兆以及 1000起事故隐患。如果提前处理那些不那么严重的问题，其实是可 以避免后续的严重事故的，也就避免了其带来的巨大压力和损失。 传统监控一般以一个黑盒方式监控系统，专注发现核心指标异常，例如 500错误，客 户订单成功率等。一般这种问题发生时，准确性比较高（例如大量 500错误，大量订 单失败，但是一般也都比较严重。因为是黑盒，进一步排错和修复时间成本极大，往 往给开发运维人员带来极大压力。 而可观察性是对传统监控的升级，其要求进行白盒化监控，对各种可能的隐患、先兆、 不严重问题进行监测、跟踪处理。且不再只是在发布后，而是在开发、测试阶段就能 够进行监控。 因此对比两者可以发现，传统监控主要由 SRE人员从系统外部进行监控，关注指标， 发现问题；而可观察性由 DevOps人员从系统内部进行监控，关注指标、日志和链路 追踪等数据，然后发现问题并挖掘原因。 文档版本：20210624 3

8基于日志服务构建业务可观测性系统 架构设计 1.2. 可观察性的挑战 现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如 ZABBIX， Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察 性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备， 仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能， 但是都存在着如下的问题： ⚫ 数据覆盖不完整 ⚫ 存在数据孤岛（无法关联协同） ⚫ 使用门槛高，不够人性化 文档版本：20210624 4