自建ELK迁移阿里云日志服务

1自建ELK迁移阿里云日志服务(SLS)最佳实践 业务架构 场景描述 ELKStack（Elastic/Logstash/Kibana）通常 被用于日志实时分析，在开源社区中有大量 的内容和使用案例。本文介绍如何将自建的 ELK系统迁移到阿里云SLS日志服务。 解决问题 1. 自建ELK如何迁移到阿里云日志服务。 2. 如何使用Logtail采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、分析。 产品列表  阿里云日志服务（SLS）  VPN 网关  IPSecVPN  云服务器

2云服务器ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 自建ELK迁移阿里云日志服务SLS 最佳实践 文档版本：20200318（发布日期） 文档版本：20150122（发布日期） 2

3自建ELK迁移阿里云日志服务（SLS） 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建ELK迁移阿里云日志服务（SLS）最佳实践 文档编号 136 文档版本 V1.2 版本日期 2020-03-18 文档状态 外部发布 制作人 期会江煵和颐周郎灵圣 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-02-11 期会江煵 云魁周郎 创建 迭代迁移工具、SLS V1.1 2020-03-10 期会和颐 - 统计分析部分内容 V1.2 2020-03-18 筱晖 - 文档优化 文档版本：20200318（发布日期） I

4自建ELK迁移阿里云日志服务（SLS） 前言 前言 概述 本文介绍如何将ELKStack（Elastic/Logstash/Kibana）系统迁移到阿里云日志服务 （SLS）。 第1、2章 主要介绍ELK环境的部署及日志数据的生成，如果已有ELK环境可以跳 过。 第3章介绍如何创建阿里云日志服务。 第4章介绍使用IPsecVPN加密IDC和阿里云之间的公网连接。如果对数据安全要 求不高，也可以跳过本章节。 第5章 介绍历史数据迁移到阿里云，并修改Logstash配置将日志投递到阿里云日志 服务（SLS）。 第6章介绍使用Logstail采集日志并投递日志服务（SLS）的方式。 第7章介绍日志服务（SLS）的基本查询分析功能。 应用范围 通用行业 名词解释  专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划VPC和交换机的数量及网段等。更多信息，请参见 https://www.aliyun.com/product/vpc  云服务器ECS：云服务器 ECS（ElasticComputeService）是一种弹性可伸缩的 计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。更 多信息请参见：https://www.aliyun.com/product/ecs  日志服务LOG（原SLS）：行业领先的日志大数据解决方案，一站式提供数据收 集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力，实时挖掘数 据价值，智能助力研发/运维/运营/安全等场景。更多信息请参见： https://www.aliyun.com/product/sls 文档版本：20200318（发布日期） III

5自建ELK迁移阿里云日志服务（SLS） 前言  性能测试服务PTS：PTS（PerformanceTestingService）是面向所有技术背景 人员的云化测试工具。有别于传统工具的繁复，PTS以互联网化的交互，提供性 能测试、API调试和监测等多种能力。自研和适配开源的功能都可以轻松模拟任 意体量的用户访问业务的场景，任务随时发起，免去繁琐的搭建和维护成本。更 是紧密结合监控、流控等兄弟产品提供一站式高可用能力，高效检验和管理业务 性能。 更多信息请参见：https://www.aliyun.com/product/pts  VPN网关：VPN网关是一款基于Internet，通过加密通道将企业数据中心、企业 办公网络、或internet终端和阿里云专有网络（VPC）安全可靠连接起来的服务。 阿里云VPN网关在国家相关政策法规下提供服务，不提供访问Internet功能。更 多信息请参见：https://www.aliyun.com/product/vpn 文档版本：20200318（发布日期） IV

6自建ELK迁移阿里云日志服务（SLS） 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II 前言................................................................................................................................................................................III 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 前置条件........................................................................................................................................................................3 ................................................................................................................................................................ 演示环境说明 4 如何下载附件................................................................................................................................................................5 1. 搭建ELK环境.......................................................................................................................................................6 ....................................................................................................................... 1.1. 模拟部署IDC网络环境 6 1.1.1. 创建VPC和交换机......................................................................................................................6 .................................................................................................................................... 1.1.2. 创建安全组 8 1.2. 安装部署ELK环境............................................................................................................................11 1.2.1. 创建ECS.....................................................................................................................................11 ............................................................................................................................... 1.2.2. 安装Java11 16 1.2.3. 安装Elasticsearch.....................................................................................................................17 ............................................................................................................................ 1.2.4. 安装LogStash 22 1.2.5. 安装Kibana................................................................................................................................24 1.3. 部署WebServer（Nginx）.............................................................................................................26 ....................................................................................................................................... 1.4. 部署Filebeat 29 1.5. ELK环境验证......................................................................................................................................31 ...................................................................................................................................................... 2. 准备测试数据 36 2.1. 开通性能测试服务PTS.....................................................................................................................36 2.2. 创建PTS测试场景............................................................................................................................37 .......................................................................................................... 2.3. 执行压测生成nginx访问日志 38 3. 云上创建日志服务（SLS）..............................................................................................................................41 ................................................................................................................ 3.1. 日志服务与ELK成本对比 41 3.2. 创建Project........................................................................................................................................42 3.3. 创建Logstore.....................................................................................................................................43 ..................................................................................................................................................... 4. VPN网络配置 46 4.1. 用户IDC环境中部署FlexGWVPN.................................................................................................46 ......................................................................................................... 4.2. 阿里云上部署IPsecVPN网关 47 4.3. 用户IDC环境中配置FlexGW..........................................................................................................57 4.4. IDC环境中添加路由..........................................................................................................................60 .................................................................................................................. 5. ELK数据迁移到日志服务（SLS） 64 5.1. 迁移步骤概述......................................................................................................................................64 ...................................................................................................................................... 5.2. 安装迁移工具 64 5.3. 迁移工具配置......................................................................................................................................66 5.4. 数据迁移..............................................................................................................................................68 .................................................................................................................... 5.5. 在SLS上检验迁移结果 72 5.6. Logstash接入日志服务....................................................................................................................74 ........................................................................................................................ 6. （可选）配置Logtail采集日志 78 文档版本：20200318（发布日期） V

7自建ELK迁移阿里云日志服务（SLS） 目录 6.1. 部署新的ECS并配置安装Nginx....................................................................................................78 6.2. 配置Logtail采集Nginx的日志.......................................................................................................81 ...................................................................................................... 7. （可选）日志服务（SLS）基础使用介绍 88 7.1. 基础查询..............................................................................................................................................88 .............................................................................................................................................. 7.2. 统计分析 91 7.3. 快速查询..............................................................................................................................................93 7.4. 仪表盘..................................................................................................................................................95 文档版本：20200318（发布日期） VI

8自建ELK迁移阿里云日志服务（SLS） 最佳实践概述 最佳实践概述 方案架构 ELKStack（Elastic/Logstash/Kibana）通常被用于日志实时分析， 在开源社区中有 大量的内容和使用案例。 阿里云日志服务是阿里巴巴集团对日志场景的解决方案产品，前身是2012年初阿里 云在研发飞天操作系统过程中用来监控+问题诊断的产物，但随着用户增长与产品发展， 慢慢开始向面向Ops（DevOps，MarketOps，SecOps）日志分析领域发展，期间经 历双十一、蚂蚁双十二、新春红包、国际业务等场景挑战，成为同时服务国内外的产 品。 本文介绍如何将自建的ELK系统迁移到阿里云SLS日志服务。 1. 阿里云日志服务迁移工具使用ScrollAPI从Elasticsearch抓取数据。ScrollAPI 可以从Elasticsearch里高效取出大量数据而无须付出深度分页的代价。 2. 针对Elasticsearch每个index的每个shard创建一个数据迁移任务，提交到内部 进程池中执行，用来提高并行度和吞吐量。 3. 针对logstash可以通过插件将日志直接输出到阿里云日志服务（SLS）,同时也支 持通过Logtail采集日志数据。 文档版本：20200318（发布日期） 1