Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
数据分析 |

针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 NAT网关 云原生数据仓库AnalyticDB MySQL版
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
中间件 |

介绍如何用 Serverless 应用引擎(SAE)帮助企业极速构建云上微服务应用

专有网络 VPC 负载均衡 SLB 应用实时监控服务 ARMS 云监控 Serverless 应用引擎
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=246, bpId=136, name=自建ELK迁移阿里云日志服务, author=null, keyword=ELK SLS,ELK迁移,SLS,日志服务, description=本文介绍如何将自建的ELK系统迁移到阿里云SLS日志服务。, position=null, ossUrl=bp-JRG6U3UQFKM1L383.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述 ELK Stack(Elastic/Logstash/Kibana) 通常 被用于日志实时分析, 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSec VPN  云服务器, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1自建ELK迁移阿里云日志服务(SLS)最佳实践 业务架构 场景描述 ELKStack(Elastic/Logstash/Kibana)通常 被用于日志实时分析,在开源社区中有大量 的内容和使用案例。本文介绍如何将自建的 ELK系统迁移到阿里云SLS日志服务。 解决问题 1. 自建ELK如何迁移到阿里云日志服务。 2. 如何使用Logtail采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSecVPN  云服务器
2云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 自建ELK迁移阿里云日志服务SLS 最佳实践 文档版本:20200318(发布日期) 文档版本:20150122(发布日期) 2
3自建ELK迁移阿里云日志服务(SLS) 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建ELK迁移阿里云日志服务(SLS)最佳实践 文档编号 136 文档版本 V1.2 版本日期 2020-03-18 文档状态 外部发布 制作人 期会江煵和颐周郎灵圣 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-02-11 期会江煵 云魁周郎 创建 迭代迁移工具、SLS V1.1 2020-03-10 期会和颐 - 统计分析部分内容 V1.2 2020-03-18 筱晖 - 文档优化 文档版本:20200318(发布日期) I
4自建ELK迁移阿里云日志服务(SLS) 前言 前言 概述 本文介绍如何将ELKStack(Elastic/Logstash/Kibana)系统迁移到阿里云日志服务 (SLS)。 第1、2章 主要介绍ELK环境的部署及日志数据的生成,如果已有ELK环境可以跳 过。 第3章介绍如何创建阿里云日志服务。 第4章介绍使用IPsecVPN加密IDC和阿里云之间的公网连接。如果对数据安全要 求不高,也可以跳过本章节。 第5章 介绍历史数据迁移到阿里云,并修改Logstash配置将日志投递到阿里云日志 服务(SLS)。 第6章介绍使用Logstail采集日志并投递日志服务(SLS)的方式。 第7章介绍日志服务(SLS)的基本查询分析功能。 应用范围 通用行业 名词解释  专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要 结合具体业务,规划VPC和交换机的数量及网段等。更多信息,请参见 https://www.aliyun.com/product/vpc  云服务器ECS:云服务器 ECS(ElasticComputeService)是一种弹性可伸缩的 计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。更 多信息请参见:https://www.aliyun.com/product/ecs  日志服务LOG(原SLS):行业领先的日志大数据解决方案,一站式提供数据收 集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数 据价值,智能助力研发/运维/运营/安全等场景。更多信息请参见: https://www.aliyun.com/product/sls 文档版本:20200318(发布日期) III
5自建ELK迁移阿里云日志服务(SLS) 前言  性能测试服务PTS:PTS(PerformanceTestingService)是面向所有技术背景 人员的云化测试工具。有别于传统工具的繁复,PTS以互联网化的交互,提供性 能测试、API调试和监测等多种能力。自研和适配开源的功能都可以轻松模拟任 意体量的用户访问业务的场景,任务随时发起,免去繁琐的搭建和维护成本。更 是紧密结合监控、流控等兄弟产品提供一站式高可用能力,高效检验和管理业务 性能。 更多信息请参见:https://www.aliyun.com/product/pts  VPN网关:VPN网关是一款基于Internet,通过加密通道将企业数据中心、企业 办公网络、或internet终端和阿里云专有网络(VPC)安全可靠连接起来的服务。 阿里云VPN网关在国家相关政策法规下提供服务,不提供访问Internet功能。更 多信息请参见:https://www.aliyun.com/product/vpn 文档版本:20200318(发布日期) IV
6自建ELK迁移阿里云日志服务(SLS) 目录 目录 文档版本信息..................................................................................................................................................................I ......................................................................................................................................................................... 法律声明 II 前言................................................................................................................................................................................III 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 前置条件........................................................................................................................................................................3 ................................................................................................................................................................ 演示环境说明 4 如何下载附件................................................................................................................................................................5 1. 搭建ELK环境.......................................................................................................................................................6 ....................................................................................................................... 1.1. 模拟部署IDC网络环境 6 1.1.1. 创建VPC和交换机......................................................................................................................6 .................................................................................................................................... 1.1.2. 创建安全组 8 1.2. 安装部署ELK环境............................................................................................................................11 1.2.1. 创建ECS.....................................................................................................................................11 ............................................................................................................................... 1.2.2. 安装Java11 16 1.2.3. 安装Elasticsearch.....................................................................................................................17 ............................................................................................................................ 1.2.4. 安装LogStash 22 1.2.5. 安装Kibana................................................................................................................................24 1.3. 部署WebServer(Nginx).............................................................................................................26 ....................................................................................................................................... 1.4. 部署Filebeat 29 1.5. ELK环境验证......................................................................................................................................31 ...................................................................................................................................................... 2. 准备测试数据 36 2.1. 开通性能测试服务PTS.....................................................................................................................36 2.2. 创建PTS测试场景............................................................................................................................37 .......................................................................................................... 2.3. 执行压测生成nginx访问日志 38 3. 云上创建日志服务(SLS)..............................................................................................................................41 ................................................................................................................ 3.1. 日志服务与ELK成本对比 41 3.2. 创建Project........................................................................................................................................42 3.3. 创建Logstore.....................................................................................................................................43 ..................................................................................................................................................... 4. VPN网络配置 46 4.1. 用户IDC环境中部署FlexGWVPN.................................................................................................46 ......................................................................................................... 4.2. 阿里云上部署IPsecVPN网关 47 4.3. 用户IDC环境中配置FlexGW..........................................................................................................57 4.4. IDC环境中添加路由..........................................................................................................................60 .................................................................................................................. 5. ELK数据迁移到日志服务(SLS) 64 5.1. 迁移步骤概述......................................................................................................................................64 ...................................................................................................................................... 5.2. 安装迁移工具 64 5.3. 迁移工具配置......................................................................................................................................66 5.4. 数据迁移..............................................................................................................................................68 .................................................................................................................... 5.5. 在SLS上检验迁移结果 72 5.6. Logstash接入日志服务....................................................................................................................74 ........................................................................................................................ 6. (可选)配置Logtail采集日志 78 文档版本:20200318(发布日期) V
7自建ELK迁移阿里云日志服务(SLS) 目录 6.1. 部署新的ECS并配置安装Nginx....................................................................................................78 6.2. 配置Logtail采集Nginx的日志.......................................................................................................81 ...................................................................................................... 7. (可选)日志服务(SLS)基础使用介绍 88 7.1. 基础查询..............................................................................................................................................88 .............................................................................................................................................. 7.2. 统计分析 91 7.3. 快速查询..............................................................................................................................................93 7.4. 仪表盘..................................................................................................................................................95 文档版本:20200318(发布日期) VI
8自建ELK迁移阿里云日志服务(SLS) 最佳实践概述 最佳实践概述 方案架构 ELKStack(Elastic/Logstash/Kibana)通常被用于日志实时分析, 在开源社区中有 大量的内容和使用案例。 阿里云日志服务是阿里巴巴集团对日志场景的解决方案产品,前身是2012年初阿里 云在研发飞天操作系统过程中用来监控+问题诊断的产物,但随着用户增长与产品发展, 慢慢开始向面向Ops(DevOps,MarketOps,SecOps)日志分析领域发展,期间经 历双十一、蚂蚁双十二、新春红包、国际业务等场景挑战,成为同时服务国内外的产 品。 本文介绍如何将自建的ELK系统迁移到阿里云SLS日志服务。 1. 阿里云日志服务迁移工具使用ScrollAPI从Elasticsearch抓取数据。ScrollAPI 可以从Elasticsearch里高效取出大量数据而无须付出深度分页的代价。 2. 针对Elasticsearch每个index的每个shard创建一个数据迁移任务,提交到内部 进程池中执行,用来提高并行度和吞吐量。 3. 针对logstash可以通过插件将日志直接输出到阿里云日志服务(SLS),同时也支 持通过Logtail采集日志数据。 文档版本:20200318(发布日期) 1