备案控制台
阿里云 全部技术解决方案

SLS多云日志采集、处理及分析

相关产品

客户案例

相关推荐

潍坊智慧油客网络科技有限公司
潍坊智慧油客网络科技有限公司

智慧油客成立于2016年，致力于成为中国乃至全球能源零售行业首选的数字化建设与数字化运营服务商。智慧油客潜心多年自主创新研发，成功打造了行业领先的能源零售一体化智慧运营管理系统，并且已获得国家级高新技术企业认证，拥有ISO9001、ISO20000、ISO27001、CMMI、ITSS、信息系统安全等级保护三级、智能集线器新型专利以及几十项软件著作证书，并成为中国石油流通协会常务理事单位。截止到目前，智慧油客的业务覆盖全国8000多座加油站，累计服务车主用户数量突破5000万。2020年全年支持加油站交易近2亿次，系统总交易额近400亿元。

潍坊智慧油客网络科技有限公司
潍坊智慧油客网络科技有限公司

智慧油客成立于2016年，致力于成为中国乃至全球能源零售行业首选的数字化建设与数字化运营服务商。智慧油客潜心多年自主创新研发，成功打造了行业领先的能源零售一体化智慧运营管理系统，并且已获得国家级高新技术企业认证，拥有ISO9001、ISO20000、ISO27001、CMMI、ITSS、信息系统安全等级保护三级、智能集线器新型专利以及几十项软件著作证书，并成为中国石油流通协会常务理事单位。截止到目前，智慧油客的业务覆盖全国8000多座加油站，累计服务车主用户数量突破5000万。2020年全年支持加油站交易近2亿次，系统总交易额近400亿元。

智慧科技会展（北京）集团股份公司
智慧科技会展（北京）集团股份公司

智慧科技会展集团作为国内领先的会展综合服务集团，首创“SMART M.I.C.E.”（智慧会展）模式，并作为先行者及领导者，率先推出全新服务体系，暨通过“线上+线下”模式完成全场景会议活动的端到端服务，同时在国家相关部委支持下，实现服务标准化，通过覆盖全国的专业人才网络完成落地服务。新体系颠覆了传统劳力密集型模式，帮助客户实现节省、高效、合规、便捷的会议管理及相关服务，拥有整合营销、会议平台、人才网络、智能硬件及增值服务等五大业务板块，年业务规模超过15亿。其中会议平台板块产品“会引擎”是国内目前最先进，最具规模的会议服务平台，年处理会议超过50万场。

宁波邻家网络科技有限公司
宁波邻家网络科技有限公司

草料二维码是全球领先的二维码云服务平台、国家标准化协会理事单位，参与过商品⼆维码、名⽚二维码等国家标准的制定。

草料二维码平台累计⽣成几十亿二维码，拥有700多万注册⽤户，其中包括中铁、中建、国家电网、宜家家居、中国⽯油等知名企 业。使⽤场景覆盖贸易零售、建筑施工、生产制造、教育培训、⽣活服务等⼤量⾏业，通过二维码减少信息沟通成本，提升营销 和管理效率。

维他奶有限公司
维他奶有限公司

维他奶国际集团有限公司（以下简称“维他奶”）是一家专注生产及分销植物食品及饮品的企业，距今已有80年的历史。维他奶全球总部设于中国香港特别行政区，中国内地总部位于广州南沙自贸区内。维他奶（00345.HK）已在香港联合交易所主板上市。

自1940年由罗桂祥博士创立以来，维他奶始终坚守创立愿景，致力于为消费者提供各种高品质、多样化的产品，以营养、美味及可持续发展作为开拓产品方针。维他奶在推广可持续营养的同时也十分重视社会责任，致力回馈社区，并竭力在生产营运中提升资源使用率，在促进大众健康的同时，积极保护地球环境。

维他奶公司主要生产和销售以植物为本的饮品，包括以「维他奶」为商标的植物蛋白饮料和以「维他」为商标的茶饮料等。「维他奶」的主要产品系列，除了经典的维他奶基础系列，近年来还推出了高端豆奶产品“健康加法”植物奶系列、咖啡大师茶艺大师系列、澳洲原装进口植物奶系列等。而在「维他」茶饮料产品方面，除了备受消费者喜爱的维他柠檬茶、维他菊花茶，还推出了维他无糖茶系列等，帮助年轻群体实践健康的生活方式。

探索阿里云产品，构建云上应用和服务

免费试用

相关产品

客户案例

相关推荐

云服务器ECS

云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

日志服务（SLS）

行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力，实时挖掘数据价值，智能助力研发/运维/运营/安全等场景。

NAT网关

帮助您在VPC环境下构建一个公网流量的出入口，通过自定义SNAT，DNAT规则灵活使用网络资源，支持多IP，支持共享公网带宽。

E-MapReduce

E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括Hadoop、Spark、Kafka和Storm，为用户提供集群、作业、数据等管理的一站式大数据处理分析业务。

全站加速 DCDN

旨在提升动静态资源混合站点的访问体验，支持静态资源边缘缓存，动态内容最优路由回源传输，同时满足整体站点的全网访问速度及稳定性需求。全站加速构建于阿里云CDN平台之上，适用于动静混合型、纯动态型站点或应用的内容分发加速服务。

云速搭CADT

云速搭CADT是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。
潍坊智慧油客网络科技有限公司
潍坊智慧油客网络科技有限公司

智慧油客成立于2016年，致力于成为中国乃至全球能源零售行业首选的数字化建设与数字化运营服务商。智慧油客潜心多年自主创新研发，成功打造了行业领先的能源零售一体化智慧运营管理系统，并且已获得国家级高新技术企业认证，拥有ISO9001、ISO20000、ISO27001、CMMI、ITSS、信息系统安全等级保护三级、智能集线器新型专利以及几十项软件著作证书，并成为中国石油流通协会常务理事单位。截止到目前，智慧油客的业务覆盖全国8000多座加油站，累计服务车主用户数量突破5000万。2020年全年支持加油站交易近2亿次，系统总交易额近400亿元。

潍坊智慧油客网络科技有限公司
潍坊智慧油客网络科技有限公司

智慧油客成立于2016年，致力于成为中国乃至全球能源零售行业首选的数字化建设与数字化运营服务商。智慧油客潜心多年自主创新研发，成功打造了行业领先的能源零售一体化智慧运营管理系统，并且已获得国家级高新技术企业认证，拥有ISO9001、ISO20000、ISO27001、CMMI、ITSS、信息系统安全等级保护三级、智能集线器新型专利以及几十项软件著作证书，并成为中国石油流通协会常务理事单位。截止到目前，智慧油客的业务覆盖全国8000多座加油站，累计服务车主用户数量突破5000万。2020年全年支持加油站交易近2亿次，系统总交易额近400亿元。

智慧科技会展（北京）集团股份公司
智慧科技会展（北京）集团股份公司

智慧科技会展集团作为国内领先的会展综合服务集团，首创“SMART M.I.C.E.”（智慧会展）模式，并作为先行者及领导者，率先推出全新服务体系，暨通过“线上+线下”模式完成全场景会议活动的端到端服务，同时在国家相关部委支持下，实现服务标准化，通过覆盖全国的专业人才网络完成落地服务。新体系颠覆了传统劳力密集型模式，帮助客户实现节省、高效、合规、便捷的会议管理及相关服务，拥有整合营销、会议平台、人才网络、智能硬件及增值服务等五大业务板块，年业务规模超过15亿。其中会议平台板块产品“会引擎”是国内目前最先进，最具规模的会议服务平台，年处理会议超过50万场。

宁波邻家网络科技有限公司
宁波邻家网络科技有限公司

草料二维码是全球领先的二维码云服务平台、国家标准化协会理事单位，参与过商品⼆维码、名⽚二维码等国家标准的制定。

草料二维码平台累计⽣成几十亿二维码，拥有700多万注册⽤户，其中包括中铁、中建、国家电网、宜家家居、中国⽯油等知名企 业。使⽤场景覆盖贸易零售、建筑施工、生产制造、教育培训、⽣活服务等⼤量⾏业，通过二维码减少信息沟通成本，提升营销 和管理效率。

维他奶有限公司
维他奶有限公司

维他奶国际集团有限公司（以下简称“维他奶”）是一家专注生产及分销植物食品及饮品的企业，距今已有80年的历史。维他奶全球总部设于中国香港特别行政区，中国内地总部位于广州南沙自贸区内。维他奶（00345.HK）已在香港联合交易所主板上市。

自1940年由罗桂祥博士创立以来，维他奶始终坚守创立愿景，致力于为消费者提供各种高品质、多样化的产品，以营养、美味及可持续发展作为开拓产品方针。维他奶在推广可持续营养的同时也十分重视社会责任，致力回馈社区，并竭力在生产营运中提升资源使用率，在促进大众健康的同时，积极保护地球环境。

维他奶公司主要生产和销售以植物为本的饮品，包括以「维他奶」为商标的植物蛋白饮料和以「维他」为商标的茶饮料等。「维他奶」的主要产品系列，除了经典的维他奶基础系列，近年来还推出了高端豆奶产品“健康加法”植物奶系列、咖啡大师茶艺大师系列、澳洲原装进口植物奶系列等。而在「维他」茶饮料产品方面，除了备受消费者喜爱的维他柠檬茶、维他菊花茶，还推出了维他无糖茶系列等，帮助年轻群体实践健康的生活方式。

云上网站经典架构

基于ECS、RDS和SLB经典云上架构，应对传统IDC在成本预估、系统稳定性、灾备等方面的挑战。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 对象存储 OSS 负载均衡 SLB CDN 云速搭CADT
云效+ACK构建容器云Devops平台

使用云效完成容器应用自动化构建和持续部署
专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭CADT
SLS多云日志采集、处理及分析

多云平台服务器上采集日志写入到阿里云日志服务/帮助提升运维、运营效率
云服务器ECS 日志服务（SLS） NAT网关 E-MapReduce 全站加速 DCDN 云速搭CADT
云桌面远程办公

使用云桌面和VPN网关产品快速构建远程办公环境，在云桌面可以访问企业IDC内的应用和资源
云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
电商网站业务安全

使用阿里云实现电商网站运营期间的安全防护，包括防爬风险管理、DDoS防御、风险管理产品的能力及操作
云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理 云速搭CADT
基于ECI的ACK集群高弹性架构

使用ACK上运行常规业务，业务突发波动时突增业务运行在ECI上/达到成本的最优控制
云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭CADT
基于MaxCompute的大数据BI分析

在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析和决策/本文演示如何将业务数据和日志数据通过MaxCompute处理后汇总到ADB/并通过QuickBI等工具进行可视化分析的方案。
日志服务（SLS） 大数据计算服务 MaxCompute 云原生数据仓库AnalyticDB MySQL版 Quick BI 云速搭CADT
自建Hadoop迁移MaxCompute

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。
云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭CADT
服务器迁移

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS
专有网络 VPC 云服务器ECS 服务器迁移中心 云速搭CADT
容器跨可用区高可用

使用Redis、RDS和NAS以及阿里云容器服务搭建一个跨可用区高可用的系统
云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 云速搭CADT
互联网、电商行业实时大数据分析

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性
云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线
Spring Cloud Netflix应用迁移EDAS

Spring Cloud应用经过简单改造，迁移到云上企业级分布式应用服务(EDAS），利用EDAS的监控、调用链、限流降级
专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS

探索阿里云产品，构建云上应用和服务

免费试用

温馨提示

抱歉，登录前您只能看到8页哦。立刻登录，浏览全部技术解决方案最佳实践案例内容！

如果您是企业账号，可以生成子账号授权访问。

BpFile(id=169, bpId=83, name=SLS多云日志采集、处理及分析, author=null, keyword=多云架构,大数据分析,Sparking,SDK, description=多云平台服务器上采集日志写入到阿里云日志服务/帮助提升运维、运营效率, position=null, ossUrl=bp-H16242SO6E95Z26Q.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 ⚫E-MapReduce ⚫专有网络VPC ⚫云服务器ECS ⚫日志服务LOG ⚫DCDN

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null, cooperation=, cooperationList=null)
1SLS多云日志采集、处理及分析最佳实践 场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过LogproducerSDK写入日志 服务。 解决问题 1. 第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2. 第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表  E-MapReduce 专有网络VPC   云服务器ECS  日志服务LOG DCDN 
2SLS多云日志采集、处理及分析 文档版本信息 文档版本：20150122（发布日期） 1
3SLS多云日志采集、处理及分析 文档版本信息 文档版本：20191009 阿里云 企业上云实践 SLS多云日志采集、处理及分析 文档版本：20150122（发布日期） 2
4SLS多云日志采集、处理及分析 文档版本信息 文档版本信息 文本信息： 属性 内容 文档名称 SLS多云日志采集、处理及分析 文档编号 083 文档版本 V1.3 版本日期 2019-08-27 文档状态 外部发布 制作人 弦望、明誉 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/08/12 弦望、明誉 行夜 创建 V1.1 2019/08/16 筱晖 - 文档优化 V1.2 2019/08/27 弦望 更新源码下载 地址 V1.3 2019/10/09 明誉 1.更新ECS日 志机机器组集 群出公网实践 示例内容 2. 增加SNAT IP池示例实践 以及使用说明 文档版本：20191009 I
5SLS多云日志采集、处理及分析 前言 前言 概述 本文根据用户业务场景不同分别采用Logtail和Logproducer写入阿里云日志服务， 针对未使用其他日志采集服务的用户，推荐在第三方云平台或线下IDC服务器安装 logtail采集并使用DCDN安全传输；针对已使用其他日志采集工具并且已有日志服 务需要继续服务的情况，可以通过LogproducerSDK写入日志服务（开启DCDN安 全加速）。本文提供全流程完整的Demo演示和源码，可作为客户、架构师PoC验证、 学习使用。 应用范围  第三方云平台或线下IDC需要使用阿里云日志服务生态。  第三方云平台或线下IDC服务器已有完整日志服务迁移至阿里云。 名词解释  日志服务LOG：日志服务（LogService，简称LOG/原SLS）是针对实时数据一 站式服务，在阿里集团经历大量大数据场景锤炼而成。提供日志类数据采集、消 费、投递及查询分析功能，全面提升海量日志处理/分析能力，服务智能研发/运维 /运营/安全等场景。更多信息，请参见专有日志服务简介 （https://www.aliyun.com/product/sls）。  E-MapReduce：阿里云 E-MapReduce(EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、Hive、Flink 生态大数据PaaS 产品。提供用户在云 上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学 习等场景下的大数据解决方案。更多信息，请参见专有E-MapReduce简介 （https://www.aliyun.com/product/emapreduce）。  全站加速DCDN：旨在提升动静态资源混合站点的访问体验，支持静态资源边缘 缓存，动态内容最优路由回源传输，同时满足整体站点的全网访问速度及稳定性 需求。全站加速构建于阿里云CDN平台之上，适用于动静混合型、纯动态型站点 或应用的内容分发加速服务。更多信息，请参见专有 DCDN 简介 （https://www.aliyun.com/product/dcdn）。  专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 文档版本：20191009 3
6SLS多云日志采集、处理及分析 前言 结合具体业务，规划VPC和交换机的数量及网段等。更多信息，请参见专有网络 VPC简介（https://www.aliyun.com/product/vpc）。  云服务器 ECS（ElasticComputeService）:是一种弹性可伸缩的计算服务，助您 降低 IT 成本，提升运维效率，使您更专注于核心业务创新。更多信息，请参见 ECS简介（https://www.aliyun.com/product/ecs）。 文档版本：20191009 4
7SLS多云日志采集、处理及分析 目录 目录 文档版本信息..................................................................................................................................................................I 法律声明......................................................................................................................................................................... II 前言................................................................................................................................................................................. 3 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 ........................................................................................................................................................................ 前置条件 3 导读........................................................................................................................................................................ 1. 4 1.1. 如何选择阅读内容................................................................................................................................4 .................................................................................................................... 1.2. 如何下载源码和脚本文件 4 1.3. 日志服务器机器组集群出公网实践示例............................................................................................4 ................................................................................................................................... 2. Logtail日志采集处理分析 6 创建日志服务 和 .................................................................................................... 2.1. Project Logstore 6 2.2. 安装Logtail日志采集客户端............................................................................................................11 .............................................................................................................................. 2.3. 配置主账号AliUid 11 2.4. 配置接入日志库..................................................................................................................................12 ............................................................................................. 2.5. 云服务器上模拟产生Nginx文本日志 19 通过日志服务仪表盘进行可视化分析.............................................................................................. 2.6. 21 3. Logtail安全采集加速处理分析.........................................................................................................................24 .............................................................................................................................. 3.1. 开通全站加速产品 24 3.2. 开启HTTPS加速...............................................................................................................................25 .................................................................................................... 3.3. 切换Logtail采集模式为全球加速 29 启动日志发生器.................................................................................................................................. 3.4. 30 3.5. 小结......................................................................................................................................................32 .................................................................................................................................................. 4. 创建Kafka集群 33 4.1. Kafka概述...........................................................................................................................................33 .................................................................................................................................. 4.2. 创建Kafka集群 34 创建 ................................................................................................................................ 4.3. KafkaTopic 39 5. Filebeat日志采集到Kafka...............................................................................................................................43 ....................................................................................................................... 5.1. Filebeat基本概念介绍 43 5.2. 搭建ECS日志生成环境....................................................................................................................45 ............................................................................................................................... 5.3. Filebeat安装配置 52 创建 集群（ ）............................................................................................................................ 6. Hadoop spark 56 6.1. 创建Hadoop集群.............................................................................................................................56 .................................................................................................................................. 6.2. 调整spark配置 59 7. 创建日志服务......................................................................................................................................................62 ................................................................................................ 8. Spark数据处理Logproducer写入日志服务 65 作业源码....................................................................................................................................... 8.1. Git 65 8.2. Spark作业处理Logproducer写入日志服务................................................................................66 .............................................................................................. 9. 附录1：编写Spark作业源码解读及问题排查 70 9.1. Spark作业源码解读..........................................................................................................................70 ...................................................................................................... 9.2. Spark作业源码编译及问题排查 73 附录 ：日志服务器集群公网日志数据传递到日志服务............................................................................... 10. 2 78 文档版本：20191009 V
8SLS多云日志采集、处理及分析 目录 文档版本：20191009 VI