Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
数据分析 |

多云平台服务器上采集日志写入到阿里云日志服务/帮助提升运维、运营效率

云服务器ECS 日志服务(SLS) NAT网关 E-MapReduce 全站加速 DCDN
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
容器&微服务 |

使用Redis、RDS和NAS以及阿里云容器服务搭建一个跨可用区高可用的系统

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线
中间件 | 容器&微服务 |

Spring Cloud应用经过简单改造,迁移到云上企业级分布式应用服务(EDAS),利用EDAS的监控、调用链、限流降级

专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=169, bpId=83, name=SLS多云日志采集、处理及分析, author=null, keyword=多云架构,大数据分析,Sparking,SDK, description=多云平台服务器上采集日志写入到阿里云日志服务/帮助提升运维、运营效率, position=null, ossUrl=bp-A77FKPX4A12MGFVK.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 ⚫E-MapReduce ⚫专有网络VPC ⚫云服务器ECS ⚫日志服务LOG ⚫DCDN, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1SLS多云日志采集、处理及分析最佳实践 场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过LogproducerSDK写入日志 服务。 解决问题 1. 第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2. 第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表  E-MapReduce 专有网络VPC   云服务器ECS  日志服务LOG DCDN 
2SLS多云日志采集、处理及分析 文档版本信息 文档版本:20150122(发布日期) 1
3SLS多云日志采集、处理及分析 文档版本信息 文档版本:20191009 阿里云 企业上云实践 SLS多云日志采集、处理及分析 文档版本:20150122(发布日期) 2
4SLS多云日志采集、处理及分析 文档版本信息 文档版本信息 文本信息: 属性 内容 文档名称 SLS多云日志采集、处理及分析 文档编号 083 文档版本 V1.3 版本日期 2019-08-27 文档状态 外部发布 制作人 弦望、明誉 审阅人 - 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/08/12 弦望、明誉 行夜 创建 V1.1 2019/08/16 筱晖 - 文档优化 V1.2 2019/08/27 弦望 更新源码下载 地址 V1.3 2019/10/09 明誉 1.更新ECS日 志机机器组集 群出公网实践 示例内容 2. 增加SNAT IP池示例实践 以及使用说明 文档版本:20191009 I
5SLS多云日志采集、处理及分析 前言 前言 概述 本文根据用户业务场景不同分别采用Logtail和Logproducer写入阿里云日志服务, 针对未使用其他日志采集服务的用户,推荐在第三方云平台或线下IDC服务器安装 logtail采集并使用DCDN安全传输;针对已使用其他日志采集工具并且已有日志服 务需要继续服务的情况,可以通过LogproducerSDK写入日志服务(开启DCDN安 全加速)。本文提供全流程完整的Demo演示和源码,可作为客户、架构师PoC验证、 学习使用。 应用范围  第三方云平台或线下IDC需要使用阿里云日志服务生态。  第三方云平台或线下IDC服务器已有完整日志服务迁移至阿里云。 名词解释  日志服务LOG:日志服务(LogService,简称LOG/原SLS)是针对实时数据一 站式服务,在阿里集团经历大量大数据场景锤炼而成。提供日志类数据采集、消 费、投递及查询分析功能,全面提升海量日志处理/分析能力,服务智能研发/运维 /运营/安全等场景。更多信息,请参见专有日志服务简介 (https://www.aliyun.com/product/sls)。  E-MapReduce:阿里云 E-MapReduce(EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、Hive、Flink 生态大数据PaaS 产品。提供用户在云 上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学 习等场景下的大数据解决方案。更多信息,请参见专有E-MapReduce简介 (https://www.aliyun.com/product/emapreduce)。  全站加速DCDN:旨在提升动静态资源混合站点的访问体验,支持静态资源边缘 缓存,动态内容最优路由回源传输,同时满足整体站点的全网访问速度及稳定性 需求。全站加速构建于阿里云CDN平台之上,适用于动静混合型、纯动态型站点 或应用的内容分发加速服务。更多信息,请参见专有 DCDN 简介 (https://www.aliyun.com/product/dcdn)。  专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要 文档版本:20191009 3
6SLS多云日志采集、处理及分析 前言 结合具体业务,规划VPC和交换机的数量及网段等。更多信息,请参见专有网络 VPC简介(https://www.aliyun.com/product/vpc)。  云服务器 ECS(ElasticComputeService):是一种弹性可伸缩的计算服务,助您 降低 IT 成本,提升运维效率,使您更专注于核心业务创新。更多信息,请参见 ECS简介(https://www.aliyun.com/product/ecs)。 文档版本:20191009 4
7SLS多云日志采集、处理及分析 目录 目录 文档版本信息..................................................................................................................................................................I 法律声明......................................................................................................................................................................... II 前言................................................................................................................................................................................. 3 目录................................................................................................................................................................................V ................................................................................................................................................................ 最佳实践概述 1 ........................................................................................................................................................................ 前置条件 3 导读........................................................................................................................................................................ 1. 4 1.1. 如何选择阅读内容................................................................................................................................4 .................................................................................................................... 1.2. 如何下载源码和脚本文件 4 1.3. 日志服务器机器组集群出公网实践示例............................................................................................4 ................................................................................................................................... 2. Logtail日志采集处理分析 6 创建日志服务 和 .................................................................................................... 2.1. Project Logstore 6 2.2. 安装Logtail日志采集客户端............................................................................................................11 .............................................................................................................................. 2.3. 配置主账号AliUid 11 2.4. 配置接入日志库..................................................................................................................................12 ............................................................................................. 2.5. 云服务器上模拟产生Nginx文本日志 19 通过日志服务仪表盘进行可视化分析.............................................................................................. 2.6. 21 3. Logtail安全采集加速处理分析.........................................................................................................................24 .............................................................................................................................. 3.1. 开通全站加速产品 24 3.2. 开启HTTPS加速...............................................................................................................................25 .................................................................................................... 3.3. 切换Logtail采集模式为全球加速 29 启动日志发生器.................................................................................................................................. 3.4. 30 3.5. 小结......................................................................................................................................................32 .................................................................................................................................................. 4. 创建Kafka集群 33 4.1. Kafka概述...........................................................................................................................................33 .................................................................................................................................. 4.2. 创建Kafka集群 34 创建 ................................................................................................................................ 4.3. KafkaTopic 39 5. Filebeat日志采集到Kafka...............................................................................................................................43 ....................................................................................................................... 5.1. Filebeat基本概念介绍 43 5.2. 搭建ECS日志生成环境....................................................................................................................45 ............................................................................................................................... 5.3. Filebeat安装配置 52 创建 集群( )............................................................................................................................ 6. Hadoop spark 56 6.1. 创建Hadoop集群.............................................................................................................................56 .................................................................................................................................. 6.2. 调整spark配置 59 7. 创建日志服务......................................................................................................................................................62 ................................................................................................ 8. Spark数据处理Logproducer写入日志服务 65 作业源码....................................................................................................................................... 8.1. Git 65 8.2. Spark作业处理Logproducer写入日志服务................................................................................66 .............................................................................................. 9. 附录1:编写Spark作业源码解读及问题排查 70 9.1. Spark作业源码解读..........................................................................................................................70 ...................................................................................................... 9.2. Spark作业源码编译及问题排查 73 附录 :日志服务器集群公网日志数据传递到日志服务............................................................................... 10. 2 78 文档版本:20191009 V
8SLS多云日志采集、处理及分析 目录 文档版本:20191009 VI