备案控制台
阿里云 全部技术解决方案

基于Elasticsearch的日志全观测最佳实践

相关产品

相关推荐

互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

相关产品

相关推荐

云服务器ECS

云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

对象存储 OSS

海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%的数据可靠性。使用RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。

实时计算

实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简化 BI 场景下的开发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业实时化转型。

Elasticsearch

兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。与开源社区背后商业公司Elastic战略合作，为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。

消息队列 Kafka 版

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

云速搭CADT

云速搭CADT是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。
云上网站经典架构

基于ECS、RDS和SLB经典云上架构，应对传统IDC在成本预估、系统稳定性、灾备等方面的挑战。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 对象存储 OSS 负载均衡 SLB CDN 云速搭CADT
基于PAI搭建企业级个性化推荐系统

快速从0到1实现一套高效、精准、易用、可扩展的企业级个性化推荐系统。
专有网络 VPC 云服务器ECS 对象存储 OSS 日志服务（SLS） 云数据库 Redis 版 容器镜像服务 ACR 大数据计算服务 MaxCompute 数据总线 机器学习PAI Hologres 云速搭CADT 机器学习PAI-EAS 推荐全链路深度定制开发平台
企业上云等保三级合规

云原生高性价比的等保三级最佳实践；在等保二级基础上，叠加必要的安全产品及高可用架构/满足三级要求
云服务器ECS 日志服务（SLS） 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书 云速搭CADT
服务器迁移

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS
专有网络 VPC 云服务器ECS 服务器迁移中心 云速搭CADT
GPU AI模型训练

本方案适用于AI图片训练场景，使用NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。
对象存储 OSS 文件存储NAS 容器服务 ACK 文件存储 CPFS GPU云服务器 云速搭CADT
视频直播业务上云

介绍手机端通过云视频直播服务来推流和拉流实现视频直播业务，同时利用MQTT微消息、内容安全和表格存储来解决。
云服务器ECS 弹性公网IP NAT网关 表格存储 内容安全 视频直播 微消息队列 MQTT 版 云速搭CADT
小程序业务实时监控

使用ACK容器快速搭建小程序同时使用ARMS提升业务监控能力/实时监控小程序业务应用性能
专有网络 VPC 云数据库RDS MySQL 版 容器服务 ACK 应用实时监控服务 ARMS 应用高可用服务 AHAS
电商行业业务及数据库上云

适用于中小型电商应用上云。包括常用最佳实践架构，同时提供云上资源建站和数据库迁移实践操作。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输 云速搭CADT
互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

温馨提示

抱歉，登录前您只能看到8页哦。立刻登录，浏览全部技术解决方案最佳实践案例内容！

如果您是企业账号，可以生成子账号授权访问。

BpFile(id=367, bpId=237, name=基于Elasticsearch的日志全观测最佳实践, author=null, keyword=日志,运维管理,运维分析,elasticsearch,flink,数据分析, description=互娱游戏教育行业在线课堂、游戏连麦、游戏直播等场景中，系统会产生大量日志。为保证稳定性及用户体验，需要基于日志数据可视化来监控全链路应用性能、链路异常、故障定位。另外通过业务数据实时数据统计、交互式查询来进行运维管理动作也非常重要。但随着业务发展，流量波动、集群变更弹性不足、数据链路长问题难定位、和成本高等问题成为突出痛点。 适合场景：非常适合在IT运维管理（ITOM）和IT运维分析（ITOA）场景中使用。 方案优势： 体系化产品能力：云上数据及服务高可用、数据存储加密和安全管控， MS级的数据时效性，全链路数据监控S级反馈等端到端ELK服务。 高性能：阿里云ES提供日志场景增强特效，支撑单集群千万级并发写入量、支持秒级日志查询响应。 高弹性：秒级别集群弹性扩缩容。 高可靠：云上/下的服务&多云数据灾备，更强的系统可靠性；服务高可用SLA 99.99%，数据高可用99.9999999%。 , position=null, ossUrl=bp-9WMCPM6AMD6PPFGL.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

互娱游戏教育行业在线课堂、游戏连麦、游戏直播等场景中，系统会产生大量日志。为保证稳定性及用户体验，需要基于日志数据可视化来监控全链路应用性能、链路异常、故障定位。另外通过业务数据实时数据统计、交互式查询来进行运维管理动作也非常重要。但随着业务发展，流量波动、集群变更弹性不足、数据链路长问题难定位、和成本高等问题成为突出痛点。

适合场景：非常适合在IT运维管理（ITOM）和IT运维分析（ITOA）场景中使用。

方案优势：
体系化产品能力：云上数据及服务高可用、数据存储加密和安全管控， MS级的数据时效性，全链路数据监控S级反馈等端到端ELK服务。
高性能：阿里云ES提供日志场景增强特效，支撑单集群千万级并发写入量、支持秒级日志查询响应。
高弹性：秒级别集群弹性扩缩容。
高可靠：云上/下的服务&多云数据灾备，更强的系统可靠性；服务高可用SLA 99.99%，数据高可用99.9999999%。

, templateId=WCT06AWTO2CH20AU, freetry=, visitTime=null, visitCount=null, video_url=, buttonName=null, buttonUrl=null, targetId=WCT06AWTO2CH20AU, partner=, partnerUrl=, partnerLogo=, cooperation=, cooperationList=null)