Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS

专有网络 VPC 云服务器ECS 服务器迁移中心 云架构设计工具
ML&AI |

利用PAI平台快速构建一个高效的离线训练和在线推理的推荐业务系统。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 大数据计算服务 MaxCompute 机器学习PAI 云架构设计工具
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

云原生高性价比的等保三级最佳实践;在等保二级基础上,叠加必要的安全产品及高可用架构/满足三级要求

云服务器ECS 日志服务(SLS) 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云架构设计工具
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 云数据库RDS MySQL 版 负载均衡 SLB 容器服务 ACK 云效 云架构设计工具
业务上云 |

适用于中小型电商应用上云。包括常用最佳实践架构,同时提供云上资源建站和数据库迁移实践操作。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=335, bpId=207, name=云原生架构下日志服务数据预处理, author=null, keyword=云原生,日志服务,数据预处理,数据加工, description=某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦该客户以下几个典型场景: 场景一:跨地域/跨账号数据汇集 场景二:数据内容富化(join 维表) 场景三:数据投递/归档、入湖分析 场景四:统一采集,按业务分发分析 场景五:数据监控与智能告警 基于这些场景,本篇实践会介绍对应的解决方案和最佳实践操作手册,方便用户快速快速对号入座,解决云原生架构下的常见日志难题。 , position=null, ossUrl=bp-SNNSJ12HVIM3V2H0.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦以下几个典型场景:

场景一: 跨地域/跨账号数据汇集

假设该在线教育的主要用户集中在美国硅谷和中国上海两地,为了更好的为用户提供个性化服务,系统会通过多端(Android/IOS/Web)进行收集用户行为日志和设备元数据(端设备的信息、软件版本),并出于网络就近原则和稳定性考虑,美国硅谷的客户端日志都上传到美国硅谷(us-west-1),中国上海的客户端日志都上传到中国上海(cn-shanghai),为了方便客服中心或者运维团队进行集中查询和管理,会将两地的通过数据加工汇聚到一起。

场景二:数据内容富化(join 维表)

在日常工作中,客服中心的工作人员常常需要通过检索账号ID的方式,快速获取该用户相关的移动端操作记录,但是移动端的数据和用户账号信息是分别采集与存放,无法直接关联。

所以系统层面上,需要将多端日志与维表(例如用户信息Mysql表)进行字段join,为原日志信息添加更多维度信息供分析或者问题解答。

场景三:数据投递/归档、入湖分析

需要将数据归档到OSS,便于对用户行为数据进行分析,但是由于不同客户端的日志格式不同,需要使用日志服务的数据加工功能,进行数据规整后再做投递,便于后续分析。

场景四:统一采集,按业务分发分析

系统部署在阿里云容器服务K8S上,系统日志通过DaemonSet方式采集到Logstore,出于便于后续各业务分析,需要通过日志服务将不同Service的日志分发到不同的Logstore。

场景五:数据监控与智能告警

当我们完成前面几个场景的一个或者多个加工任务,需要对加工任务的延迟情况进行监控,以便快速发现异常,避免影响业务,当加工任务延迟时间超过所设置的阈值后,触发告警,执行相关行动策略,比如通知相关人员进行处理。


1.1. 方案优势

数据规整:对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数仓计算。

数据富化:日志(例如业务订单)与维表(例如用户信息MySQL表)进行字段join,为日志添加更多维度信息供分析。

数据分发/汇聚:将全量日志按转发规则分别提取到多个下游存储供不同业务使用。

监控告警:监控大规模数据,触发告警,支持机器学习算法(e.g:智能巡检),通过告警策略配置,对触发的告警进行降噪处理(去重、静默、合并、抑制、路由分派等),然后分派给特定通知渠道(短信、邮件等)。

, templateId=null, freetry=, visitTime=null, visitCount=null, video_url=https://yqh.aliyun.com/live/detail/23950, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)