BpFile(id=217, bpId=156, name=互联网、游戏等行业实时数仓构建, author=null, keyword=日志服务,数据拆分,数据清洗,ETL,自定义Sink,实时分析,实时数仓,大数据,HDFS, description=基于Flink构建实时数仓,包含采集日志,Flink对日志的拆分、处理写入ADB存储和HDFS。, position=null, ossUrl=bp-210GK36IBE8QA29U.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 互联网、游戏等行业客户基于Flink构建实时数仓, 通过Logtail采集日志,使用Flink实现对日志的拆 分、处理,根据业务需求写入不同的数据存储,实 时分析使用ADB存储、离线分析使用HDFS存储, 构建高效、稳健的实时数据服务。 解决的问题 日志采集、处理及分析 日志使用Flink拆分到不同logstore 日志使用Flink实时写入HDFS 日志数据实时ETL 日志实时写入ADB 产品列表 实时计算、EMR,SLS、ADB、云数据库HBase版、RDS、EIP、VPC、ECS

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=https://yqh.aliyun.com/live/detail/23786, buttonName=null, buttonUrl=null, targetId=QV1T7I6K03HXO3QF)
Ctrl+F / Command+F 全文检索

相关产品

客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云架构设计工具
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
数据分析 |

针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 NAT网关 云原生数据仓库AnalyticDB MySQL版
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云架构设计工具
数据分析 |

基于Flink构建实时数仓,包含采集日志,Flink对日志的拆分、处理写入ADB存储和HDFS。

云数据库RDS MySQL 版 日志服务(SLS) E-MapReduce 云原生数据仓库AnalyticDB MySQL版 实时计算 云架构设计工具
容器&微服务 |

使用Redis、RDS和NAS以及阿里云容器服务搭建一个跨可用区高可用的系统

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版
数据分析 |

使用阿里云服务实现电商网站购物数据实时分析后在大屏幕上展示/极大地增强数据的可读性

云服务器ECS 云数据库RDS MySQL 版 DataV数据可视化 实时计算 数据总线
数据分析 |

微服务应用化过程的日志采集运维管理,解决用户微服务改造过程中日志采集处理分析痛点

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 容器镜像服务 ACR
业务上云 |

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS

专有网络 VPC 云服务器ECS 服务器迁移中心 云架构设计工具

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。