备案控制台
阿里云 全部技术解决方案

基于函数计算FC实现阿里云Kafka消息轻量级ETL处理

相关产品

相关推荐

互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

相关产品

相关推荐

对象存储 OSS

海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%的数据可靠性。使用RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。

函数计算

函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务。您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，并以弹性、可靠的方式运行您的代码。

消息队列 Kafka 版

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

云上网站经典架构

基于ECS、RDS和SLB经典云上架构，应对传统IDC在成本预估、系统稳定性、灾备等方面的挑战。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 对象存储 OSS 负载均衡 SLB CDN 云速搭CADT
基于PAI搭建企业级个性化推荐系统

快速从0到1实现一套高效、精准、易用、可扩展的企业级个性化推荐系统。
专有网络 VPC 云服务器ECS 对象存储 OSS 日志服务（SLS） 云数据库 Redis 版 容器镜像服务 ACR 大数据计算服务 MaxCompute 数据总线 机器学习PAI Hologres 云速搭CADT 机器学习PAI-EAS 推荐全链路深度定制开发平台
企业上云等保三级合规

云原生高性价比的等保三级最佳实践；在等保二级基础上，叠加必要的安全产品及高可用架构/满足三级要求
云服务器ECS 日志服务（SLS） 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书 云速搭CADT
服务器迁移

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS
专有网络 VPC 云服务器ECS 服务器迁移中心 云速搭CADT
GPU AI模型训练

本方案适用于AI图片训练场景，使用NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。
对象存储 OSS 文件存储NAS 容器服务 ACK 文件存储 CPFS GPU云服务器 云速搭CADT
视频直播业务上云

介绍手机端通过云视频直播服务来推流和拉流实现视频直播业务，同时利用MQTT微消息、内容安全和表格存储来解决。
云服务器ECS 弹性公网IP NAT网关 表格存储 内容安全 视频直播 微消息队列 MQTT 版 云速搭CADT
小程序业务实时监控

使用ACK容器快速搭建小程序同时使用ARMS提升业务监控能力/实时监控小程序业务应用性能
专有网络 VPC 云数据库RDS MySQL 版 容器服务 ACK 应用实时监控服务 ARMS 应用高可用服务 AHAS
电商行业业务及数据库上云

适用于中小型电商应用上云。包括常用最佳实践架构，同时提供云上资源建站和数据库迁移实践操作。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输 云速搭CADT
互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

温馨提示

抱歉，登录前您只能看到8页哦。立刻登录，浏览全部技术解决方案最佳实践案例内容！

如果您是企业账号，可以生成子账号授权访问。

BpFile(id=506, bpId=372, name=基于函数计算FC实现阿里云Kafka消息轻量级ETL处理, author=null, keyword=函数计算,kafka,消息ETL, description=基于函数计算FC处理消息队列Kafka中的数据，进行ETL处理后，将清洗归档后的数据上传到OSS存储, position=null, ossUrl=bp-CA34V1YBQA2GCUV0.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接

, templateId=2TM01RTLEX5CPB3T, freetry=, visitTime=null, visitCount=null, video_url=, buttonName=null, buttonUrl=null, targetId=2TM01RTLEX5CPB3T, partner=, partnerUrl=, partnerLogo=, cooperation=, cooperationList=null)