备案控制台
阿里云 全部技术解决方案

基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作

相关产品

相关推荐

互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

相关产品

相关推荐

函数计算

函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务。您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，并以弹性、可靠的方式运行您的代码。

消息队列 Kafka 版

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

云数据库 MongoDB版

云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构，具备安全审计，时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。

云上网站经典架构

基于ECS、RDS和SLB经典云上架构，应对传统IDC在成本预估、系统稳定性、灾备等方面的挑战。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 对象存储 OSS 负载均衡 SLB CDN 云速搭CADT
基于PAI搭建企业级个性化推荐系统

快速从0到1实现一套高效、精准、易用、可扩展的企业级个性化推荐系统。
专有网络 VPC 云服务器ECS 对象存储 OSS 日志服务（SLS） 云数据库 Redis 版 容器镜像服务 ACR 大数据计算服务 MaxCompute 数据总线 机器学习PAI Hologres 云速搭CADT 机器学习PAI-EAS 推荐全链路深度定制开发平台
企业上云等保三级合规

云原生高性价比的等保三级最佳实践；在等保二级基础上，叠加必要的安全产品及高可用架构/满足三级要求
云服务器ECS 日志服务（SLS） 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书 云速搭CADT
服务器迁移

使用阿里云提供的迁移工具将物理服务器、虚拟机以及其他云平台云主机一站式地迁移到阿里云ECS
专有网络 VPC 云服务器ECS 服务器迁移中心 云速搭CADT
GPU AI模型训练

本方案适用于AI图片训练场景，使用NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。
对象存储 OSS 文件存储NAS 容器服务 ACK 文件存储 CPFS GPU云服务器 云速搭CADT
视频直播业务上云

介绍手机端通过云视频直播服务来推流和拉流实现视频直播业务，同时利用MQTT微消息、内容安全和表格存储来解决。
云服务器ECS 弹性公网IP NAT网关 表格存储 内容安全 视频直播 微消息队列 MQTT 版 云速搭CADT
小程序业务实时监控

使用ACK容器快速搭建小程序同时使用ARMS提升业务监控能力/实时监控小程序业务应用性能
专有网络 VPC 云数据库RDS MySQL 版 容器服务 ACK 应用实时监控服务 ARMS 应用高可用服务 AHAS
电商行业业务及数据库上云

适用于中小型电商应用上云。包括常用最佳实践架构，同时提供云上资源建站和数据库迁移实践操作。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 数据传输 云速搭CADT
互联网行业高弹性系统构建

在互联网行业的业务发展中，很多业务具有突发性特点。 例如互联网电商的秒杀、促销等活动，这类业务的特点是时间固定，但访问量不固定。除了提前升级配置之外，客户往往希望系统本身也能有自动弹性伸缩的能力。 对于互联网教育的场景，由于存在放假和工作日的区别，系统也需要有一定的弹性伸缩能力去应对高出平时几倍的压力，等访问减少时，业务系统能释放冗余的资源达到节约成本的目标。 典型场景和需求： 业务系统波动大，以互联网行业为典型代表； 业务系统和数据库系统都要能实现弹性伸缩； 系统可用性高，弹性收缩用户感知小； 支持手工快速提升系统和数据库性能。
专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB 弹性公网IP 云数据库 Redis 版 弹性伸缩 云速搭CADT

探索阿里云产品，构建云上应用和服务

免费试用

温馨提示

抱歉，登录前您只能看到8页哦。立刻登录，浏览全部技术解决方案最佳实践案例内容！

如果您是企业账号，可以生成子账号授权访问。

BpFile(id=498, bpId=362, name=基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作 , author=null, keyword=FC,Serverless,Kafka,MongoDB, description=基于阿里云Kafka消息的Key或者消息体里的内容做判断，然后对MongoDB做增，删，改的操作。在传统ETL流程的基础上进一步增加了灵活性和可扩展性。, position=null, ossUrl=bp-CG3JM977IQS3VR58.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。
该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。
当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。
整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。

, templateId=S1YXVWZF844DFNI9, freetry=, visitTime=null, visitCount=null, video_url=, buttonName=null, buttonUrl=null, targetId=S1YXVWZF844DFNI9, partner=, partnerUrl=, partnerLogo=, cooperation=, cooperationList=null)