Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
中间件 | 容器&微服务 |

Spring Cloud应用经过简单改造,迁移到云上企业级分布式应用服务(EDAS),利用EDAS的监控、调用链、限流降级

专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS
中间件 |

介绍如何用 Serverless 应用引擎(SAE)帮助企业极速构建云上微服务应用

专有网络 VPC 负载均衡 SLB 应用实时监控服务 ARMS 云监控 Serverless 应用引擎
业务上云 | 数据库 |

使用Oracle数据库的应用上云,通过ADAM评分、改造、迁移实现数据库迁移到PolarDB(Oracle兼容版),应用访问

专有网络 VPC 云服务器ECS 云数据库PolarDB 数据库和应用迁移 ADAM

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=262, bpId=120, name=函数计算AI推理, author=null, keyword=函数计算,AI推理,性能测试,无服务器计算,Serverless, description=利用函数计算构建CPU推理服务,节省部署时间,提高工程效率,减轻运维压力。, position=null, ossUrl=bp-FQRMX0UDO4M5RVWX.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述 通过函数计算服务(serverless服务)来部署AI 推理(CPU密集型)服务,达到快速部署,提升 工程效率,弹性伸缩免运维,降低成本的目的。 解决问题 1.如何使用函数计算部署AI推理服务。 2.如何进行函数的压测。 产品列表 函数计算服务 文件存储NAS 性能测试PTS, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 Function Compute AI推理 最佳实践 场景描述 架构图 通过 Function Compute服务(serverless服务) 来部署 AI推理(CPU密集型)服务,达到快速 部署,提升工程效率,弹性伸缩免运维,降低成 本的目的。 解决问题 1. 如何使用 Function Compute部署 AI推理 服务。 2. 如何进行函数的压测。 产品列表 Function Compute服务 文件存储 NAS 性能测试 PTS
2文档模板(手册名称)/Error! Use the Home tab to apply 云服务器 ECS(产品名称) 标题 to the text that you want to appear here. 阿里云 企业上云实践 Function Compute AI推理最佳实践 文档版本:20201228 文档版本:20150122(发布日期) II
3Function Compute AI推理 法律声明 文档版本信息 文本信息 属性 内容 文档名称 Function Compute AI推理最佳实践 文档编号 120 文档版本 V1.3 版本日期 2020-12-28 文档状态 外部发布 制作人 敬海 审阅人 云滴 懿弘 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-10-25 敬海 - 创建 V1.1 2019-12-04 筱晖 - 文档优化 V1.2 2019-12-12 敬海 - 修改完善 V1.3 2020-12-28 敬海 修改为 Function Compute I
4Function Compute AI推理 前言 前言 概述 本文介绍了使用 Function Compute部署深度学习 AI 推理的最佳实践, 其中包括使 用 Function Compute的 fun 工具一键部署安装第三方依赖、一键部署、本地调试以 及压测评估, 全方位展现 Function Compute的开发敏捷特性、自动弹性伸缩能力和 完善的监控设施。 应用范围 使用 Function Compute部署深度学习 AI推理在线或者离线服务。 名词解释 Function Compute(FC):是事件驱动的全托管计算服务。使用 Function Compute, 您无需采购与管理服务器等基础设施,只需编写并上传代码。Function Compute 为您准备好计算资源,弹性地可靠地运行任务,并提供日志查询、性能监控和报警 等功能。 Funcraft: Funcraf(简称 t FUN)是一个用于支持 Serverless 应用部署的工具, 能帮助您便捷地管理 Function Compute、NAS、日志服务等资源。通过一个资源 配置文件 template.yml,协助您进行开发、构建、部署操作, 通过一个安装资源配 置文件 Funfile(可选), 协助您快速简单安装第三方库。 VPC: Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络, 不同 的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产品 实例,比如 ECS、NAS、RDS等。在创建前,您需要结合具体业务,规划 VPC 和交换机的数量及网段等。 安全组: 安全组是一种虚拟防火墙,具备状态检测和数据包过滤功能,可以配置一 系列的安全组规则,允许或禁止安全组内的 Function Compute实例对公网或私网 的访问。安全组是重要的网络安全隔离手段,用于在云端划分安全域。 NAS: 阿里云文件存储(NAS)Network Attached Storage是一种分布式的网络文 件存储,为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS文件系统上的文件。 云解析 DNS: Alibaba Cloud DNS, 是一种安全、快速、稳定、可扩展的权威 DNS III
5Function Compute AI推理 前言 服务, 可以解析 Function Compute自定义域。 PTS(Performance Testing Service)是面向所有技术背景人员的云化测试工具。 有别于传统工具的繁复,PTS以互联网化的交互,提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景,任务随时发起,免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力,高效检验和管理业务性能。 IV
6Function Compute AI推理 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 4 1. 部署开发环境 ............................................................................................................................................... 5 1.1. 创建专有网络 VPC ......................................................................................................................... 5 1.2. 创建云服务器 ECS .......................................................................................................................... 7 1.3. 首先安装 docker .......................................................................................................................... 12 1.4. 安装 FUN工具 ............................................................................................................................. 13 2. 创建 RAM子账号并授权 ............................................................................................................................ 15 3. 部署 Function Compute服务....................................................................................................................... 20 3.1. 获取 Function Compute的 endpoint ............................................................................................ 20 3.2. 下载示例应用代码....................................................................................................................... 20 3.3. 安装相关依赖包 .......................................................................................................................... 21 3.4. 将第三方代码包上传到 NAS........................................................................................................ 22 3.5. 本地调试函数 .............................................................................................................................. 25 3.6. 部署函数到 FC平台 ..................................................................................................................... 28 4. 使用预留模式消除冷启动毛刺 ................................................................................................................... 37 4.1. Function Compute设置预留 ........................................................................................................ 37 4.2. 对函数进行压测 .......................................................................................................................... 42 4.2.1. 购买 PTS服务 ....................................................................................................................... 42 4.2.2. 压测配置 .............................................................................................................................. 44 4.2.3. 完全预留模式....................................................................................................................... 45 4.2.4. 完全无预留模式 ................................................................................................................... 51 4.2.5. 部分预留模式....................................................................................................................... 53 4.2.6. 压测总结 .............................................................................................................................. 55 V
7Function Compute AI推理 最佳实践概述 最佳实践概述 场景描述 本示例通过 Function Compute部署一个 AI在线推理的服务,功能是通过上传一个猫 或者狗的照片, 识别出这个照片里面的动物是猫还是狗,在部署这个服务之前,用于 识别图片的模型已经准备好。 DEMO示例效果入口:http://sz.mofangdegisn.cn DEMO示例工程地址:https://github.com/awesome-fc/cat-dog-classify 系统架构 如上图所示, 当多个用户通过对外提供的 url 访问推理服务时候,每秒的请求几百上 1
8Function Compute AI推理 最佳实践概述 千都没有关系, Function Compute平台会自动伸缩, 提供足够的执行实例来响应用 户的请求, 同时 Function Compute提供了完善的监控设施来监控您的函数运行情况。 方案优势 卓越的工程效率 内容 自建服务 Function ComputeServerless 基础设施 需要用户采购和管理 无 开发效率 除了必要的业务逻辑开发,需要 只需要专注业务逻辑的开 自己建立相同线上运行环境, 发, 配合FUN工具一键资源 包括相关软件的安装、服务配 编排和部署。 置、安全更新等一系列问题。 学习上手成本 可能使用 K8S 或弹性伸缩 会编写对应的语言的函数代 (ESS),需要了解更多的产品、 码即可。 名词和参数的意义。 弹性伸缩免运维 内容 自建服务 Function ComputeServerless 弹性高可用 需要自建负载均衡(SLB),弹性 FC 系统固有毫秒级别弹性 伸缩,扩容缩容速度较 FC慢。 伸缩,快速实现底层扩容以 应对峰值压力,免运维。 监控报警查询 ECS级别的 metrics 提供更细粒度的函数执行情 况,每次访问函数执行的 latency和日志等,更加完善 的报警监控机制。 更低的成本 ᅳ fc 固有自动伸缩和负载均衡功能,用户不需要购买 SLB和弹性伸缩。 ᅳ 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求,其他时间甚 至没有请求),选择按需付费,只需为实际使用的计算资源付费。 ᅳ 对于明显波峰波谷或者稀疏调用具有低成本优势,同时还保持了弹性能力,以 后业务规模做大以后并没有技术切换成本,同时财务成本增长配合预付费也能 保持平滑。部分请求持续平稳的场景下,可以配合预付费解决按需付费较高单 价问题。 2