函数计算实现弹性音视频处理系统

1 Function Compute 实现弹性音视频处理系统 最佳实践 场景描述 架构图 本示例通过 Function Compute 部署一个高弹 性高可用的音视频处理系统。尤其适合视频网站 使用，每天有大量的上传视频，需要及时转码处 理以适配各种终端及网络条件，要求短时间内准 备大量的计算资源进行大规模并行转码处理，同 时希望基于 FFmpeg自建的转码服务能简单迁 移。 解决问题 1. 如何使用 Function Compute 部署音视频 处理系统。 2. 如何进行系统的压测。 产品列表 Function Compute 服务 文件存储 NAS 对象存储 OSS 函数工作流 FnF 日志服务 SLS

2文档模板（手册名称）/Error! Use the Home tab to apply 云服务器 ECS（产品名称） 标题 to the text that you want to appear here. 阿里云 企业上云实践 Function Compute实现弹性音视频处理系统 最佳实践 文档版本：20201228（发布日期） 文档版本：20150122（发布日期） II

3Function Compute 实现弹性音视频处理系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 Function Compute 实现弹性音视频处理系统 文档编号 145 文档版本 V1.3 版本日期 2020-12-28 文档状态 外部发布 制作人 敬海 审阅人 期会 毕役 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-02-11 敬海 西流 期会 毕役 创建 V1.1 2020-02-25 筱晖 - 文档优化 V1.2 2020-03-06 敬海 - 更新细节 V1.3 2020-12-28 敬海 更新为 Function Compute 文档版本：20201228（发布日期） I

4Function Compute 实现弹性音视频处理系统 前言 前言 概述 通过 Function Compute 服务（serverless服务）来部署高弹性高可用的音视频处理 系统，当文件上传到 OSS目录下后，自动触发 Function Compute 服务来处理音视频 文件。比如，本文给出的示例代码是将 mov格式文件转换为 flv、mp4等格式的文件。 应用范围 使用 Function Compute 部署 severless弹性高可用的音视频处理系统。 名词解释 Function Compute (FC)：是事件驱动的全托管计算服务。使用 Function Compute ， 您无需采购与管理服务器等基础设施，只需编写并上传代码。Function Compute 为您准备好计算资源，弹性地可靠地运行任务，并提供日志查询、性能监控和报警 等功能。详见 https://cn.aliyun.com/product/fc NAS: 阿里云文件存储（NAS）Network Attached Storage是一种分布式的网络文 件存储，为 ECS、HPC、FC 等提供安全、无限容量、高性能、高可靠、简单易 用的文件存储服务。FC与 NAS无缝集成。这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999% 的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处 理能力弹性扩展，多种存储类型供选择全面优化存储成本。详见 https://www.aliyun.com/product/oss 函数工作流（Function Flow，简称 FnF）:是一个用来协调多个分布式任务执行的 全托管 Serverless 云服务，致力于简化开发和运行业务流程所需要的任务协调、 状态管理以及错误处理等繁琐工作，让用户聚焦业务逻辑开发。用户可以用顺序、 分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS） : 行业领先的日志大数据解决方案，一站式提供数据收集、清洗、 分析、可视化和告警功能。全面提升海量日志处理能力，实时挖掘数据价值，智能 助力研发/运维/运营/安全等场景。详见 https://cn.aliyun.com/product/sls 文档版本：20201228（发布日期） III

5Function Compute 实现弹性音视频处理系统 前言 FFmpeg：是视频处理领域非常常用的一个开源软件。详见 https://www.ffmpeg.org/ 文档版本：20201228（发布日期） IV

6Function Compute 实现弹性音视频处理系统 目录 目录 文档版本信息 ........................................................................................................................................................ I 法律声明 ............................................................................................................................................................... II 前言 ..................................................................................................................................................................... III 目录 ...................................................................................................................................................................... V 最佳实践概述 ....................................................................................................................................................... 1 前置条件 ............................................................................................................................................................... 3 1. 创建 RAM子账号 .......................................................................................................................................... 4 1.1. 使用主账号登录，创建 RAM子账号 ............................................................................................ 4 1.2. 为子账号授权 ................................................................................................................................ 6 2. 创建 OSS bucket ............................................................................................................................................ 9 2.1. 创建 OSS bucket ............................................................................................................................. 9 2.2. 创建相应目录 .............................................................................................................................. 11 3. 部署 Function Compute 应用...................................................................................................................... 13 3.1. 部署应用 ...................................................................................................................................... 13 3.2. 应用说明 ...................................................................................................................................... 16 3.2.1. 应用介绍 .............................................................................................................................. 16 3.2.2. 调用示例 .............................................................................................................................. 17 3.2.3. 工作原理 .............................................................................................................................. 17 4. 配置日志 ..................................................................................................................................................... 19 4.1. 创建相应的日志仓库 ................................................................................................................... 19 4.2. 创建 LogStore ............................................................................................................................... 21 4.3. 配置日志大盘 .............................................................................................................................. 22 5. 应用测试 ..................................................................................................................................................... 26 5.1. 部署测试环境 .............................................................................................................................. 26 5.1.1. 创建专有网络 VPC ............................................................................................................... 26 5.1.2. 创建云服务器 ECS ................................................................................................................ 29 5.1.3. 首先安装依赖....................................................................................................................... 34 5.2. 验证功能正常 .............................................................................................................................. 34 5.3. 大文件压测 .................................................................................................................................. 38 5.4. 性能压测 ...................................................................................................................................... 40 5.5. 日志监控 ...................................................................................................................................... 48 5.6. 成本监控 ...................................................................................................................................... 49 文档版本：20201228（发布日期） V

7Function Compute 实现弹性音视频处理系统 最佳实践概述 最佳实践概述 场景描述 本示例通过 Function Compute 部署一个高弹性高可用的音视频处理系统。尤其适合 视频网站使用，每天有大量的上传视频，需要及时转码处理以适配各种终端及网络条 件，要求短时间内准备大量的计算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 当文件上传到 OSS目录下后，可以根据 OSS的前缀和后缀规则来自动触发 Function Compute 服务来处理音视频文件。本文给出的示例代码是将后缀为 .mov 格式的视 频文件，先提取出音频，然后并行转码出 flv、avi、mp4格式的视频文件。 系统架构 如上图所示，当用户上传视频文件到 OSS指定目录下后，通过 Function Compute 的 OSS触发器自动触发 Function Compute 服务，Function Compute 调用函数工作流 的定制流程，自动处理音视频文件，这里是将 mov格式文件转换为 flv，mp4，mp3， avi格式的文件，并将转换后的文件存储到 OSS的指定目录。 文档版本：20201228（发布日期） 1

8Function Compute 实现弹性音视频处理系统 最佳实践概述 方案优势 快速迁移：用户基于 FFmpeg自建的转码服务，里面很多命令参数都是线上实践 很好的参数，Function Compute 支持用户命令无缝迁移，FFmpeg的版本也可以 自定义。 弹性高可用：计算力不再是瓶颈，迅速调动大量计算资源进行加速、并行转码。 自定义工作流：FnF实现高度自定义的工作流，实现并行转码，打水印，元信息插 入数据库等复杂组合操作，并能实现工作流的安全升级更新。 降低成本：视频转码是 CPU密集型，基于 Function Compute 计算资源利用率高， 可以大大降低转码成本。 提升效率：降低学习和上手成本，大大缩短项目周期，加快开发部署。 文档版本：20201228（发布日期） 2