低成本跨境文件传输

1 低成本跨境文件传输最佳实践 部署架构图 场景描述 1. 跨境对象存储数据传输需求。 2. 对跨境传输成本控制严苛。 3. 能接受一定程度网络抖动带来的文件同步 延迟。 4. 系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1. 运维低成本：开发人员关注代码逻辑即可； 产品列表 2. 网络成本低：相比 CEN高速通道的方式网 络成本降低； ⚫ 专用网络 VPC 3. 同步服务部署成本低：文件发生变化触发函 ⚫ 云服务器 ECS 数计算任务，按量触发，不用准备 ECS； ⚫ 弹性公网 IP 4. 弹性高效：一个文件同步触发一个函数工作 ⚫ 函数计算 流任务，充分利用资源高效同步。 ⚫ 对象存储 OSS ⚫ 函数工作流

2云服务器 ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 低成本跨境文件传输 最佳实践 文档版本：20191210 文档版本：20150122（发布日期） II

3低成本跨境文件传输 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 低成本跨境文件传输最佳实践 文档编号 118 文档版本 V1.3 版本日期 2020-01-20 文档状态 外部发布 制作人 明中 审阅人 云魁，阿瑟 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-29 明中，石镇 云魁，阿瑟 创建 V1.1 2019-12-03 筱晖 明中 文档优化 V1.2 2019-12-10 明中 云魁 文档修改发布 V1.3 2020-01-20 明中 增加概览页 1

4低成本跨境文件传输 前言 前言 概述 随着全球经济一体化进程的加快，越来越多的企业开始迈向国际化。在拓展海外业务 过程中，如何低成本地跨境传输和同步文件成了一个难题。本实践着重演示利用阿里 云资源，创建低成本、高弹性和高效的文件传输系统。 应用范围 本实践适用于有跨境对象存储数据传输需求的客户。对跨境传输成本控制严苛的同时 又能接受一定程度网络抖动的客户尤其适用。 名词解释 ⚫ VPC：（Virtual Private Cloud，简称 VPC）基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。 官网链接：https://help.aliyun.com/product/27706.html ⚫ RAM:访问控制（Resource Access Management，简称 RAM）是阿里云提供的一 项管理用户身份与资源访问权限的服务。使用 RAM，您可以创建、管理 RAM用 户（例如员工、系统或应用程序），并可以控制这些 RAM用户对资源的操作权限。 当您的企业存在多用户协同操作资源时，使用 RAM可以让您避免与其他用户共享 云账号密钥，按需为用户分配最小权限，从而降低企业信息安全风险。官网链接： https://help.aliyun.com/product/28625.html ⚫ EIP：弹性公网 IP（Elastic IP Address，简称 EIP），是可以独立购买和持有的公 网 IP地址资源。EIP可绑定到专有网络类型的 ECS实例、专有网络类型的私网 SLB实例和 NAT网关上。官网链接：https://help.aliyun.com/product/61789.html ⚫ OpenAPI Explorer：OpenAPI Explorer是一款网页版、可视化的 API调用工具。 您可以在 OpenAPI Explorer中调用阿里云各云产品开放的 API，查看 API请求和 返回结果。此外，OpenAPI Explorer会自动生成相应 API的 SDK调用示例，帮 助您使用阿里云 API。OpenAPI Explorer登录地址：https://api.aliyun.com ⚫ ECS：云服务器（Elastic Compute Service，简称 ECS）是阿里云提供的性能卓 越、稳定可靠、弹性扩展的 IaaS（Infrastructure as a Service）级别云计算服务。 3

5低成本跨境文件传输 前言 云服务器 ECS免去了您采购 IT硬件的前期准备，让您像使用水、电、天然气等 公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。阿 里云 ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。官网 链接：https://help.aliyun.com/product/25365.html ⚫ OSS：阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提 供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。 官网链接：https://help.aliyun.com/document_detail/31817.html ⚫ 函数计算： 函数计算是事件驱动的全托管计算服务。使用函数计算，您无需采购 与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源， 弹性地可靠地运行任务，并提供日志查询、性能监控和报警等功能。官网链接： https://help.aliyun.com/document_detail/52895.html ⚫ 函数工作流：函数工作流（Function Flow，以下简称 FnF）是一个用来协调多个 分布式任务执行的全托管云服务。您可以用顺序，分支，并行等方式来编排分布式 任务， FnF 会按照设定好的步骤可靠地协调任务执行，跟踪每个任务的状态转换， 并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。FnF 通过提供日 志记录和审计来监视工作流的执行，方便您轻松地诊断和调试应用。FnF 简化了 开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让 您聚焦业务逻辑开发。 官网链接：https://help.aliyun.com/document_detail/114020.html ⚫ 日志服务：日志服务（Log Service，简称 LOG）是针对日志类数据的一站式服务， 在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数 据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立 DT 时代 海量日志处理能力。 官网链接：https://help.aliyun.com/document_detail/48869.html 4

6低成本跨境文件传输 目录 目录 文档版本信息 ............................................................................................................................................................. 1 法律声明 ..................................................................................................................................................................... 2 前言 ............................................................................................................................................................................. 3 目录 ............................................................................................................................................................................. 5 最佳实践概述 ............................................................................................................................................................. 6 前置条件 ..................................................................................................................................................................... 8 1. 配置 IAAS层资源 ................................................................................................................................................ 9 1.1. 登录 cloudshell .................................................................................................................................... 9 1.2. 创建华东 2（上海）地域 VPC和 VSWITCH ...................................................................................... 9 1.3. 创建华东 2（上海）地域 ECS实例并启动 ..................................................................................... 10 1.4. 创建弹性公网 IP并绑定 ECS ............................................................................................................ 10 1.5. 配置 OSS源端和美西目标端 ........................................................................................................... 10 1.6. 创建子账号并赋权 ........................................................................................................................... 14 1.7. 创建 SLS Project ................................................................................................................................. 17 2. 配置应用环境 ................................................................................................................................................... 23 2.1. 挂载数据盘 ....................................................................................................................................... 23 2.2. 配置 OSS命令行工具 ossutil ............................................................................................................ 24 2.3. 配置 Serverless应用部署的工具 fun ............................................................................................... 25 2.4. 配置阿里云命令行工具 aliyun cli .................................................................................................... 29 2.5. 下载函数工作流源码 oss-copy ........................................................................................................ 31 3. OSS文件传输 .................................................................................................................................................... 33 3.1. 生成并上传全量文件 ....................................................................................................................... 33 3.2. 使用 Fun部署函数 ........................................................................................................................... 35 3.3. 使用阿里云 CLI创建函数工作流进行全量同步 ............................................................................. 37 3.4. 非加速域名下全量同步对比测试.................................................................................................... 44 3.5. 创建函数工作流进行增量同步........................................................................................................ 48 3.6. 验证增量同步情况 ........................................................................................................................... 50 3.7. 单文件同步 ....................................................................................................................................... 52 3.8. 文件下载和校验 ............................................................................................................................... 54 3.9. 简单成本测算 ................................................................................................................................... 55 5

7低成本跨境文件传输 最佳实践概述 最佳实践概述 应用场景 ⚫ 跨境对象存储数据传输需求。 ⚫ 对跨境传输成本控制严苛。 ⚫ 能接受一定程度网络抖动带来的文件同步延迟。 ⚫ 系统需要有足够的弹性和扩展性应对大规模文件的写入。 技术架构 本实践基于如下图所示的技术架构和主要流程。 1. ECS模拟应用访问华东 2（上海）和美国（硅谷）的 OSS，负责内容的制作和上 传。 2. 内容通过内网域名上传到华东 2（上海）的 OSS。 3. 文件上传 OSS完成触发函数计算调用函数工作流，每个工作流负责一个文件的上 传，保障文件通过美国（硅谷）的 OSS加速域名被快速同步。 4. ECS模拟美国（硅谷）当地用户读取 OSS文件，并校验数据是否正确。 方案优势 ⚫ 运维低成本：开发人员关注代码逻辑即可； ⚫ 网络成本低：相比 CEN高速通道的方式网络成本降低； 6

8低成本跨境文件传输 最佳实践概述 ⚫ 同步服务部署成本低：文件发生变化触发函数计算任务，按量触发，不用准备 ECS； ⚫ 弹性高效：一个文件同步触发一个函数工作流任务，充分利用资源高效同步。 7