Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
数据分析 |

针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 NAT网关 云原生数据仓库AnalyticDB MySQL版 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 |

Spark和云原生结合提供计算与存储分离的高性价比大数据分析

专有网络 VPC 对象存储 OSS 容器服务 ACK 弹性容器实例 ECI 文件存储HDFS

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=233, bpId=118, name=低成本跨境文件传输, author=null, keyword=低成本,跨境文件传输,函数工作流,加速域名, description=通过OSS加速域名,配合函数计算和函数工作流,打造低成本、高效的跨境对象存储数据同步传输系统, position=null, ossUrl=bp-AKIVF3SIBSZ6XWK5.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=1, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=

场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本:开发人员关注代码逻辑即可; 2.网络成本低:相比CEN高速通道的方式网 络成本降低; 3.同步服务部署成本低:文件发生变化触发函 数计算任务,按量触发,不用准备ECS; 4.弹性高效:一个文件同步触发一个函数工作 流任务,充分利用资源高效同步。 产品列表 ⚫专用网络VPC ⚫云服务器ECS ⚫弹性公网IP ⚫函数计算 ⚫对象存储OSS ⚫函数工作流

, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=C8T6YS3PLB2WIZ2V, partner=null, partnerUrl=null, partnerLogo=null)
1 低成本跨境文件传输最佳实践 部署架构图 场景描述 1. 跨境对象存储数据传输需求。 2. 对跨境传输成本控制严苛。 3. 能接受一定程度网络抖动带来的文件同步 延迟。 4. 系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1. 运维低成本:开发人员关注代码逻辑即可; 产品列表 2. 网络成本低:相比 CEN高速通道的方式网 络成本降低; ⚫ 专用网络 VPC 3. 同步服务部署成本低:文件发生变化触发函 ⚫ 云服务器 ECS 数计算任务,按量触发,不用准备 ECS; ⚫ 弹性公网 IP 4. 弹性高效:一个文件同步触发一个函数工作 ⚫ 函数计算 流任务,充分利用资源高效同步。 ⚫ 对象存储 OSS ⚫ 函数工作流
2云服务器 ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 低成本跨境文件传输 最佳实践 文档版本:20191210 文档版本:20150122(发布日期) II
3低成本跨境文件传输 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 低成本跨境文件传输最佳实践 文档编号 118 文档版本 V1.3 版本日期 2020-01-20 文档状态 外部发布 制作人 明中 审阅人 云魁,阿瑟 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-29 明中,石镇 云魁,阿瑟 创建 V1.1 2019-12-03 筱晖 明中 文档优化 V1.2 2019-12-10 明中 云魁 文档修改发布 V1.3 2020-01-20 明中 增加概览页 1
4低成本跨境文件传输 前言 前言 概述 随着全球经济一体化进程的加快,越来越多的企业开始迈向国际化。在拓展海外业务 过程中,如何低成本地跨境传输和同步文件成了一个难题。本实践着重演示利用阿里 云资源,创建低成本、高弹性和高效的文件传输系统。 应用范围 本实践适用于有跨境对象存储数据传输需求的客户。对跨境传输成本控制严苛的同时 又能接受一定程度网络抖动的客户尤其适用。 名词解释 ⚫ VPC:(Virtual Private Cloud,简称 VPC)基于阿里云创建的自定义私有网络, 不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如 ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。 官网链接:https://help.aliyun.com/product/27706.html ⚫ RAM:访问控制(Resource Access Management,简称 RAM)是阿里云提供的一 项管理用户身份与资源访问权限的服务。使用 RAM,您可以创建、管理 RAM用 户(例如员工、系统或应用程序),并可以控制这些 RAM用户对资源的操作权限。 当您的企业存在多用户协同操作资源时,使用 RAM可以让您避免与其他用户共享 云账号密钥,按需为用户分配最小权限,从而降低企业信息安全风险。官网链接: https://help.aliyun.com/product/28625.html ⚫ EIP:弹性公网 IP(Elastic IP Address,简称 EIP),是可以独立购买和持有的公 网 IP地址资源。EIP可绑定到专有网络类型的 ECS实例、专有网络类型的私网 SLB实例和 NAT网关上。官网链接:https://help.aliyun.com/product/61789.html ⚫ OpenAPI Explorer:OpenAPI Explorer是一款网页版、可视化的 API调用工具。 您可以在 OpenAPI Explorer中调用阿里云各云产品开放的 API,查看 API请求和 返回结果。此外,OpenAPI Explorer会自动生成相应 API的 SDK调用示例,帮 助您使用阿里云 API。OpenAPI Explorer登录地址:https://api.aliyun.com ⚫ ECS:云服务器(Elastic Compute Service,简称 ECS)是阿里云提供的性能卓 越、稳定可靠、弹性扩展的 IaaS(Infrastructure as a Service)级别云计算服务。 3
5低成本跨境文件传输 前言 云服务器 ECS免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气等 公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿 里云 ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。官网 链接:https://help.aliyun.com/product/25365.html ⚫ OSS:阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提 供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%(12 个 9),服务设计可用性(或业务连续性)不低于 99.995%。 官网链接:https://help.aliyun.com/document_detail/31817.html ⚫ 函数计算: 函数计算是事件驱动的全托管计算服务。使用函数计算,您无需采购 与管理服务器等基础设施,只需编写并上传代码。函数计算为您准备好计算资源, 弹性地可靠地运行任务,并提供日志查询、性能监控和报警等功能。官网链接: https://help.aliyun.com/document_detail/52895.html ⚫ 函数工作流:函数工作流(Function Flow,以下简称 FnF)是一个用来协调多个 分布式任务执行的全托管云服务。您可以用顺序,分支,并行等方式来编排分布式 任务, FnF 会按照设定好的步骤可靠地协调任务执行,跟踪每个任务的状态转换, 并在必要时执行用户定义的重试逻辑,以确保工作流顺利完成。FnF 通过提供日 志记录和审计来监视工作流的执行,方便您轻松地诊断和调试应用。FnF 简化了 开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作,让 您聚焦业务逻辑开发。 官网链接:https://help.aliyun.com/document_detail/114020.html ⚫ 日志服务:日志服务(Log Service,简称 LOG)是针对日志类数据的一站式服务, 在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数 据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代 海量日志处理能力。 官网链接:https://help.aliyun.com/document_detail/48869.html 4
6低成本跨境文件传输 目录 目录 文档版本信息 ............................................................................................................................................................. 1 法律声明 ..................................................................................................................................................................... 2 前言 ............................................................................................................................................................................. 3 目录 ............................................................................................................................................................................. 5 最佳实践概述 ............................................................................................................................................................. 6 前置条件 ..................................................................................................................................................................... 8 1. 配置 IAAS层资源 ................................................................................................................................................ 9 1.1. 登录 cloudshell .................................................................................................................................... 9 1.2. 创建华东 2(上海)地域 VPC和 VSWITCH ...................................................................................... 9 1.3. 创建华东 2(上海)地域 ECS实例并启动 ..................................................................................... 10 1.4. 创建弹性公网 IP并绑定 ECS ............................................................................................................ 10 1.5. 配置 OSS源端和美西目标端 ........................................................................................................... 10 1.6. 创建子账号并赋权 ........................................................................................................................... 14 1.7. 创建 SLS Project ................................................................................................................................. 17 2. 配置应用环境 ................................................................................................................................................... 23 2.1. 挂载数据盘 ....................................................................................................................................... 23 2.2. 配置 OSS命令行工具 ossutil ............................................................................................................ 24 2.3. 配置 Serverless应用部署的工具 fun ............................................................................................... 25 2.4. 配置阿里云命令行工具 aliyun cli .................................................................................................... 29 2.5. 下载函数工作流源码 oss-copy ........................................................................................................ 31 3. OSS文件传输 .................................................................................................................................................... 33 3.1. 生成并上传全量文件 ....................................................................................................................... 33 3.2. 使用 Fun部署函数 ........................................................................................................................... 35 3.3. 使用阿里云 CLI创建函数工作流进行全量同步 ............................................................................. 37 3.4. 非加速域名下全量同步对比测试.................................................................................................... 44 3.5. 创建函数工作流进行增量同步........................................................................................................ 48 3.6. 验证增量同步情况 ........................................................................................................................... 50 3.7. 单文件同步 ....................................................................................................................................... 52 3.8. 文件下载和校验 ............................................................................................................................... 54 3.9. 简单成本测算 ................................................................................................................................... 55 5
7低成本跨境文件传输 最佳实践概述 最佳实践概述 应用场景 ⚫ 跨境对象存储数据传输需求。 ⚫ 对跨境传输成本控制严苛。 ⚫ 能接受一定程度网络抖动带来的文件同步延迟。 ⚫ 系统需要有足够的弹性和扩展性应对大规模文件的写入。 技术架构 本实践基于如下图所示的技术架构和主要流程。 1. ECS模拟应用访问华东 2(上海)和美国(硅谷)的 OSS,负责内容的制作和上 传。 2. 内容通过内网域名上传到华东 2(上海)的 OSS。 3. 文件上传 OSS完成触发函数计算调用函数工作流,每个工作流负责一个文件的上 传,保障文件通过美国(硅谷)的 OSS加速域名被快速同步。 4. ECS模拟美国(硅谷)当地用户读取 OSS文件,并校验数据是否正确。 方案优势 ⚫ 运维低成本:开发人员关注代码逻辑即可; ⚫ 网络成本低:相比 CEN高速通道的方式网络成本降低; 6
8低成本跨境文件传输 最佳实践概述 ⚫ 同步服务部署成本低:文件发生变化触发函数计算任务,按量触发,不用准备 ECS; ⚫ 弹性高效:一个文件同步触发一个函数工作流任务,充分利用资源高效同步。 7