Ctrl+F / Command+F 全文检索

相关产品

客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
中间件 | 容器&微服务 |

Spring Cloud应用经过简单改造,迁移到云上企业级分布式应用服务(EDAS),利用EDAS的监控、调用链、限流降级

专有网络 VPC 云服务器ECS 负载均衡 SLB 企业级分布式应用服务 EDAS
中间件 |

介绍如何用 Serverless 应用引擎(SAE)帮助企业极速构建云上微服务应用

专有网络 VPC 负载均衡 SLB 应用实时监控服务 ARMS 云监控 Serverless 应用引擎
生命科学 |

使用阿里云批量计算服务优化的WDL-Canu方案高效、经济地进行三代基因组装。

专有网络 VPC 云服务器ECS 对象存储 OSS 文件存储NAS 批量计算
业务上云 | 数据库 |

使用Oracle数据库的应用上云,通过ADAM评分、改造、迁移实现数据库迁移到PolarDB(Oracle兼容版),应用访问

专有网络 VPC 云服务器ECS 云数据库PolarDB 数据库和应用迁移 ADAM

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=154, bpId=109, name=BCS三代基因组装, author=null, keyword=基因,三代组装,Canu,Cromwell,BCS,批量计算, description=使用阿里云批量计算服务优化的WDL-Canu方案高效、经济地进行三代基因组装。, position=null, ossUrl=bp-TTZY9D62H5V2JZJM.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述 本文介绍如何基于批量计算服务提供的WDL- Canu解决方案,进行三代基因组组装的最佳实践。 解决问题 1.不更改Canu的使用习惯,基于云基础设施环 境在云端进行三代组装。 2.充分利用云端基础设施弹性、灵活的优势。 3.以Workflow Description Language(WDL)优 化重构Canu工作流。 4.批量计算自动根据Canu全流程中的不同任 务,适配创建弹性伸缩集群,大幅提高资源利 用率及组装效率。 产品列表 l弹性IPEIP l云服务器ECS l专有网络VPC l访问控制RAM l批量计算BCS l文件存储NAS l对象存储OSS l资源编排ROS, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1 BCS 三代基因测序数据组装最佳实践 场景描述 部署架构图 本文介绍如何基于批量计算服务提供的 WDL- Canu 解决方案, 进行三代基因组组装的最佳实践。 解决问题 1. 不更改 Canu 的使用习惯,基于云基础设施环 境在云端进行三代组装。 2. 充分利用云端基础设施弹性、灵活的优势。 3. 以 Workflow Description Language(WDL)优 化重构 Canu 工作流。 4. 批量计算自动根据 Canu 全流程中的不同任 务,适配创建弹性伸缩集群,大幅提高资源利 用率及组装效率。 产品列表 l 弹性 IP EIP l 云服务器 ECS l 专有网络 VPC l 访问控制 RAM l 批量计算 BCS l 文件存储 NAS l 对象存储 OSS l 资源编排 ROS
2云服务器 ECS(产品名称) 文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 BCS 三代基因测序数据组装 最佳实践 文档版本:20150122(发布日期) II
3企业上云实践 BCS 三代基因测序数据组装 | 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 企业上云实践 BCS三代基因测序数据组装 文档编号 109 文档版本 V1.4 版本日期 2020/03/12 文档状态 外部发布 制作人 谈慧杰 审阅人 敬海、天曜 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/09/26 谈慧杰 敬海、天曜 创建 V1.1 2019/10/12 谈慧杰 - Canu-Cromwell 服务镜像及 服务启动方式更新 V1.2 2019/10/14 筱晖 - 文档优化 V1.3 2020/01/20 谈慧杰 - 添加概览页及内容优化 V1.4 2020/03/12 谈慧杰 - 新增资源编排方式快速部署 资源环境,提供资源编排模板 文档版本:20200312 I
4企业上云实践 BCS 三代基因测序数据组装 | 前言 前言 概述 本文介绍基于批量计算服务提供的 WDL-Canu解决方案,进行三代基因组组装的最佳 实践。以 Canu 官方 Quick Start 文档中的 PacBio测试数据为例,介绍如何利用 WDL- Canu方案进行三代基因组装,包括需要开通的相关产品、配置的方法和操作步骤。 应用范围 需要进行三代基因组组装的个人、单位或企业。 名词解释 l Cromwell:Broad Institute开发的工作流管理系统。 l WDL:一种流程编制语言,GATK官方推荐的工作流定义语言。 l Canu:是一款广泛使用的三代基因组组装软件,源于 Celera Assembler,能用于 组装 PacBio和 Nanopore两家公司得到的测序结果,可以执行 reads的纠错与组装 部分的工作。 文档版本:20200312 III
5企业上云实践 BCS 三代基因测序数据组装 | 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ..................................................................................................................................................................... II 前言 ............................................................................................................................................................................ III 目录 ........................................................................................................................................................................... IV 最佳实践概述 ............................................................................................................................................................. 1 前置条件 ..................................................................................................................................................................... 2 资源规划 ..................................................................................................................................................................... 3 1. 配置 RAM用户 .................................................................................................................................................... 4 2. 部署 Canu-Cromwell Server ............................................................................................................................... 11 2.1. 创建专有网络 .................................................................................................................................... 11 2.2. 创建 ECS实例 .................................................................................................................................... 13 2.3. 绑定弹性 IP ........................................................................................................................................ 17 2.4. 配置安全组规则 ................................................................................................................................ 20 2.5. 配置 NAS实例 ................................................................................................................................... 22 2.6. 创建 OSS Bucket ................................................................................................................................. 25 3. 部署 Cromwell ................................................................................................................................................... 28 4. 执行 Canu组装任务 ......................................................................................................................................... 31 4.1. Canu配置及待组装文件准备 ........................................................................................................... 31 4.2. 提交 Canu组装任务 .......................................................................................................................... 32 4.3. 查看组装结果 .................................................................................................................................... 34 附录 ........................................................................................................................................................................... 36 使用资源编排服务(ROS)创建资源 ............................................................................................................. 36 文档版本:20200312 IV
6企业上云实践 BCS 三代基因测序数据组装 | 最佳实践概述 最佳实践概述 本文重点介绍基于批量计算服务对 Canu软件的算法和资源调度优化后的 WDL-Canu 方案进行三代基因组装。此方案使用 Broad Institute开发的流程编排语言 Workflow Description Language(WDL)对 Canu的调度重新进行了组织,在不改变计算结果 的前提下对 Canu软件的计算进行了优化,使得在相同配置的计算集群资源上纯计算 核时大幅缩减。同时,后端改用 Cromwell工作流引擎解析 Canu工作流,用批量计算 弹性伸缩集群替代传统 HPC集群,根据 Canu全流程中的不同任务启动适配任务需求 的弹性伸缩集群,极大提高资源使用率,并且相比于传统的固定 HPC集群 BCS提供 更大的弹性资源池,总运算时间也得到显著缩短。该方案的一大亮点是用户无需关注 计算及和调度优化的细节,无需更改 Canu的使用方式。 整体架构 文档版本:20200312 1
7企业上云实践 BCS 三代基因测序数据组装 | 前置条件 前置条件 在进行本实践前,您需要完成以下准备工作: l 注册阿里云账号,并完成实名认证。 l 使用阿里云账号开通以下阿里云产品。 ᅳ 访问控制服务 RAM,产品详情请参见:https://www.aliyun.com/product/ram ᅳ 专有网络 VPC,产品详情请参见:https://www.aliyun.com/product/vpc ᅳ 云服务器 ECS,产品详情请参见:https://www.aliyun.com/product/ecs ᅳ 文件存储 NAS,产品详情请参见:https://www.aliyun.com/product/nas ᅳ 文件存储 RDS,产品详情请参见:https://www.aliyun.com/product/rds ᅳ 文件存储 OSS,产品详情请参见:https://www.aliyun.com/product/oss ᅳ 批量计算 BCS,产品详情请参见: https://www.aliyun.com/product/batchcompute ᅳ 容器镜像服务 ACR,产品详情请参见:https://www.aliyun.com/product/acr l 支持区域:华北 2、华南 1 文档版本:20200312 2
8企业上云实践 BCS 三代基因测序数据组装 | 资源规划 资源规划 本实践中需要开通的阿里云产品或服务,以及相关规格的描述见下表。 说明:凡是涉及到地域,本实践中统一选择华北 2(北京)。 产品或服务 本文示例 备注 授予以下系统权限策略: l AliyunECSFullAccess l AliyunVPCFullAccess l AliyunEIPFullAccess l AliyunRDSFullAccess RAM [RAM用户] gen_test l AliyunOSSFullAccess l AliyunNASFullAccess l AliyunBatchComputeFullAccess l ccess [专有网络] gen VPC - [交换机] canu [实例规格] ecs.r6.xlarge 注:实例规格建议选择 ECS内存型,内存配置 视组装任务并行数量而定,一般按(n+1)*16计算 [实例名称] ECS 获得,n为并行组装任务数量。 Canu-Cromwell [镜像市场] BatchCompute Cromwell server [绑定弹性 IP] 200Mbps带宽峰值 [存储空间] canu-wdl OSS - [目录] genomics [存储类型] SSD性能型 NAS - [协议类型] NFS BCS - Auto-cluster ACR - - 文档版本:20200312 3