BCS+Cromwell基因测序

1 BCS Cromwell 基因测序最佳实践 场景描述 部署架构图 本文介绍基于阿里云批量计算服务、 Cromwell、 GATK 和工作流定义语言（WDL）描述的基因组 数据分析流程，进行基因分析的最佳实践。 解决问题 1. 搭建以 Cromwell 为基因测序工作流管理 平台， 使用批量计算服务提供基因测序计算 集群，运行以 WDL 定义的基因测序流程的 云端基因测序平台。 产品列表 l 访问控制 RAM l 云服务器 ECS l 批量计算 BCS l 专有网络 VPC l 对象存储 OSS l 数据库服务 RDS l 镜像托管服务 ACR

2云服务器 ECS（产品名称） 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 BCS Cromwell 基因测序 最佳实践 文档版本：20150122（发布日期） II

3企业上云实践 BCS+Cromwell 基因解决方案 | 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 企业上云实践 BCS+Cromwell 基因解决方案 067 文档编号 V1.2 文档版本 2020-01-19 版本日期 文档状态 外部发布 制作人 谈慧杰 - 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/5/21 - 谈慧杰 创建 V1.1 2019/07/12 - 筱晖 文档优化 V1.2 2020/01/19 - 谈慧杰 添加概览页 文档版本：20200119 I

4企业上云实践 BCS+Cromwell 基因解决方案 | 前言 前言 概述 本文以 fastq 文件转换为 uBAM 格式为例，介绍基于阿里云批量计算服务（BCS） 、 Cromwell、GATK 和工作流定义语言（WDL）描述的基因组数据分析流程，进行基因 分析的解决方案，描述了开通和配置相关产品的操作步骤。 应用范围 需要进行二代、三代基因测序分析的个人、单位或企业。 名词解释 l Cromwell：Broad Institute 开发的工作流管理系统。 l WDL：一种流程编制语言，GATK 官方推荐的工作流定义语言。 l GATK 及 GATK 最佳实践：GATK 是 Genome Analysis Tool Kit 的缩写，是一款从 高通量测序数据中分析变异信息的软件，是目前主流的 snp calling 软件之一。 GATK 设计之初是用于分析人类的全外显子和全基因组数据， 随着不断发展， 现在 也可以用于其他的物种，还支持 CNV 和 SV 变异信息的检测。GATK 在官网上提 供了完整的分析流程，叫做 GATK Best Practices。 文档版本：20200119 II

5企业上云实践 BCS+Cromwell 基因解决方案 | 目录 目录 文档版本信息 .............................................................................................................................................................. I 法律声明 ...................................................................................................................................................................... I 前言 ............................................................................................................................................................................. II 目录 ............................................................................................................................................................................ III 前置条件 ..................................................................................................................................................................... 1 资源规划 ..................................................................................................................................................................... 1 1. 配置 RAM用户 .................................................................................................................................................... 2 2. 部署 Cromwell Server .......................................................................................................................................... 8 2.1. 创建专有网络 ...................................................................................................................................... 8 2.2. 创建 ECS实例 .................................................................................................................................... 10 2.3. 绑定弹性 IP ........................................................................................................................................ 14 2.4. 配置安全组规则 ................................................................................................................................ 17 2.5. 配置 RDS实例 ................................................................................................................................... 19 2.6. 创建 OSS Bucket ................................................................................................................................. 27 3. 部署 Cromwell ................................................................................................................................................... 29 4. 部署 Widdler ...................................................................................................................................................... 37 5. 执行 fastq2uBam WDL任务 .............................................................................................................................. 39 5.1. 准备 fastq文件 .................................................................................................................................. 39 5.2. 创建 WDL作业 .................................................................................................................................. 41 5.3. 提交 WDL作业 .................................................................................................................................. 47 5.4. 查看作业结果 .................................................................................................................................... 49 文档版本：20200119 III

6企业上云实践 BCS+Cromwell 基因解决方案 | 前置条件 前置条件 在进行本实践前，您需要完成以下准备工作： l 注册阿里云账号，并完成实名认证。 l 使用阿里云账号开通以下阿里云产品。 ￚ 访问控制服务 RAM，产品详情请参见：https://www.aliyun.com/product/ram ￚ 专有网络 VPC，产品详情请参见：https://www.aliyun.com/product/vpc ￚ 云服务器 ECS，产品详情请参见：https://www.aliyun.com/product/ecs ￚ 关系型数据库 RDS，产品详情请参见：https://www.aliyun.com/product/rds ￚ 对象存储 OSS，产品详情请参见：https://www.aliyun.com/product/oss ￚ 批量计算 BCS，产品详情请参见： https://www.aliyun.com/product/batchcompute ￚ 容器镜像服务 ACR，产品详情请参见：https://www.aliyun.com/product/acr 文档版本：20200119 1

7企业上云实践 BCS+Cromwell 基因解决方案 | 资源规划 资源规划 本实践中需要开通的阿里云产品或服务，以及相关规格的描述见下表。 说明：凡是涉及到地域，本实践中统一选择华北 3（张家口） 。 产品或服务 本文示例 备注 RAM [RAM 用户] gen_test 授予以下系统权限策略： l AliyunECSFullAccess l AliyunVPCFullAccess l AliyunEIPFullAccess l AliyunRDSFullAccess l AliyunOSSFullAccess l AliyunBatchComputeFullAccess l AliyunContainerRegistryReadO nlyAccess VPC [专有网络] gen - [交换机] gen_app ECS [实例名称] Cromwell-server [实例规格] ecs.c5.4xlarge [ 系统镜像 ] BatchCompute Ubuntu14.04 [绑定弹性 IP] 200Mbps带宽峰值 RDS [账号] user_cromwell - [数据库] db_cromwell OSS [存储空间] projects-code - [目录] cromwell_dir BCS - Cluster、Auto-cluster ACR - - 文档版本：20200119 1

8企业上云实践 BCS+Cromwell 基因解决方案 | 配置 RAM 用户 配置 用户 1. RAM 背景信息 建议使用 RAM 用户（即阿里云子账号）执行本方案操作。 在本节中，您将创建用于执行方案操作的专用 RAM 用户，并为其授予所需权限；然 后使用 RAM 用户登录控制台。后续章节的操作都由 RAM 用户账号执行。 操作步骤 步骤1 登录阿里云 RAM 访问控制控制台（https://ram.console.aliyun.com）。 步骤2 前往人员管理 > 用户页面，单击新建用户。 步骤3 在新建用户页面，完成以下配置，并单击确定。 配置项 说明 用户账号信息 [登录名称][显示名称] gen_test gen_test 控制台密码登录 编程访问 访问方式 勾选 和 控制台密码 勾选自定义登录密码，并设置符合要求的用户密码 无需重置 要求重置密码 勾选 多因素认证 勾选不要求 文档版本：20200119 2