EMR集群安全认证和授权管理 

1EMR集群安全认证和授权管理 最佳实践 业务架构 阿里云 EMR集群安全认证和授权管理 场景描述 解决问题 阿里云EMR服务Kafka和Hadoop安全集群使 1. 创建基于Kerberos的EMRKafka和Hadoop 用Kerberos进行用户安全认证，通过Apache 集群。 Ranger服务进行访问授权管理。本最佳实践中以 2. EMR服务的Kafka和Hadoop集群中 最佳实践 ApacheWeb服务器日志为例，演示基于Kafka Kerberos相关配置和使用方法。 和Hadoop的生态组件构建日志大数据仓库，并 3. Ranger中添加Kafka、HDFS、Hive和Hbase 介绍在整个数据流程中，如何通过Kerberos和 服务和访问策略。 Ranger进行认证和授权的相关配置。 4. Flume中和Kafka、HDFS相关的安全配置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版

2云服务器ECS（产品名称） 文档模板（手册名称）/文档版本信息 文档版本：20200330 文档版本：20150122（发布日期） 2

3EMR集群安全认证和授权管理 法律声明 文档版本信息 文本信息 属性 内容 文档名称 EMR集群安全认证和授权管理 文档编号 154 文档版本 V1.1 版本日期 2020-03-30 文档状态 外部发布 制作人 敬海 审阅人 子关、云滴、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-20 云魁 子关、云滴 创建 V1.1 2020-03-30 筱晖 - 文档优化 文档版本：20200330 III

4EMR集群安全认证和授权管理 前言 前言 概述 几乎每个行业都普遍认为，数据是竞争优势必不可少的新驱动力。在现代数据架构中， Hadoop通过提供低成本、大规模的数据存储和处理扮演着至关重要的角色。对于在 Hadoop生态系统中存储和处理敏感数据的组织而言，安全性至关重要。 在阿里云EMR服务中，为使用者提供了多种企业级安全机制，从集群管理、用户认 证、访问授权、审计和数据保护等多方面提供了保护。 名词解释  E-MapReduce：阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS上 的开源Hadoop、Spark、HBase、Hive、Flink生态大数据PaaS 产品。提供用 户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、 机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案 。 详 情 请 查 看 www.aliyun.com/product/emapreduce  Kerberos：Kerberos是一种网络身份验证协议，它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份验证和强大的加密工 具，可帮助您保护整个企业中的信息系统。MIT提供了一个免费的Kerberos实现。 详情请查看web.mit.edu/kerberos  ApacheRanger：ApacheRanger™是一个框架，用于在整个Hadoop平台上启 用，监视和管理全面的数据安全性。Ranger的愿景是在ApacheHadoop生态系 统中提供全面的安全性。随着ApacheYARN的出现，Hadoop平台现在可以支持 真正的数据湖架构。企业可以在多租户环境中运行多个工作负载。 Hadoop内的 数据安全性需要发展以支持多种用例进行数据访问，同时还需要提供一个框架来 对安全策略进行集中管理并监视用户访问。详情请查看ranger.apache.org 文档版本：20200330 V

5EMR集群安全认证和授权管理 目录 目录 文档版本信息...............................................................................................................................................................III ....................................................................................................................................................................... 法律声明 IV 前言................................................................................................................................................................................V ............................................................................................................................................................................... 目录 VI ........................................................................................................................................................................ 前置条件 1 资源规划说明................................................................................................................................................................2 ......................................................................................................... 1. 阿里云EMR集群的用户认证和访问授权 3 1.1. 认证（Authentication）......................................................................................................................3 ........................................................................................................................ 1.2. 授权（Authorization） 3 ....................................................................................................................................... 1.3. Kerberos简介 5 1.3.1. Kerberos基本术语.......................................................................................................................6 ............................................................................................................... 1.3.2. Kerberos服务工作方式 7 1.3.3. EMR中关于Kerberos相关服务和配置.................................................................................10 ......................................................................................................................................... 2. EMRKafka安全集群 13 ............................................................................................................................. 2.1. 创建专有网络VPC 13 2.2. 创建EMRKafka高安全集群............................................................................................................14 .................................................................................................... 2.2.1. 创建EMRKafka高安全集群 14 2.2.2. 启用KafkaManager..................................................................................................................17 .................................................................................................. 2.2.3. 创建Topic用于接收日志信息 23 ............................................................................................ 2.3. 创建ECS并部署日志发生器和Flume 24 2.4. 配置并启动日志发生器上的Flume..................................................................................................28 ........................................................................................................................... 2.5. Kafka集群安全配置 31 2.5.1. 在Kafka集群的Kerberos控制器中添加Principal..............................................................31 .................................................................. 2.5.2. 为日志发生器的Flume添加Kerberos相关配置 32 ........................................................................................................................................ 2.6. 配置Ranger 36 2.6.1. 在Ranger服务中启用Kafka...................................................................................................36 ..................................................................................... 2.6.2. 在Ranger服务中添加KafkaService 39 2.6.3. 添加Policy允许Flume向Topic发布消息............................................................................43 ................................................................................................................. 3. EMRHadoop安全集群和网关集群 49 ................................................................. 3.1. 创建并配置RDSforMySQL实例用于Hive元数据库 49 3.1.1. 创建实例......................................................................................................................................49 ...................................................................................................... 3.1.2. 设置白名单并获取内网地址 51 3.1.3. 创建数据库账号和关联数据库..................................................................................................54 ....................................................................................................... 3.2. 创建EMRHadoop高安全集群 56 ........................................................................................................................... 3.2.1. 创建EMR集群 56 3.2.2. 初始化Hive元数据库................................................................................................................61 ...................................................................................................................................... 3.2.3. 启用Hue 62 3.3. 创建EMR网关集群...........................................................................................................................64 .................................................................................................................... 3.4. Kerberos跨域互信配置 66 .................................................................................................................... 3.4.1. Kerberos域的划分 66 3.4.2. 设置Kerberos跨域互信...........................................................................................................67 文档版本：20200330 VI

6EMR集群安全认证和授权管理 目录 3.5. 添加Principal并导出为Keytab.......................................................................................................70 ................................................................................................ 3.6. Hadoop集群中Ranger启用HDFS 71 .................................................................................................................................. 3.7. Flume后台配置 75 3.8. 配置FlumeAgent..............................................................................................................................76 .............................................................................................................................. 3.9. 启动FlumeAgent 81 4. Ranger启用Hive服务......................................................................................................................................86 ........................................................................................................................ 4.1. 创建Hive数据库和表 86 .................................................................................................................................... 4.2. 启用Hive组件 90 4.3. 添加HiveService...............................................................................................................................91 ................................................................................................................... 4.4. 添加Access类型Policy 93 4.5. 添加Masking类型Policy.................................................................................................................96 ................................................................................................................................ 5. Ranger启用HBase服务 100 .............................................................................................................................. 5.1. 启用HBase组件 100 5.2. 添加HBaseService........................................................................................................................101 ........................................................................................................................................ 5.3. 添加Policy 103 5.4. 创建HBase表并写入数据..............................................................................................................104 .................................................................................................................................................................... 6. 总结 109 .................................................................................................................................. 6.1. Kerberos鉴权 109 6.2. Ranger权限控制..............................................................................................................................110 ................................................................................................... 6.3. 留给使用者一个独自练习的机会 113 文档版本：20200330 VII

7EMR集群安全认证和授权管理 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：  注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证 页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否已经完成 实名认证。  阿里云账户余额大于100元。您可以登录阿里云控制台，并前往账户总览页面 （https://expense.console.aliyun.com/#/account/home）查看账户余额。  拥有已经通过备案的域名。  开通ECS、OSS、EMR、RDS、DTS和VPN网关等服务。 文档版本：20200330 1

8EMR集群安全认证和授权管理 资源规划说明 资源规划说明  本方案仅作为实践演练使用，在生产环境执行时请结合业务系统实际架构进行调 整。  本方案购买的所有云产品规格均为演示需要，请根据实际业务需求购买对应规格 的产品和服务。 文档版本：20200330 2