Ctrl+F / Command+F 全文检索
客户案例

相关最佳实践
业务上云 |

传统企业、零售和游戏行业系统分级后单库单服系统云上搭建最佳实践,涉及大部分基础云产品。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 负载均衡 SLB CDN 云速搭
DevOps | 容器&微服务 |

使用云效完成容器应用自动化构建和持续部署

专有网络 VPC 负载均衡 SLB 容器服务 ACK 云效 云速搭
业务上云 |

使用云桌面和VPN网关产品快速构建远程办公环境,在云桌面可以访问企业IDC内的应用和资源

云服务器ECS NAT网关 VPN网关 智能接入网关 云桌面
安全&合规 |

使用阿里云实现电商网站运营期间的安全防护,包括防爬风险管理、DDoS防御、风险管理产品的能力及操作

云数据库RDS MySQL 版 负载均衡 SLB DDoS防护 风险识别 爬虫风险管理
容器&微服务 |

使用ACK上运行常规业务,业务突发波动时突增业务运行在ECI上/达到成本的最优控制

云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 云数据库 Redis 版 弹性容器实例 ECI 云速搭
数据分析 |

微服务应用化过程的日志采集运维管理,解决用户微服务改造过程中日志采集处理分析痛点

云服务器ECS 云数据库RDS MySQL 版 文件存储NAS 容器服务 ACK 容器镜像服务 ACR
数据分析 | 数据迁移 |

介绍如何将自建Hadoop集群及生态组件迁移到阿里云MaxCompute大数据服务。

云服务器ECS DataWorks 大数据计算服务 MaxCompute 云数据库 HBase 版 数据总线 云速搭
云上运维 | 安全&合规 |

以电商网站场景为例介绍如何使用访问控制服务(RAM)进行账号权限管理。

专有网络 VPC 云服务器ECS 云数据库RDS MySQL 版 对象存储 OSS 访问控制 云速搭
安全&合规 |

云原生高性价比的等保三级最佳实践;在等保二级基础上,叠加必要的安全产品及高可用架构/满足三级要求

云服务器ECS 日志服务(SLS) 云安全中心 Web应用防火墙 操作审计 数据库审计 堡垒机 云防火墙 SSL证书
中间件 |

介绍如何将阿里云自建RabbitMQ迁移到消息队列AMQP

块存储 专有网络 VPC 云服务器ECS 访问控制 消息队列 MQ

温馨提示

未登录用户仅可预览8页内容,请您前往登录后浏览更多企业上云最佳实践案例内容。企业账号建议生成子账号授权访问。

BpFile(id=198, bpId=154, name=EMR集群安全认证和授权管理 , author=null, keyword=EMR,Kerberos,ranger,授权,鉴权,认证,权限管理,安全,Hadoop安全, description=介绍EMR高安全集群如何使用Kerberos和Apache Ranger进行鉴权和访问授权管理, position=null, ossUrl=bp-XRGY8C25HQUA6TV8.pdf, tags=null, level=null, tagList=null, products=null, productList=null, hotspot=null, oneClick=0, createTime=null, modifiedTime=null, timeConsuming=null, status=1, pdfDescription=场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版, templateId=null, freetry=null, visitTime=null, visitCount=null, video_url=null, buttonName=null, buttonUrl=null, targetId=null, partner=null, partnerUrl=null, partnerLogo=null)
1EMR集群安全认证和授权管理 最佳实践 业务架构 阿里云 EMR集群安全认证和授权管理 场景描述 解决问题 阿里云EMR服务Kafka和Hadoop安全集群使 1. 创建基于Kerberos的EMRKafka和Hadoop 用Kerberos进行用户安全认证,通过Apache 集群。 Ranger服务进行访问授权管理。本最佳实践中以 2. EMR服务的Kafka和Hadoop集群中 最佳实践 ApacheWeb服务器日志为例,演示基于Kafka Kerberos相关配置和使用方法。 和Hadoop的生态组件构建日志大数据仓库,并 3. Ranger中添加Kafka、HDFS、Hive和Hbase 介绍在整个数据流程中,如何通过Kerberos和 服务和访问策略。 Ranger进行认证和授权的相关配置。 4. Flume中和Kafka、HDFS相关的安全配置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
2云服务器ECS(产品名称) 文档模板(手册名称)/文档版本信息 文档版本:20200330 文档版本:20150122(发布日期) 2
3EMR集群安全认证和授权管理 法律声明 文档版本信息 文本信息 属性 内容 文档名称 EMR集群安全认证和授权管理 文档编号 154 文档版本 V1.1 版本日期 2020-03-30 文档状态 外部发布 制作人 敬海 审阅人 子关、云滴、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-20 云魁 子关、云滴 创建 V1.1 2020-03-30 筱晖 - 文档优化 文档版本:20200330 III
4EMR集群安全认证和授权管理 前言 前言 概述 几乎每个行业都普遍认为,数据是竞争优势必不可少的新驱动力。在现代数据架构中, Hadoop通过提供低成本、大规模的数据存储和处理扮演着至关重要的角色。对于在 Hadoop生态系统中存储和处理敏感数据的组织而言,安全性至关重要。 在阿里云EMR服务中,为使用者提供了多种企业级安全机制,从集群管理、用户认 证、访问授权、审计和数据保护等多方面提供了保护。 名词解释  E-MapReduce:阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS上 的开源Hadoop、Spark、HBase、Hive、Flink生态大数据PaaS 产品。提供用 户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、 机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案 。 详 情 请 查 看 www.aliyun.com/product/emapreduce  Kerberos:Kerberos是一种网络身份验证协议,它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份验证和强大的加密工 具,可帮助您保护整个企业中的信息系统。MIT提供了一个免费的Kerberos实现。 详情请查看web.mit.edu/kerberos  ApacheRanger:ApacheRanger™是一个框架,用于在整个Hadoop平台上启 用,监视和管理全面的数据安全性。Ranger的愿景是在ApacheHadoop生态系 统中提供全面的安全性。随着ApacheYARN的出现,Hadoop平台现在可以支持 真正的数据湖架构。企业可以在多租户环境中运行多个工作负载。 Hadoop内的 数据安全性需要发展以支持多种用例进行数据访问,同时还需要提供一个框架来 对安全策略进行集中管理并监视用户访问。详情请查看ranger.apache.org 文档版本:20200330 V
5EMR集群安全认证和授权管理 目录 目录 文档版本信息...............................................................................................................................................................III ....................................................................................................................................................................... 法律声明 IV 前言................................................................................................................................................................................V ............................................................................................................................................................................... 目录 VI ........................................................................................................................................................................ 前置条件 1 资源规划说明................................................................................................................................................................2 ......................................................................................................... 1. 阿里云EMR集群的用户认证和访问授权 3 1.1. 认证(Authentication)......................................................................................................................3 ........................................................................................................................ 1.2. 授权(Authorization) 3 ....................................................................................................................................... 1.3. Kerberos简介 5 1.3.1. Kerberos基本术语.......................................................................................................................6 ............................................................................................................... 1.3.2. Kerberos服务工作方式 7 1.3.3. EMR中关于Kerberos相关服务和配置.................................................................................10 ......................................................................................................................................... 2. EMRKafka安全集群 13 ............................................................................................................................. 2.1. 创建专有网络VPC 13 2.2. 创建EMRKafka高安全集群............................................................................................................14 .................................................................................................... 2.2.1. 创建EMRKafka高安全集群 14 2.2.2. 启用KafkaManager..................................................................................................................17 .................................................................................................. 2.2.3. 创建Topic用于接收日志信息 23 ............................................................................................ 2.3. 创建ECS并部署日志发生器和Flume 24 2.4. 配置并启动日志发生器上的Flume..................................................................................................28 ........................................................................................................................... 2.5. Kafka集群安全配置 31 2.5.1. 在Kafka集群的Kerberos控制器中添加Principal..............................................................31 .................................................................. 2.5.2. 为日志发生器的Flume添加Kerberos相关配置 32 ........................................................................................................................................ 2.6. 配置Ranger 36 2.6.1. 在Ranger服务中启用Kafka...................................................................................................36 ..................................................................................... 2.6.2. 在Ranger服务中添加KafkaService 39 2.6.3. 添加Policy允许Flume向Topic发布消息............................................................................43 ................................................................................................................. 3. EMRHadoop安全集群和网关集群 49 ................................................................. 3.1. 创建并配置RDSforMySQL实例用于Hive元数据库 49 3.1.1. 创建实例......................................................................................................................................49 ...................................................................................................... 3.1.2. 设置白名单并获取内网地址 51 3.1.3. 创建数据库账号和关联数据库..................................................................................................54 ....................................................................................................... 3.2. 创建EMRHadoop高安全集群 56 ........................................................................................................................... 3.2.1. 创建EMR集群 56 3.2.2. 初始化Hive元数据库................................................................................................................61 ...................................................................................................................................... 3.2.3. 启用Hue 62 3.3. 创建EMR网关集群...........................................................................................................................64 .................................................................................................................... 3.4. Kerberos跨域互信配置 66 .................................................................................................................... 3.4.1. Kerberos域的划分 66 3.4.2. 设置Kerberos跨域互信...........................................................................................................67 文档版本:20200330 VI
6EMR集群安全认证和授权管理 目录 3.5. 添加Principal并导出为Keytab.......................................................................................................70 ................................................................................................ 3.6. Hadoop集群中Ranger启用HDFS 71 .................................................................................................................................. 3.7. Flume后台配置 75 3.8. 配置FlumeAgent..............................................................................................................................76 .............................................................................................................................. 3.9. 启动FlumeAgent 81 4. Ranger启用Hive服务......................................................................................................................................86 ........................................................................................................................ 4.1. 创建Hive数据库和表 86 .................................................................................................................................... 4.2. 启用Hive组件 90 4.3. 添加HiveService...............................................................................................................................91 ................................................................................................................... 4.4. 添加Access类型Policy 93 4.5. 添加Masking类型Policy.................................................................................................................96 ................................................................................................................................ 5. Ranger启用HBase服务 100 .............................................................................................................................. 5.1. 启用HBase组件 100 5.2. 添加HBaseService........................................................................................................................101 ........................................................................................................................................ 5.3. 添加Policy 103 5.4. 创建HBase表并写入数据..............................................................................................................104 .................................................................................................................................................................... 6. 总结 109 .................................................................................................................................. 6.1. Kerberos鉴权 109 6.2. Ranger权限控制..............................................................................................................................110 ................................................................................................... 6.3. 留给使用者一个独自练习的机会 113 文档版本:20200330 VII
7EMR集群安全认证和授权管理 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作:  注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证 页面(https://account.console.aliyun.com/v2/#/authc/home)查看是否已经完成 实名认证。  阿里云账户余额大于100元。您可以登录阿里云控制台,并前往账户总览页面 (https://expense.console.aliyun.com/#/account/home)查看账户余额。  拥有已经通过备案的域名。  开通ECS、OSS、EMR、RDS、DTS和VPN网关等服务。 文档版本:20200330 1
8EMR集群安全认证和授权管理 资源规划说明 资源规划说明  本方案仅作为实践演练使用,在生产环境执行时请结合业务系统实际架构进行调 整。  本方案购买的所有云产品规格均为演示需要,请根据实际业务需求购买对应规格 的产品和服务。 文档版本:20200330 2