CDH 配置 Sentry 服务

1. 启用Sentry服务前

1. 设置 Hive Warehouse 目录权限

   要点： 启用 HDFS / Sentry同步无需在Hive仓库目录上显式设置权限。启用同步后，所有 Hive 数据库和表在HDFS底层文件系统上都归属 hive : hive 。 Sentry 会把表的权限自动转换为 HDFS 底层文件的 ACL。

   Hive的仓库目录 /user/hive/warehouse 或者在 hive-site.xml 中指定的 hive.metastore.warehouse.dir 的值，但所属组必须为 hive:hive 。

   1. 使用默认的Hive仓库目录

      仓库目录必须按照以下方式设置：

      • 仓库目录权限为771(默认路径为/user/hive/warehouse)

      • 子目录权限为771(例如：/user/hive/warehouse/mysubdir)

      • 所有文件和子目录的用户属组应该为 hive:hive

      $ sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
      $ sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
      

      如果启用了Kerberos，必须使用 hdfs 用户 kinit 然后设置相应目录的权限。

      sudo -u hdfs kinit -kt hdfs.keytab hdfs
      sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse
      sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse
      

   2. 使用非默认Hive仓库

      如果使用不同的Hive仓库目录，可以在Cloudera Manager的Hive服务中配置hive.metastore.warehouse.dir属性，并且为配置的目录设置相应的权限。

      hdfs dfs -chown hive:hive /data
      hdfs dfs -chmod 771 /data
      

      注意:
      更改Hive仓库默认路径不会移动现有表的数据。在修改默认路径之前的任何数据都会保留在默认位置/user/hive/warehouse，创建新表则会保存在新路径下。

   注意:

   • 将 hive-site.xml中将 hive.warehouse.subdir.inherit.perms 设置为 true, 以便在 warehouse 目录上设置的权限度可以集成到子目录。
   • 如果用户可以访问仓库中的任何对象，则该用户将能够执行 use default。这可以确保在启用Sentry后，旧的应用程序可以使用 use default 命令。
   • 按照上面内容修改了 Hive 仓库目录的权限，会覆盖 CDH 安装时对 Hive 的部分建议

2. 禁用HiveServer2的模拟

   HiveServer2模拟允许用户作为连接用户而不是超级用户执行查询和访问HDFS文件。访问策略使用基于HDFS ACL 应用于 HDFS 文件。启用 HiveServer2 模拟会绕过 Sentry 的端到端授权过程。具体来说，如果启用了Hive模拟，虽然Sentry对Hive仓库中的表和视图的权限，但是却没办法控制底层HDFS文件的访问。这意味着，对Hive仓库中的表没有Sentry权限的用户仍然可以绕过Sentry授权检查并对仓库中的表执行作业和查询，只要他们对支持该表的HDFS文件具有权限即可。

   使用以下方式禁用Hive的用户模拟:
   Hive -> 配置 -> HiveServer2 -> 搜索 dsAs -> 取消勾选 -> 保存更改 -> 重启相关服务

    

   

   image

3. 对于YARN，需要配置使用 hive 用户提交 YARN 作业

   YARN -> 配置 -> NodeManager -> 搜索 allowed.system.users -> 添加hive用户 -> 保存更改 -> 重启相关服务

   注意:
   如果你有多组NodeManager，需要保证每组NodeManager的该配置都包含了hive用户。

   

   image

4. 阻止外部应用程序访问Hive Metastore

   Hive -> 配置 -> NodeManager -> 搜索 hadoop.proxyuser.hive.groups -> 添加hive,hue和sentry用户 -> 保存更改 -> 重启相关服务

   注意:
   设置此参数会阻止对非服务用户访问Hive Metastore。这可以禁止Hive CLI，Spark和Sqoop应用程序与Hive服务的交互。该配置不影响这些应用程序的运行，但是它们无法再访问Hive Metastore，并且所有Hive查询都将失败。运行Hive CLI，Spark和Sqoop的用户必须是hive，hue或sentry用户，或者属于这3个group，你也可以将其他用户组增加到上面配置的代理用户列表中。

   

   image

2. 为Hive服务启用Sentry

1. Hive -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改 -> 重启服务

    

   

   image

2. Hive -> 配置 -> 搜索 "存储通知" -> 勾选"启用数据库中的存储通知" -> 保存更改 -> 重启 Hive 服务

   

   image

    

3. 为Impala服务启用Sentry

Hive -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改 -> 重启服务

 

image

4. 配置HDFS开启ACLs与Sentry权限同步

HDFS -> 配置 -> 搜索 acl -> 启用访问控制列表和Sentry同步 -> 保存更改 -> 重启服务

 

image

5. 为Hue服务启用Sentry

Hue中集成了一个安全模块用来界面化操作Sentry。设置Hue以管理Sentry权限时，请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器操作系统中的用户相同，以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地操作系统中的用户group相同。

Hue -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改

 

image

6. 将Hive，Spark和Hue组添加到Sentry的管理组

Sentry -> 配置 -> 搜索 admin -> 勾选Sentry -> 保存更改 -> 重启服务

 

image

7. HiveServer2受限制的属性

为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下，当然你依旧可以在HiveServer2服务端进行参数修改。

hive.enable.spark.execution.engine
hive.semantic.analyzer.hook
hive.exec.pre.hooks
hive.exec.scratchdir
hive.exec.local.scratchdir
hive.metastore.uris,
javax.jdo.option.ConnectionURL
hadoop.bin.path
hive.session.id
hive.aux.jars.path
hive.stats.dbconnectionstring
hive.scratch.dir.permission
hive.security.command.whitelist
hive.security.authorization.task.factory
hive.entity.capture.transform
hive.access.conf.url
hive.sentry.conf.url
hive.access.subject.name
hive.sentry.subject.name
hive.sentry.active.role.set

8. 保护Hive Metastore

保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos，请将sentry.hive.testing.mode属性设置为true，以允许Sentry使用较弱的身份验证机制。

注意:
Cloudera强烈建议不要在生产环境中配置该参数。该参数仅适用于Sentry的测试模式，可以用于你的测试环境

Hive-> 配置 -> 搜索 sentry-site.xml-> 添加下面配置 -> 保存更改 -> 重启服务

  sentry.hive.testing.mode
  true

image

9. 在HiveServer2中使用UDF

当HiveServer2和Beeline客户端不在同一台主机时，不能使用ADD JAR命令。作为替代的，在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。启用S​​entry时，创建永久函数和临时函数的过程存在一些差异。

参考:
https://www.cloudera.com/documentation/enterprise/latest/topics/sg_sentry_service_config.html