cloudera新增用户权限配置

目标:

给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径,及hive数据库。

前提:

cloudera

cloudera manager

kerberos

ldap

sentry

问题与解决:
  • hive client直走hive的本地模式,没有经过hiveserver2,所以此种方式能访问所有的数据库,具有超级管理员权限;考虑使用beeline形式。

    登陆方式例如:

     

    beeline -u "jdbc:hive2://172.20.0.74:10000/data_system" -nhive -p111111(ldap账户及密码)

     

    或者

     

    beeline
    !connect jdbc:hive2://172.20.0.74:10000/data_system;principal=hive/[email protected]

     输入kerberos账户及密码。

     

  • hue版本3.6.0不支持hive ldap,hue会提示不没有hive server2服务,参考issue

     

    cd /opt/cloudera/parcels/CDH/lib/hue
    patch -p1 < /path/to/downloaded/hue-2484.patch
     hive所有advanced safety value中加上配置:

     

     

    <property>
      <name>hive.server2.authentication</name>
      <value>LDAP</value>
    </property>
     restart Hue

     

    未解决问题:hue账户未能与ldap账户同步。

步骤:
  1. 收集用户及用户组,及对个个库的访问权限。例如bi组对bi库有读写权限及对其他库具有读权限。
  2. 所有节点增加用户和用户组
    useradd bi -u 1001
    usermod -a -G bi bi
     (所有节点都需要创建,而且uid必须一致)
  3. ldap增加账户及账户组
    grep -E "dsp:|dmp:" /etc/passwd  >/opt/passwd.txt    
    /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif
    ldapadd -x -D "uid=ldapadmin,ou=people,dc=yeahmobi,dc=com" -w secret -f /opt/passwd.ldif
    grep -E "dsp:|dmp:" /etc/group  >/opt/group.txt
    /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif
    ldapadd -x -D "uid=ldapadmin,ou=people,dc=yeahmobi,dc=com" -w secret -f /opt/group.ldif
    ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=yeahmobi,dc=com' -w secret "uid=dsp,ou=people,dc=yeahmobi,dc=com" -S  
    ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=yeahmobi,dc=com' -w secret "uid=dmp,ou=people,dc=yeahmobi,dc=com" -S   
    ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=yeahmobi,dc=com' -w secret "uid=bi,ou=people,dc=yeahmobi,dc=com" -S   
  4. hadoop中增加相应用户的目录及权限
    hadoop fs -mkdir /user/dsp
    hadoop fs -chmod -R 755 /user/dsp
    hadoop fs -chown -R dsp:dsp /user/dsp
  5. hive配置ldap
    若之前启用了sentry file形式的服务,需要将policy file based sentry enabled 设置成false,并且service wide中选择sentry service。
    service wide advanced safed value
    <property>
      <name>hive.server2.authentication</name>
      <value>LDAP</value>
    </property>
    <property>
      <name>hive.server2.authentication.ldap.url</name>
      <value>ldap://ip-10-1-33-20.ec2.internal</value>
    </property>
    <property>
      <name>hive.server2.authentication.ldap.baseDN</name>
      <value>ou=people,dc=yeahmobi,dc=com</value>
    </property>
     gateway/metastory/hiveserver2 advanced safed value分别加上
     <property>
      <name>hive.server2.authentication</name>
      <value>LDAP</value>
    </property>
     hue依赖于hive gateway的配置,即必须配置gateway,且修改后hue需要重启。
  6. 如上问题2
  7. hue设置ldap
    hue server advanced hue_safety_value_server.ini
    [desktop]
     ldap_username=hive
     ldap_password=111111
     并且选择sevice wide sentry service
  8. hdfs kerberos配置中增加hdfs的权限
    service wide security
    authorized user、groups设置成* 也行
  9. yarn增加用户的使用权限
    nodemanger group  security allowed system users
  10. 重启相关服务,cloudera manager会提示重启整个集群。
  11. hive server2和metastore启动失败,奇怪现象,测试环境中没有问题,正式环境中出现认证异常,只要加上ldap认证就会失败。
    解决办法,重新再别的节点配置新的hive sever2和metastore并且cm上创建新的group。
    注意此种解决方案,hue的配置中需要修改hive server2的路径。
  12. 授权,beeline中使用hive账户登陆和授权
    beeline -u "jdbc:hive2://172.20.0.74:10000/default" -nhive -p111111
    CREATE ROLE admin_role ;
    GRANT ALL ON SERVER server1 TO ROLE admin_role;
    GRANT ROLE admin_role TO GROUP hive; 
  13. 权限测试,使用新账户登陆测试
    beeline -u "jdbc:hive2://172.20.0.74:10000/default" -nbi -p111111
    或者通过hue,新建对应账户,beeswax测试。(此处hue与ldap账户没有同步,同步失败,后续解决)
  14. 新增加的账户,若需要访问/user/hive/warehouse,即可能需要读取db下的表数据,进行mapreduce job,如上配置后,由于该目录设置的是771(sentry service要求的),新增账户没有访问权限,想到如下解决办法:
    a.将新增账户赋予hive为附加组(所有节点),经过测试可以访问该目录了,但sentry的grant授权没有效果了,即该账户继承了hive的超级权限,此方法失败。
    b.采用acl,hdfs开启dfs.namenode.acls.enabled,并hdfs执行如下命令:
       hadoop fs -setfacl -R -m user:bi:r-x  /user/hive/warehouse,测试是通过的,而且权限都正确。此步骤需要重启整个集群。参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_sg_hdfs_ext_acls.html
  15. kerberos对新用户(bi)授权
    addprinc -randkey krbtgt/[email protected]
    addprinc -randkey host/[email protected] 
    addprinc -randkey HTTP/[email protected] 
    addprinc -randkey bi/[email protected]
    xst -norandkey -k bi.keytab host/[email protected] 
    xst -norandkey -k bi.keytab HTTP/[email protected]
    xst -norandkey -k bi.keytab bi/[email protected]
  16. mapreduce测试
    kinit -kt bi.keytab bi/[email protected]
    执行hadoop jar 测试
  17. jdbc测试,参见 git clone https://github.com/firecodeman/Cloudera-Impala-Hive-JDBC-Example.git
    mvn clean compile
    mvn exec:java -Dexec.mainClass=com.cloudera.example.ClouderaHiveJdbcExample

你可能感兴趣的:(sentry,LDAP,hue)