使用DBeaver访问Kerberos环境下的Hive
应用背景
有时想看看大数据平台上Hive表的结构和数据字典，或者对数据进行简单查询、核验，可以装一个SQL开发工具访问CDH集群中的Hive。
测试环境：
- CDH版本为5.13.1
- 客户端OS为Windows 10或Windows 7.
配置Kerberos客户端环境
在客户端OS Windows 10或Windows 7上安装Kerberos客户端，在Kerberos官网下载，地址如下，
https://web.mit.edu/kerberos/dist/index.html
一路点击Next完成安装。
配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件，将KDC Server服务器上/etc/krb5.conf文件中的部分内容，拷贝到krb5.ini中，如果直接将krb5.conf文件更名为krb5.ini并替换krb5.ini，会出现文件格式问题导致MIT Kerberos客户端无法正常启动。
[libdefaults]
default_realm = MYCDH.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 604800
renew_lifetime = 25920000
forwardable = true
default_tgs_enctypes = des-cbc-crc des3-cbc-sha1
default_tkt_enctypes = des-cbc-crc des3-cbc-sha1
permitted_enctypes = des-cbc-crc des3-cbc-sha1
udp_preference_limit = 1
kdc_timeout = 3000
[realms]
MYCDH.COM = {
kdc = kerberos.mycdh.com
admin_server = kerberos.mycdh.com
}
[domain_realm]
配置环境变量，krb5.ini以及Kerberos Credential Cache File的路径，
- 变量名：KRB5_CONFIG，变量值：C:\ProgramData\MIT\Kerberos5\krb5.ini。
- 变量名：KRB5CCNAME，变量值：C:\temp\krb5cache。
KRB5CCNAME的路径默认是不存在的，因此需要在C盘下创建temp文件夹，krb5cache文件则不需要创建。
配置完环境变量后，重启计算机使其生效。
使用keytab文件登录Kerberos
在KDC Server上创建一个keytab文件，
sudo kadmin.local
kadmin.local: addprinc [email protected]
WARNING: no policy specified for [email protected]; defaulting to no policy
Enter password for principal "[email protected]":
Re-enter password for principal "[email protected]":
Principal "[email protected]" created.
kadmin.local: xst -norandkey -k padluo.keytab [email protected]
Entry for principal [email protected] with kvno 1, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal [email protected] with kvno 1, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal [email protected] with kvno 1, encryption type des3-cbc-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal [email protected] with kvno 1, encryption type arcfour-hmac added to keytab WRFILE:padluo.keytab.
Entry for principal [email protected] with kvno 1, encryption type des-hmac-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal [email protected] with kvno 1, encryption type des-cbc-md5 added to keytab WRFILE:padluo.keytab.
在生成keytab文件时需要加参数-norandkey，否则会导致，直接使用kinit [email protected]初始化时会提示密码错误。
测试padluo.keytab文件，
kdestroy
sudo chmod 644 padluo.keytab
ll padluo.keytab
kinit -kt padluo.keytab [email protected]
klist
在非root用户下需要将生成的keytab文件，权限设置到644以上，否则会初始化失败kinit: ???? while getting initial credentials或者使用sudo权限初始化。
将生成的padluo.keytab文件拷贝到Windows 10/7上，在CMD命令进行初始化，
kdestroy
kinit -kt C:\padluo.keytab [email protected]
klist
初始化成功，在MIT Kerberos客户端显示，
DBeaver安装配置
DBeaver安装包下载地址如下，安装为界面化操作，下一步下一步完成安装即可。
https://dbeaver.io/download/
因为DBeaver通过JDBC的方式访问Hive，底层也是基于Java环境，所以这里需要在DBeaver的配置中增加JVM的参数，添加关于Kerberos相关的配置。进入DBeaver的安装目录，找到dbeaver.ini配置文件，在配置文件末尾增加如下配置，重新启动DBeaver客户端。
-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true
基于Cloudera驱动创建连接
在Cloudera官网下载Hive JDBC驱动包，Cloudera官网提供的JDBC驱动包比较简单只有一个jar包，Hive JDBC驱动包及其依赖包均打包在里面，但在JDBC URL的访问方式上也做了一定的调整。地址如下，
https://www.cloudera.com/downloads/connectors/hive/jdbc/2-6-5.html
将下载的Hive JDBC Driver驱动包解压到本地目录，将ClouderaHiveJDBC41-2.6.2.1002解压得到HiveJDBC41.jar驱动包，该驱动包包含了HiveJDBC驱动的依赖包。
在DBeaver中进入驱动设置界面，在URL模板中增加如下参数：
;AuthMech=1;KrbRealm=MYCDH.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2
AuthMech: 0无认证、1Kerberos认证、2用户名方式、3用户名和密码认证、6使用Hadoop授权认证
KrbRealm：你的KDC服务定义的域名
krbHostFQDN：你的HiveServer2服务的FQDN（hostname或你dns解析的域名）
KrbServiceName：HiveServer2服务的Principal默认为hive
KrbAuthType：0表示获取你的Subject来实现Kerberos认证、1表示基于JAAS方式获取Kerberos认证、2表示基于当前客户端的Tick Cache方式认证
添加Cloudera提供的Hive JDBC驱动，驱动类需要指定为"com.cloudera.hive.jdbc41.HS2Driver"。
点击确定完成驱动设置，填写替换{host}变量的主机地址，
点击测试连接，
完成连接创建后即可正常访问Kerberos环境下的Hive库。
基于Hive原生驱动创建连接
基于Hive原生驱动创建连接的方式暂未进行测试。
最后，推荐极客时间新出的一个【大规模数据处理实战】的专栏，了解Google一线工程师的大数据架构实战经验，深入掌握实用的大规模数据处理技术。
微信公众号「padluo」，分享数据科学家的自我修养，既然遇见，不如一起成长。
读者交流电报群
https://t.me/sspadluo
知识星球交流群