启用Kerberos后CDH集群的HiveServer2频繁意外退出故障解决附带CDH更新Principal keytab过程

HiveServer2 运行状况 不良 半小时自动退出一次

搜索hive的日志：

find / -name  hive-log4j.properties

找到并打开后发现日志位置和名字：

log.dir=/var/log/hive

log.file=hadoop-cmf-hive-HIVESERVER2-cdh148.log.out

该日志内容过长，于是打开命令调整为：

tail -n 200 /var/log/hive/hadoop-cmf-hive-HIVESERVER2-cdh148.log.out

发现报错：

Unable to login to kerberos with given principal/keytab

Caused by: org.apache.hadoop.security.KerberosAuthException: Login failure for user: hive/[email protected] from keytab hive.keytab

Caused by:  javax.security.auth.login.LoginException: Checksum failed

Caused by: KrbException: Checksum failed

确定是kerberos hive/cdh148的问题

检查kinit hive/cdh148发现密码错误

于是在kadmin.local中执行

change_password -pw <密码> hive/cdh148

并在cdh集群管理界面的安全中更新所有keytab：

1、打开安全

2、搜索对应principal

3、勾选该principal点击重新生成

4、显示需要先关闭HiveServer2实例

5、点击停止，进行步骤3，之后到步骤4界面启动HiveServer2实例

再次检查hive日志：

tail -n 200 /var/log/hive/hadoop-cmf-hive-HIVESERVER2-cdh148.log.out

发现已无异常报错信息，至此问题解决

总结：kerberos密码可能因之前执行过生成秘钥操作导致变更，现将其改回并在集群中重新生效