大数据CDH问题解决总结

​​​​​​1. impala-shell连接显示Not connected的问题

 

解决方案：

查看Cm界面中，kerbros是默认开启，禁用掉就OK了。

 

同时在impala的配置中关闭LDAP服务即可。

或者通过LDAP认证的用户和密码登陆。

2. Yarn 中显示datanode节点目录空间不足的问题

解决方法：调整Yarn的容器内存和上限。

在集群中针对某问题，将资源内存调整为150G和上限300G。

 

 ​​​​​​​3. CM中没有置yarn.nodemanager.pmem-check-enabled 默认设置项

原因为CDH版本问题，CM没有将这个参数列为可配置参数，可以通过NodeManager yarn-site.xml高级配置置代码段设置yarn.nodemanager.pmem-check-enabled参数为False。

​​​​​​​4. Kudu tableserver错误

Check failed: _s.ok() Bad status: Service unavailable: Cannot initialize clock: Error reading clock. Clock considered unsynchronized

解决方案：

安装ntp服务：

查看到每台机器都安装了ntp服务，也正常运行中。但还是报同样的错误，重启了每台的ntp服务后再启动kudu服务该错误解决。

https://blog.csdn.net/S630730701/article/details/80519128

​​​​​​​5. Spark运行任务不定期报错

报错内容：

ERROR client.TransportClient: Failed to send RPC 8719635131573624701 to Datanode-01/10.252.68.8:54824: java.nio.channels.ClosedChannelException

解决方案：

      在spark运行时会将临时文件存在/home目录盘下，由于该目录盘有20多G大文件，导致偶尔空间不够，删除不用的大文件解决问题。