CDH常见问题及解决方法（待续）

启动CDH提示Deploy Client configuration fail

原因：
依赖包perl未安装

yum install -y perl

自用脚本中的yum操作所需依赖包，仅做参考

yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs redhat-lsb
yum -Cy install ntp gcc python-devel psmisc perl

找不到JDK

原因：
CDH不会使用系统默认JAVA_HOME环境变量，而是使用Bigtop进行管理，故我们需要安装Bigtop的规则在指定的位置安装jdk
配置在这里：
cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh
其中可以看到：
local JAVA8_HOME_CANDIDATES=(
‘/usr/java/jdk1.8’
‘/usr/java/jre1.8’
‘/usr/lib/jvm/j2sdk1.8-oracle’
‘/usr/lib/jvm/j2sdk1.8-oracle/jre’
‘/usr/lib/jvm/java-8-oracle’
)
建立一个已经有的JAVA_HOME 链接到 /usr/java/jdk1.8

CDH离线安装组件（如Kudu）

将资源parcel文件、parcel.sha和manifest文件放到/parcel-repo文件夹下，其中manifest可以共享多个资源索引

CDH创建Mysql数据库时能找到服务器找不到数据库

在创建新的数据库后应运行以下语句来修改数据库访问权限

mysql -uroot -p1234 -e"GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;FLUSH PRIVILEGES;"

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

echo "vm.swappiness=10" >> /etc/sysctl.conf

已启用透明大页面压缩，可能会导致重大性能问题

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local 
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local 
chmod +x /etc/rc.d/rc.local

自启动CDH挂掉

原因:ip地址映射错误
Mysql服务未启动

CDH安装Yarn时NodeManager启动失败

Error starting NodeManager
org.apache.hadoop.service.ServiceStateException: org.fusesource.leveldbjni.internal.NativeDB$DBException: IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够
方法一：修改目录权限
chmod -R 755 /var/lib/hadoop-yarn/
方法二：删除该对应子目录重试CDH添加服务操作

CDH内存不足超过阈值

调整主机配置参数 默认0.8 剩余内存为系统占用（可调整优化）

CDH NameNode 检查点错误

由于某种原因，需要在原来已经部署了Cloudera CDH集群上重新部署，重新部署之后，启动集群，由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和1000000。只要达到这两个条件之一，secondarynamenode会执行checkpoint操作，此时会出现如下的问题：
ERROR：The health test result for NAME_NODE_HA_CHECKPOINT_AGE has become bad: The filesystem checkpoint is 4 hour(s) old. This is 401.25% of the configured checkpoint period of 1 hour(s).
解决方法：
删除fs.checkpoint.dir, dfs.namenode.checkpoint.dir的值的路径
在CDH中HDFS配置中搜索checkpoint可以找到（默认/dfs/snn）

impala 导入文件报错

Error parsing row: file: hdfs://master:8020/input3/branchproject.csv, before offset: 1263429
调整impala内存大小