CDH学习问题总结

CDH学习问题总结

1.Cloudera Manager进不去
运行jps命令发现存在-- process information unavailable
在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失，如果一直不消失的情况下，可以使用如下方法清理：

进入/tmp目录 cd /tmp 可以看到有很多以hsperfdata_{用户名}这样的目录，比如：hsperfdata_hbase，hsperfdata_kafka，hsperfdata_root这样的目录，是因为进程虽然在内存中关闭了，但是Linux还会在/tmp下寻找这些临时文件，而此时临时文件并没有没正常删除，这时候直接执行 rm -rf hsperfdata_* 删除这些目录，然后再次执行 jps 查看，以上那些进程就不存在了，

总的来说直接执行 rm -rf /tmp/hsperfdata_ 可以快速清除那些残留进程*

如果有很多正常运行的进程时，其中夹杂部分残留进程，这个时候不建议全部删除上面的目录，这时候要根据目录和进程的对应关系分析出残留的单个目录来删除无用的进程即可
　　
2.sqoop导数据到mysql
Stdoutput Warning: /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/bin/…b/sqoop/…/accumulo does not exist! Accumulo imports will fail.
Stdoutput Please set $ACCUMULO_HOME to the root of your Accumulo installation.

出现这个问题我们的第一反应就是这个目录不存在肯定是去见这个目录。但是其实不然我们只要见下面的目录，然后在脚本中引入上面的报错的这个环境变量就可以正常的运行：
解决办法：
mkdir /var/lib/accumulo
export ACCUMULO_HOME=/var/lib/accumulo （这个地方一定是配置在脚本当中，不是在机器的环境变量当中）

3.sqoop导数据到mysql（虽然数据导出成功但是有5个MYsql WARN）
20/05/13 20:48:04 WARN manager.MySQLManager: MySQL Connector upsert functionality is using INSERT ON
20/05/13 20:48:04 WARN manager.MySQLManager: DUPLICATE KEY UPDATE clause that relies on table’s unique key.
20/05/13 20:48:04 WARN manager.MySQLManager: Insert/update distinction is therefore independent on column
20/05/13 20:48:04 WARN manager.MySQLManager: names specified in --update-key parameter. Please see MySQL
20/05/13 20:48:04 WARN manager.MySQLManager: documentation for additional limitations.