CDH--HDFS和Yarn存储不足

备注:
最近公司CDH集群中的某个DataNode存储一直报警,分析如下:
1)一个集群有多个DataNode
2)一个DataNode的数据会存储在多个路径。eg: /data1,/data2,/data3等等
3)/data3 路径下面除了【/data3/dfs/dn】和 【/data3/yarn/nm】路径还会有其余文件,导致路径文件过大,同时CDH的 balancer 的平衡机制无法平衡
4)解决方法:清除路径多余文件,或者在CDH中的DataNode移除对应路径
5)无论DataNode还是yarn,都会有一个【默认组】还有一个【独立组】。如果没有对单独机器指定路径,那相同角色路径配置一样。如果修改单独服务器路径需要重启角色。
截图如下:

CDH--HDFS和Yarn存储不足_第1张图片

CDH--HDFS和Yarn存储不足_第2张图片

你可能感兴趣的:(【大数据】CDH管理及优化)