每天一点hadoop 第八章 HDFS （四）

HDFS Shell的管理命令

进入目录：/usr/hadoop/hadoop/bin执行命令：hdfs,查看hdfs的命令
现在介绍HDFS的管理命令dfsadmin
使用命令hdfs dfsadmin 查看命令
常用的命令有： -safemeode 对hdfs的安全模式进行设置
dfsadmin -refresNodes 移除旧的数据节点
其他操作都可以参照使用方法使用。

HDFS Shell 的文件管理工具fsck

检查hdfsz中文件的健康状况
查找缺失的块以及少或过多副本的块
查看一个文件的所有数据块位置
删除损坏的数据块
查看所有命令使用hdfs fsck

HDFS Shell命令 –数据均衡器balancer

数据块重分布
sbin/start-balancer.sh-threshold
percentage of disk capacity
HDFS达到平衡状态的磁盘使用率偏差值
值越低各节点越平衡，但消耗时间也更长
#加入新的datanode移除旧的datanode#
加入新的datanode
1.将新的datanode上的安装包拷到新的datanode
2.启动新的datanode:
sbin/hadoop-deamon.sh start datanode
移除旧的datanode
1.将datanode加入黑名单，并更新黑名单。在namenode上，将datanode的host或者ip加入配置选项dfs.hosts.exclude指定的文件中
2.移除datanode bin/hadoop dfsadmin -refereshNodes

参考：小象学院hadoop教程 董西成
http://dongxicheng.org/