HDFS常用操作

查看hdfs命令

[root@bigdata111 mod]# hadoop fs
Usage: hadoop fs [generic options]

上传文件

hdfs dfs -put test /

显示目录信息

hdfs dfs -ls / 等同于 hadoop fs -ls
hdfs dfs -lsr / 递归查看

创建文件

hdfs dfs -mkdir -p /plus

移动

hdfs dfs -moveFromLocal test /demo

追加

hdfs dfs -appendToFile demo /test

显示文件内容

hdfs dfs -cat /test

监控

hdfs dfs -tail -f /test

修改权限

hdfs dfs -chmod -R 777 /plus

复制/plus/test到plus1

hdfs dfs -cp /plus/test /plus1

删除

hdfs dfs -rm /plus1/test

移动test到plus1

hdfs dfs -mv /test /plus1

下载

hdfs dfs -get /plus /opt/mod

合并

hdfs dfs -getmerge /plus/test /plus1/test /opt/mod/merge

统计一个指定目录下的文件节点数量

hdfs dfs -count /

设置 hdfs 中文件的副本数量：3 是副本数，可改

hadoop fs -setrep 3 / hdfs 路径

oiv 查看 fsimage 文件

/hadoop-2.8.4/data/dfs/name/current
hdfs oiv -p XML -i fsimage_0000000000000000215 -o /opt/mod/fsimage.xml

oev 查看 edits 文件

hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o /opt/mod/edits.xml

启动datanode

hadoop-daemon.sh start datanode

scp实现跨节点的文件复制

scp -r edits.xml root@bigdata112:/opt/mod ------------>推push
scp -r root@bigdata111:/opt/mod/fsimage.xml ./ ------------>拉pull

归档

hadoop archive -archiveName foo.har -p /plus3 -r 3 a b c /

查看归档

hadoop fs -lsr /foo.har

查看归档的文件

hadoop fs -lsr har:///foo.har

解归档文件

hadoop fs -cp har:///foo.har/* /plus4
hadoop distcp har:/foo.har /plus5

恢复快照

hadoop fs -ls /plus3/.snapshot/001
hadoop fs -cp /plus3/.snapshot/001/role_list /plus3