Shell操作HDFS的文件系统命令详解

Shell操作HDFS的文件系统命令详解

前言：

如lunix系统一样，对于HDFS的操作，也有一系列的命令，并且大多和lunix系统的命令差不多，本文对常用的命令进行介绍。

一、HDFS有以下Shell命令

[root@hadoop2 ~]# hdfs dfs
Usage: hadoop fs [generic options]
	[-appendToFile  ... ]
	[-cat [-ignoreCrc]  ...]
	[-checksum  ...]
	[-chgrp [-R] GROUP PATH...]
	[-chmod [-R]  PATH...]
	[-chown [-R] [OWNER][:[GROUP]] PATH...]
	[-copyFromLocal [-f] [-p] [-l] [-d]  ... ]
	[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc]  ... ]
	[-count [-q] [-h] [-v] [-t []] [-u] [-x]  ...]
	[-cp [-f] [-p | -p[topax]] [-d]  ... ]
	[-createSnapshot  []]
	[-deleteSnapshot  ]
	[-df [-h] [ ...]]
	[-du [-s] [-h] [-x]  ...]
	[-expunge]
	[-find  ...  ...]
	[-get [-f] [-p] [-ignoreCrc] [-crc]  ... ]
	[-getfacl [-R] ]
	[-getfattr [-R] {-n name | -d} [-e en] ]
	[-getmerge [-nl] [-skip-empty-file]  ]
	[-help [cmd ...]]
	[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [ ...]]
	[-mkdir [-p]  ...]
	[-moveFromLocal  ... ]
	[-moveToLocal  ]
	[-mv  ... ]
	[-put [-f] [-p] [-l] [-d]  ... ]
	[-renameSnapshot   ]
	[-rm [-f] [-r|-R] [-skipTrash] [-safely]  ...]
	[-rmdir [--ignore-fail-on-non-empty]  ...]
	[-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
	[-setfattr {-n name [-v value] | -x name} ]
	[-setrep [-R] [-w]   ...]
	[-stat [format]  ...]
	[-tail [-f] ]
	[-test -[defsz] ]
	[-text [-ignoreCrc]  ...]
	[-touchz  ...]
	[-truncate [-w]   ...]
	[-usage [cmd ...]]

Generic options supported are:
-conf         specify an application configuration file
-D                define a value for a given property
-fs  specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
-jt   specify a ResourceManager
-files                 specify a comma-separated list of files to be copied to the map reduce cluster
-libjars                specify a comma-separated list of jar files to be included in the classpath
-archives           specify a comma-separated list of archives to be unarchived on the compute machines

The general command line syntax is:
command [genericOptions] [commandOptions]

二、重点挑一些常用的命令进行介绍

如-cat ；-ls；-rm这些命令应该都知道

1、-appendToFile将一个文件的内容追加到hdfs中的一个文件中
hdfs dfs -appendToFile test.txt /test.txt

2、-checksum 获取文件的校验值（由MD5生成的字符串），用于检验文件的完整性
hdfs dfs -checksum /test.txt

3、-chgrp 修改文件的【组】

4、chmod 修改文件权限
hdfs dfs -chmod g+w /test.txt

目录文件权限的查看和修改博文：
https://blog.51cto.com/zhaoyuqiang/1214718

5、-chown修改文件的【用户】
hdfs dfs -chown sun /test.txt

6、-copyFromLocal将本地文件拷贝到hdfs上
hdfs dfs -copyFromLocal test.txt /bb.log

7、-copyToLocal从hdfs上拷贝文件到本地lunix系统
hdfs dfs -copyToLocal /test.txt /root/aa.xml

8、-count对目录下的文件个数进行统计
hdfs dfs -count /

9、-cp 在hdfs上相互拷贝文件
hdfs dfs -cp /test.txt /cc.xml

10、-du 显示文件所占的磁盘大小
hdfs dfs -du -h /

11、-find查看目录下文件（-name根据文件名进行查找）
hdfs dfs -find / -name "test.txt"

12、-get从hdfs上下载文件
hdfs dfs -get /cc.xml /root/mm.log

13、-mkdir创建hdfs目录（-p代表创建多级目录）
hdfs dfs -mkdir -p /aa/bb

14、-mv在hdfs上移动目录
hdfs dfs -mv /test.txt /aa/bb

15、-rm删除hdfs上文件, -rm –r 递归删除多级目录，
-rm –r –f 强制递归删除多级目录
hdfs dfs -rm /cc.xml
hdfs dfs -rm -r /aa/bb
hdfs dfs -rm -r -f /aa/bb