Hadoop

HDFS体系结构.JPG

HDFS体系结构2.JPG

创建目录
hadoop fs -mkdir
在HDFS中创建"/user"目录
hadoop fs -mkdir /user
在HDFS中创建"/user/hadoop"目录
hadoop fs -mkdir/user/hadoop
同时创建多个目录
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

列表文件
hadoop fs ls
列出 "/user"目录下所有文件
hadoop fs ls /user
列出 "/user/hadoop"目录下所有文件
hadoop fs ls /user/hadoop

查看文件
hadoop fs -cat URI [URI......]
查看HDFS文件"file1.txt"和”file2.txt"
hadoop fs -cat /input2/file1.txt /input2/file2.txt
查看本地系统文件"file3.txt"
hadoop fs -cat file:///home/hduser/file3.txt

转移文件
转移文件--put:从本地文件系统中复制单个或多个文件到HDFS
hadoop fs -put ...
将本地文件复制到HDFS目录"/input2"
hadoop fs -put /home/hduser/file/file1.txt /input2
将多个本地文件复制到HDFS目录 "input2"
hadoop fs -put
/home/hduser/file/file1.txt /home/hduser/file/file2.txt
/input

转移文件
转移文件--mv:将文件从源路径移动到目标路径
hadoop fs -mv URI [URI...]
将HDFS上的file1.txt，file2.txt移动到dir1中
hadoop fs -mv
/input 2/file1.txt /input2/file2.txt /user/hadoop/dir1

转移文件--cp:将文件从源路径复制到目标路径
hadoop fs -cp URI[URI...]
在HDFS中复制多个文件到 "/user/hadoop/dir1"
hadoop fs -cp
/input2/file1.txt input2/file2.txt /user/hadoop/dir1
在本地文件系统中复制多个文件到目录"/temp"
hadoop fs -cp file:///file1.txt file:///file2.txt file:///tmp

删除文件
hadoop fs -rm URI[URI...]
hadoop fs -rmr URI[URI...]
删除非空文件 "input2/file1.txt"
hadoop fs -rm /input2/file1.txt
递归删除 "user/hadoop/dir1"
hadoop fs -rmr /user/hadoop/dir1

检查
hadoop fs -test -[选项]URI
选项
-e:检查文件是否存在。如果存在则返回0
-z:检查文件是否0字节。如果是则返回0
-d:检查路径是否为目录，如果是则返回1，否则返回0
检查文件是否存在
hadoop fs -test -e/input2/file3.txt
echo $?

显示目录中所有文件的大小
hadoop fs -du URI[URI...]
清空回收站
hadoop fs -expunge