HDFS常用的shell操作

HDFS shell操作

使用hdfs前先启动start-dfs.sh
hdfs系统的文件操作入口hadoop fs [options]，也可以使用hdfs dfs [options]，这两者的区别是：前者适用范围更广，能够操作任何的文件系统；后者是专门对hdfs文件系统的操作。
可以使用hadoop fs 查看命令帮助

---

hadoop fs -ls

显示路径下文件信息

hadoop fs -ls -R
hadoop fs -ls 的递归版本，查看当前目录及其子目录所有信息

hadoop fs -du

查看文件大小或者目录下包含的所有文件的大小

hadoop fs -du -s
查看目录下所有文件的大小之之和

hadoop fs -count

显示目录下包含的文件数量

hadoop fs -mv

移动文件：第一个参数表示被移动文件位置，第二个参数表示移动的目标位置

hadoop fs -cp

cp 命令在 HDFS 文件系统中用于文件的复制
复制文件和目录：将文件从源路径复制到目标路径

hadoop fs -rm

删除文件
递归版本：hadoop fs -rm -r

hadoop fs -put

put 命令用于将本地文件上传(复制)到 HDFS 系统中
hadoop fs -copyFromLocal与其功能一样

hadoop fs -moveFromLocal

将文件或目录从本地文件系统移动到hdfs

hadoop fs -getmerge

将源目录下的所有文件合成一个文件后输出到本地文件系统
示例：hadoop fs -getmerge /sanguo /home/sanguo/test.txt将/sanguo下的所有文件合并后输出到本地文件系统

hadoop fs -cat

查看文件, hadoop fs -text与其功能一样

hadoop fs -mkdir

创建一个目录

hadoop fs -touchz

在hdfs中创建零字节的空白文件

hadoop fs -stat

以指定格式返回指定文件的相关信息。当不指定format时返回文件的创建日期

hadoop fs -tail

显示文件最后1KB内容到stdout，一般用于查看日志

hadoop fs -chmod

修改文件权限，使用-R递归更改权限，使用者必须是文件的所有者或者是root用户

hadoop fs -chown

更改文件的有所有者，-R递归更改，使用者必须是root用户

hadoop fs -chgrp

更改文件所属的组，-R递归更改，使用者必须是文件所有者或root用户

hadoop fs -setrep

改变文件的副本系数，-R递归

hadoop fs -expunge

清空回收站。注意：清空后数据不可恢复