大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统

本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。

 

1、fs最常用命令

hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录

hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹

hadoop fs -rm hdfs_path //删除HDFS上的文件

hadoop fs -rmr hdfs_path //删除HDFS上的文件夹

hadoop fs -put local_file hdfs_path //将本地文件copy到HDFS上

hadoop fs -get hdfs_file local_path //复制HDFS文件到本地

hadoop fs -cat hdfs_file //查看HDFS上某文件的内容

 

2、查看目录下文件（夹）大小

//单位Byte：

bin/hadoop fs -du / | sort -n

//单位MB：

bin/hadoop fs -du / | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n

//单位GB，大于1G：

bin/hadoop fs -du / | awk -F ' ' '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n

 

常用基本命令操作：

官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

 

常用基本命令操作：

官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

1、查看版本

• hdfs version

 

2、查看目录 hdfs dfs -ls

• hadoop fs -get /user/hadoop/file localfile
• hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

• hadoop fs -ls /

 

3、添加文件夹 hadoop fs -mkdir /test

• hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
• hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir

 

4、删除文件

• hadoop fs -rmdir /user/hadoop/emptydir

 

5、修改文件 put

• hadoop fs -put localfile /user/hadoop/hadoopfile
• hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
• hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile
• hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

 

6、移动文件

• hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
• hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2
• hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

 

7、复制文件

• hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

 

8、文件写入

• hadoop fs -truncate -w 127 hdfs://nn1.example.com/user/hadoop/file1
• hadoop fs -truncate 55 /user/hadoop/file1 /user/hadoop/file2

 

9、查看

• hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
• hadoop fs -cat file:///file3 /user/hadoop/file4