大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统

本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。

 

1、fs最常用命令

hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录

hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹

hadoop fs -rm hdfs_path //删除HDFS上的文件

hadoop fs -rmr hdfs_path //删除HDFS上的文件夹

hadoop fs -put local_file hdfs_path //将本地文件copy到HDFS上

hadoop fs -get hdfs_file local_path //复制HDFS文件到本地

hadoop fs -cat hdfs_file //查看HDFS上某文件的内容

 

2、查看目录下文件(夹)大小

//单位Byte:

bin/hadoop fs -du / | sort -n

//单位MB:

bin/hadoop fs -du / | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n

//单位GB,大于1G:

bin/hadoop fs -du / | awk -F ' ' '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' | sort -n

 

常用基本命令操作:

官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

 

常用基本命令操作:

官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

1、查看版本

  • hdfs version

 

2、查看目录 hdfs dfs -ls

  • hadoop fs -get /user/hadoop/file localfile
  • hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile
  • hadoop fs -ls /

 

3、添加文件夹 hadoop fs -mkdir /test

  • hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
  • hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir

 

4、删除文件

  • hadoop fs -rmdir /user/hadoop/emptydir

大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统_第1张图片

大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统_第2张图片

大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统_第3张图片

 

5、修改文件 put

  • hadoop fs -put localfile /user/hadoop/hadoopfile
  • hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
  • hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile
  • hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

 

6、移动文件

  • hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
  • hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2
  • hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

 

7、复制文件

  • hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

 

8、文件写入

  • hadoop fs -truncate -w 127 hdfs://nn1.example.com/user/hadoop/file1
  • hadoop fs -truncate 55 /user/hadoop/file1 /user/hadoop/file2

 

9、查看

  • hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
  • hadoop fs -cat file:///file3 /user/hadoop/file4

大数据入门教程系列之HDFS分布式文件系统--shell命令操作HDFS分布式文件系统_第4张图片

 

你可能感兴趣的:(hadoop)