Hadoop中HDFS文件系统下的Shell操作

执行start-all.sh启动Hadoop,启动完成后使用jps命令可以看到开启了5个Java进程,NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。


对HDFS文件系统进行Shell操作,无非就是查看,新建文件文件夹等习以为常的命令。

1.查看目录文件

hadoop fs -ls / 查看hdfs根目录下的文件


hadoop fs -lsr  / 进行递归查看文件



关于第2列代表该文件的副本数,文件夹没有副本

hadoop fs -mkdir /dir 创建文件夹



hadoop fs -put  Linux下源文件路径 hdfs中的路径: 上传文件到HDFS文件系统中



如果HDFS中已经存在该文件,那么直接上传会报错,文件不会被覆盖。如果第二个路径是个文件夹,那么会上传到文件夹中,如果不存在,那么会生成一个文件而非新建一个文件夹。

hadoop fs -get <hdfs 文件路径>  <linux路径> :下载文件到本地



hadoop fs -text <HDFS文件> 直接查看HDFS文件


hadoop  fs -rm <HDFS文件> 删除文件

hadoop  fs -rmr <HDFS文件夹> 删除文件

其他命令 使用 hadoop fs



帮助命令 hadoop fs -help 命令

Hadoop中HDFS文件系统下的Shell操作_第1张图片


其他的类似,如使用hadoop job 即可显示hadoop 中关于Job的一些命令

Hadoop中HDFS文件系统下的Shell操作_第2张图片

你可能感兴趣的:(Hadoop中HDFS文件系统下的Shell操作)