执行start-all.sh启动Hadoop,启动完成后使用jps命令可以看到开启了5个Java进程,NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。
对HDFS文件系统进行Shell操作,无非就是查看,新建文件文件夹等习以为常的命令。
1.查看目录文件
hadoop fs -ls / 查看hdfs根目录下的文件
hadoop fs -lsr / 进行递归查看文件
关于第2列代表该文件的副本数,文件夹没有副本
hadoop fs -mkdir /dir 创建文件夹
hadoop fs -put Linux下源文件路径 hdfs中的路径: 上传文件到HDFS文件系统中
如果HDFS中已经存在该文件,那么直接上传会报错,文件不会被覆盖。如果第二个路径是个文件夹,那么会上传到文件夹中,如果不存在,那么会生成一个文件而非新建一个文件夹。
hadoop fs -get <hdfs 文件路径> <linux路径> :下载文件到本地
hadoop fs -text <HDFS文件> 直接查看HDFS文件
hadoop fs -rm <HDFS文件> 删除文件
hadoop fs -rmr <HDFS文件夹> 删除文件夹
其他命令 使用 hadoop fs
帮助命令 hadoop fs -help 命令
其他的类似,如使用hadoop job 即可显示hadoop 中关于Job的一些命令