Hadoop文件操作命令和要注意的地方

hadoop 命令

hadoop fs -ls              展示所有的文件
hadoop fs -put             上传文件
hadoop fs -get             获取文件
hadoop fs -mkdir           创建文件夹
hadoop fs -rm              删除文件夹
hadoop fs -rmr             删除文件
hadoop fs -cat             查看文件
hadoop fs -text            查看文件(范围更广,可以查看压缩文件)
hadoop fs -test [e, d] xx 查看文件或目录是否存在
...

hdfs 命令

hdfs dfs -ls 
hdfs dfs -put
hdfs dfs -get
hdfs dfs -mkdir
hdfs dfs -rm
hdfs dfs -rmr
hdfs dfs -cat
hdfs dfs -text
...

上面hdfs 命令和hadoop命令的功能效果都是一样的, 只不过两种方式

要注意的坑

我们在使用 hdfs dfs -ls 时需要在后面加 / 即 hdfs dfs -ls / , /代表跟路径
我们在使用 hdfs dfs -put 时需要 提前创建那个文件夹,如下
把桌面上的一张图xxx.png上传到/input文件下

hdfs dfs -mkdir /input
hdfs dfs -put /Users/wjl/Desktop/xxx.png /input

我们在执行jar的时候可以不用自己主动去创建文件夹
用xxx.jar解析input文件夹下的test.txt输出到 output文件夹下时,这个output我们不能主动创建, 如果存在这个文件夹会出错, 因为它会主动帮我们创建

hadoop jar xxx.jar /input/test.txt /output

刚开始学习Hadoop 用的命令不多, 以后会继续完善该文章
下一篇文章 Hadoop实例程序wordcount的执行