hadoop fs常用到的命令整理

一、hdfs基本操作

hadoop fs 与hdfs dfs等价

1.如何查看hdfs子命令的帮助信息,如ls

hdfs dfs -help rmdir

2.查看hdfs文件系统中已经存在的文件

hdfs dfs -ls /

hadoop fs -ls /

3.在hdfs文件系统中创建文件

hdfs dfs -touch /czz.txt

4.从本地路径上传文件到hdfs

hdfs dfs -put  /本地路径  /hdfs路径

hdfs dfs -put  /home/czz/czz.txt  /czz

5.从hdfs文件系统中下载文件到本地

hdfs dfs -get  /hdfs路径  /本地路径 

hdfs dfs -get  /czz  /home/czz/czz.txt

6.在hdfs文件系统中删除文件

hdfs dfs -rm /czz.txt

7.在hdfs文件系统中查看文件内容

hdfs dfs -cat /czz.txt

8.在hdfs文件系统中创建目录

hdfs dfs -mkdir /czz

9.在hdfs文件系统中修改文件名称(或者移动文件到目录)

hdfs dfs -mv /czz.txt /nl.txt

hdfs dfs -mv /czz.txt /nl

10.在hdfs文件系统中拷贝文件到目录

hdfs dfs -cp /czz.txt /nl

11.递归删除目录

hdfs dfs -rmr /czz

12.列出本地文件的内容(默认是hdfs文件系统)

hdfs dfs -ls file:///home/admin

13.追加文件内容到hdfs文件系统中的文件

hdfs dfs -appendToFile  czz2.txt  /czz/czz.txt

 

二、hdfs与dfsadmin结合操作

1.查看hdfs与dfsadmin的帮助信息

hdfs dfsadmin

2.查看当前的模式

hdfs dfsadmin -safemode -get

3.进入安全模式

hdfs dfsadmin -safemode -enter

4.离开安全模式

hdfs dfsadmin -safemode -leave

 

三、hdfs与getconf结合操作

1.获取NameNode的节点名称(可能多个)

hdfs getconf -namenodes

2.获取hdfs最小块信息

hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size

3.查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

 

四、hdfs与fsck结合操作

1.fsck指令显示hdfs块信息

hdfs fsck / -files -blocks

 

五、其他命令操作

1.检查压缩库本地安装情况

hadoop checknative

2.格式化名称节点(慎用!!! 一般只在初次搭建集群,使用一次)

hadoop namenode -format

注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

$ cat data/tmp/dfs/name/current/VERSION

  clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

$ cat data/tmp/dfs/data/current/

  clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

3.执行自定义jar包

hadoop  jar  XXXjar包  执行命令  输入路径  输出路径

hadoop jar XXXX.jar WordCount /world.txt /out

 

 

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

      用人品去感动别人，用改变去影响别人，用状态去燃烧别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据交流群：725967421     一起交流，一起进步！！

--------------------------------------------------------------------------------------------------------------------------------------------------------------------
---------------------