HDFS常用命令

HDFS常用命令

• 在 hdfs 文件系统上创建一个 input 文件夹

    bin/hdfs dfs -mkdir -p /user/anna/input
  

• 将测试文件内容上传到文件系统上

    bin/hdfs dfs -put wc.input /user/anna/input
  

• 查看上传的文件是否正确

    bin/hdfs dfs -cat /user/anna/input/wc.input
  

• 运行 mapreduce 程序

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/anna/input/ /user/anna/output
  

• 查看输出结果

    命令行查看：
    bin/hdfs dfs -cat /user/anna/output/p*
  

• 将测试文件内容下载到本地

    hadoop fs -get /user/output/p* /opt/module/hadoop
  

• 删除输出结果

    hdfs dfs -rmr /user/anna/output
  

• 递归查看根目录下下所有文件和文件夹

    hadoop fs -lsr /
  

• 从本地剪切粘贴到hdfs

    hadoop fs -moveFromLocal test /user/anna/test
  

• 追加一个文件到已经存在的文件的末尾

    hadoop fs -appendToFile appendTest.txt /user/anna/test/test(将appendTest.txt追加到hdfs中的test文件下)
  

• 显示文件的末尾

    hadoop fs -tail /user/anna/test/test
  

• 修改文件所属权限

    -chgrp
    -chown
    -chmod
  
    hadoop fs -chown anna:anna /user/anna/test/test
  

• 从本地文件系统中拷贝文件到 hdfs 路径去

    -copyFromLocal：
  
    hadoop fs -copyFromLocal copy.txt /user/anna/test
  

• 从 hdfs 拷贝到本地

    -copyToLocal：
    
    hadoop fs -copyToLocal /user/anna/test/copy.txt /opt/module
  

• 从 hdfs 的一个路径拷贝到 hdfs 的另一个路径

    -cp
    
    hadoop fs -cp /user/anna/input/wc.input /user/anna/test
  

• 在 hdfs 目录中移动文件

    -mv：
  
    hadoop fs -mv /user/anna/test/wc.input /
  

• -get：等同于 copyToLocal，就是从 hdfs 下载文件到本地

    hadoop fs -get /user/anna/input/wc.input /opt/module
  

• -getmerge ：合并下载多个文件，比如 hdfs 的目录 /aaa/下有多个文件:log.1,log.2,log.3,...

    hadoop fs -getmerge /user/anna/input /opt/module/new.txt
  
    注意只能合并文件夹下的文件
  

• -put：等同于 copyFromLocal

    hadoop fs -put data/ /user/anna/test
  

• -rm：删除文件

• -rmdir：删除空目录

• -df ：统计文件系统的可用空间信息

    hadoop fs -df -h /
  
    Filesystem            Size   Used  Available  Use%
    hdfs://master:9000  43.9 G  204 K     28.7 G    0%
  

• -du 统计文件夹的大小信息

    hadoop fs -du /
  
    186  /user
    100  /wc.input
  
    hadoop fs -du -s /
    统计根目录下文件夹大小总数
  

• -setrep：设置 hdfs 中文件的副本数量

    hadoop fs -setrep 2 /user/anna/input/wc.input