hdfs命令学习

本文旨在增加记忆

URI格式是scheme://authority/path

  1. cat
    将指定文件内容输出到标准输出(stdout)
    使用方式: hadoop fs -cat URI [URI ...]
    例子:
    输出hsfs文件系统上部分文件内容:
    hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
    输出本地文件的内容
    hadoop fs -cat file:///file1
  1. chgrp
    修改文件所属的组,使用-R将递归改变目录结构下的文件属组,命令使用者必须是文件所有者或者超级用户
    使用方式:
    hadoop fs -chgrp [-R] GROUP URI
    hadoop fs -chgrp newgroup hdfs://host:port/file
  1. chmod
    修改文件权限,使用 -R将递归改变目录结构下的文件权限,命令使用这必须是文件所有者或者超级用户
    使用方式:
    hadoop fs -chmod [-R] URI [URI …]
    hadoop fs -chmod -R 750 hdfs://host:port/file
  1. chown
    改变文件的拥有者,使用-R将递归改变目录结构下文件的拥有者,命令使用者必须是文件所有者或者是超级用户
    使用方式:
    hadoop fs -chown [-R] [OWNER] [:GROUP] URI [URI ...]
    hadoop fs -chown -R newowner:newgroup hdfs://host:port/dir
    hadoop fs -chown newowner:newgroup hdfs://host/port/file
  1. copyFromLocal
    复制本地文件到目的路径,除了限定源路径是本地文件外,和put命令相似
    使用方式:
    hadoop fs -copyFromLocal URI
  1. copyToLocal
    复制文件到本地指定路径,除限定目标路径是本地文件外,和get类似
    使用方式:
    hadoop fs -copyToLocal
  1. cp
    从源路径复制文件到目标路径,(可以允许有多个源路径,但是此时目标路径必须是目录)
    使用方式:
    hadoop fs -cp /srcfile /dstfile
    hadoop fs -cp /srcfile1 /srcfile2 /dstdir
  1. du
    显示目录中所有文件大小,或者当只指定一个文件时显示该文件大小
    使用方式:
    hadoop fs -du /dir
    hadoop fs -du /file
  1. expunge
    清空回收站
    使用方式:
    hadoop fs -expunge
  1. get
    复制文件到本地
    使用方式:
    hadoop fs -get /hadoop/file localfile
    hadoop fs -get hdfs://host:port/file localfile
  1. put
    从本地文件系统复制一个或多个源路径文件到目的路径,也支持从标准输入中读取输入写入到目的文件
    使用方式:
    hadoop fs -put localfile /dst/file
    hadoop fs -put localfile1 localfile2 /dst/dir
    hadoop fs -put localfile hdfs://host/port/dst/file
    从标准输入中读取输入:
    hadoop fs -put - hdfs://host/port/dst/file
  1. ls
    显示文件或者目录信息
    使用方式:
    hadoop fs -get /hadoop/file
    hadoop fs -get /hadoop/dir
  1. lsr
    ls的递归版本,类似于unix中的ls -R
  1. mkdir
    创建目录
    使用方式:
    hadoop fs -mkdir /hadoop/dir1 /hadoop/dir2
  1. mv
    将文件从源路径移动到目的路径
    使用方式:
    hadoop fs -mv /scr/file /dst/file
  2. rm
    删除指定目录和文件,只能删除非空目录和文件
    使用方式:
    hadoop fs -rm /file
  3. rmr
    rm的递归版本
    使用方式:
    hadoop fs -rmr /dir
  1. setrep
    改变一个文件的副文本系数,-R选项用于递归改变一个目录下所有文件副文本系数
    使用方式:
    hadoop fs -setrep -w 3 -R /dir
  2. stat
    返回指定路径的统计信息
    使用方式:
    hadoop fs -stat path
  1. tail
    将尾部文件1k内容输出到标准输出,和unix中的类似
    使用方式:
    hadoop fs -tail path
  2. test
    用于检查文件或者目录
    使用方式:
    检查文件是否存在,存在返回0
    hadoop fs -test -e file
    检查文件是否为空,空返回0
    hadoop fs -test -z file
    检查路径是否为目录,是目录返回1
    hadoop fs -test -d pathname
  3. text
    将源文件输出为文本格式
    使用方式:
    hadoop fs -text
  4. touchz
    创建一个0字节空文件
    使用方式:
    hadoop fs -touchz filename

参考文章:http://hadoop.apache.org/docs...

你可能感兴趣的:(程序员)