hadoop常用命令总结
查看文件
hadoop fs -ls file:///root/
hadoop fs -ls /user/hadoop/file1
创建目录
hadoop fs -mkdir –p /user/hadoop/dir1
将单个src或多个srcs从本地文件系统复制到目标文件系统。
-p：保留访问和修改时间，所有权和权限。
-f：覆盖目的地（如果已经存在）
hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
将文件复制到本地文件系统
-ignorecrc：跳过对下载文件的CRC检查。
-crc：为下载的文件写CRC校验和。
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile localfile /hadoop/hadoopfile
显示文件内容到stdout stderr
hadoop fs -cat /hadoop/hadoopfile
将文件的最后一千字节内容显示到stdout。
hadoop fs -tail /hadoop/hadoopfile
更改文件组的关联。用户必须是文件的所有者，否则是超级用户。
hadoop fs -chgrp othergroup /hadoop/hadoopfile
改变文件的权限。使用-R将使改变在目录结构下递归进行。
hadoop fs -chmod 666 /hadoop/hadoopfile
改变文件的拥有者。
hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
从本地文件系统中拷贝文件到hdfs路径去
hadoop fs -copyFromLocal /root/1.txt /
从hdfs拷贝到本地
hadoop fs -copyToLocal /aaa/jdk.tar.gz
从hdfs的一个路径拷贝hdfs的另一个路径
hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
在hdfs目录中移动文件
hadoop fs -mv /aaa/jdk.tar.gz /
合并下载多个文件
hadoop fs -getmerge /aaa/log.* ./log.sum
删除指定的文件。只删除非空目录和文件。-r 递归删除。
hadoop fs -rm -r /aaa/bbb/
统计文件系统的可用空间信息
hadoop fs -df -h /
显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。
hadoop fs -du /user/hadoop/dir1
改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
-w 副本的个数
-R 递归
hadoop archive -archiveName zoo.har -p /foo/bar /outputdir
-archiveName 归档文件名称
-p 来源 对谁归档
path 将归档文件放在何处
限额
创建hdfs文件夹
hadoop fs -mkdir -p /user/root/lisi
给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件
hdfs dfsadmin -setQuota 2 lisi #如果/user/root文件可以相对路径
清除文件数量限制
hdfs dfsadmin -clrQuota /user/root/lisi
数量限额
hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
空间大小限额
hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
查看hdfs文件限额数量
hdfs dfs -count -q -h /user/root/lisi