HDFS常用命令汇总
HDFS常用命令汇总
-
- 一、前言信息
- 二、帮助信息查看
-
- 1、查看帮助信息
- 2、帮助文档（附带命令的详细说明）
- 三、常用命令
-
- 1、创建目录
- 2、查看目录下的内容
- 3、上传文件
- 4、上传并删除源文件
- 5、查看文件内容
- 6、查看文件开头内容
- 7、查看文件末尾内容
- 8、下载文件
- 9、合并下载文件
- 10、拷贝文件
- 11、追加数据到文件中
- 12、查看磁盘空间
- 13、查看文件使用的空间
- 14、移动文件
- 15、修改文件副本个数
- 16、查看校验码信息
- 17、显示路径下的目录、文件和字节数
- 18、从本地拷贝文件
- 19、拷贝文件到本地
- 20、查找目录文件
- 21、删除文件
一、前言信息
官网命令说明查看
说明：
| 命令 | 适用范围 |
|---|---|
| hadoop fs | 使用范围最广，建议使用，可操作任何对象 |
| hadoop dfs | 只可操作HDFS文件系统(已弃用) |
| hdfs fs | 只可操作HDFS文件系统，包括与Local FS间的操作 |
| hdfs dfs | 只可操作HDFS文件系统，常用 |
二、帮助信息查看
1、查看帮助信息
hadoop fs
[]表示可选参数，<>表示必须参数
2、帮助文档（附带命令的详细说明）
hadoop fs –help
三、常用命令
1、创建目录
hadoop fs –mkdir [-p] <path>
2、查看目录下的内容
hadoop fs –ls [-h] [-R] [<path>]
-h 人性化显示文件大小
-R 递归查看指定目录及子目录
3、上传文件
hadoop fs –put [-f] [-p] <localsrc> <dst>
-f 覆盖目标文件(若文件已存在)
-p 保留访问和修改时间、所有权和权限
localsrc 本地文件系统
dst 目标文件系统
4、上传并删除源文件
hadoop fs –moveFromLocal <localsrc> <dst>
这个和put唯一不同的地方就在于该命令会上传完后会删除源文件
5、查看文件内容
读取文件全部内容显示在标准输出控制台(大文件慎用)
hadoop fs –cat <src>
6、查看文件开头内容
查看文件前1KB的内容
hadoop fs –head <src>
7、查看文件末尾内容
查看文件末尾1KB的内容
hadoop fs –tail [-f] <src>
-f 动态显示文件中追加的内容
8、下载文件
下载文件到本地指定目录
hadoop fs –get [-f] [-p] <src> <localdst>
-f 覆盖目标文件(目标文件存在)
-p 保留访问和修改时间、所有权和权限
9、合并下载文件
将HDFS上一个目录中所有的文件合并到一起输出到一个本地文件上
hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
-nl 每个文件末尾添加换行符
-skip-empty-file 跳过空白文件
10、拷贝文件
将原始路径的文件拷贝到新的路径下
hadoop fs –cp [-f] <src> <dst>
-f 覆盖目标文件(文件存在的情况下)
11、追加数据到文件中
将本地文件的内容追加到hdfs指定的文件中
hadoop fs –appendToFile <localsrc> <dst>
localsrc 本地文件，如果为”-”，则输入从标准输入中读取
dst 目标文件不存在则创建
从标准输入读取，ctrl+c结束输入
12、查看磁盘空间
hadoop fs –df [-h] [<path>]
13、查看文件使用的空间
hadoop fs –du [-s] [-h] <path>
-s 显示指定路径文件长度的汇总摘要而不是单个文件的摘要
-h 人性化显示文件大小
14、移动文件
移动文件到指定目录下(也可重命名文件)
hadoop fs –mv <src> <dst>
15、修改文件副本个数
修改指定文件的副本个数
hadoop fs –setrep [-R] [-w] <rep> <path>
-R 表示递归修改文件夹及其子目录所有
-w 客户端是否等待副本修改完毕
16、查看校验码信息
hadoop fs –checksum <path>
17、显示路径下的目录、文件和字节数
hadoop fs -count [-q] [-h] [-v] <paths>
-q 控制显示的列
-v 显示标题行
18、从本地拷贝文件
hadoop fs -copyFromLocal <localsrc> <dst>
注：该命令类似于put，不同的是拷贝的源地址必须是本地文件系统
19、拷贝文件到本地
注：该命令类似于get，不同的是拷贝目标地址必须为本地文件系统
hadoop fs –copyToLocal <path> <localdst>
20、查找目录文件
hadoop fs –find <path> <expression>
expression说明：
-name pattern 查找的文件名
-iname pattern 忽略大小写查找文件名
-print 打印(默认值)
-print0 打印在一行
21、删除文件
删除指定参数的文件，如果启用了垃圾箱，文件系统会将删除的文件移动到垃圾箱目录，默认情况下禁用垃圾箱功能，用户可以通过为参数fs.trash.interval（在core-site.xml中）设置大于零的值来启用垃圾箱。
hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
-f 如果文件不存在，-f选项将不会显示诊断消息或修改退出状态以反映错误
-R 选项递归地删除目录及其下的任何内容
-skipTrash 选项将绕过垃圾箱（如果启用），并立即删除指定的文件
相关更多命令以及更详细的用法可以通过官网学习。