HDFS常用命令

一、HDFS常用命令

1. 创建

创建指定路径文件夹

hdfs dfs -mkdir /user/zhaojuanjuan/syuchen_files

2. 查看

查看指定目录下的文件

hdfs dfs -ls /path

查看指定文件夹总大小

 hdfs dfs -du -s -h /path

查看指定目录下每一个文件夹的大小

hdfs dfs -du -h /path

直接查看gz文件内容

hadoop fs -cat /xxxx/xxx.gz | gzip -d

查看gz文件内容前几行

hadoop fs -cat /xxxx/xxx.gz | gzip -d | head -10

3. 移动与删除

移动文件

hdfs dfs -mv 源文件路径 目标路径

删除hdfs文件夹

hdfs dfs -rm -r /path

直接删除 不走回收站

hdfs dfs -rm -r -f -skipTrash /path

4. 上传与下载

上传文件

hdfs dfs -put /本地路径 /路径

正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式

ls /OriginalFilePath | grep -E "2020-09.*" | xargs -i hdfs dfs -put /OriginalFilePath/{} /targetFilePath

下载文件到本地

hdfs dfs -get /hdfs路径 /本地路径

二、yarn常用命令

yarn命令文档：Apache YARN Commands

查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）

yarn application -list

根据应用id强行终止指定应用

yarn application -kill appid

查看所有处于running状态的节点

yarn node -list

查看所有节点

yarn node -list -all