# 显示当前目录结构
hadoop fs -ls <path>
# 递归显示当前目录结构
hadoop fs -ls -R <path>
# 显示根目录下内容
hadoop fs -ls /
# 创建目录
hadoop fs -mkdir <path>
# 递归创建目录
hadoop fs -mkdir -p <path>
# 删除文件
hadoop fs -rm <path>
# 递归删除目录和文件
hadoop fs -rm -R <path>
# 二选一执行即可
hadoop fs -put [localsrc] [dst]
hadoop fs - copyFromLocal [localsrc] [dst]
# 二选一执行即可
hadoop fs -get [dst] [localsrc]
hadoop fs -copyToLocal [dst] [localsrc]
# 二选一执行即可
hadoop fs -text <path>
hadoop fs -cat <path>
hadoop fs -tail <path>
# 和Linux下一样,会持续监听文件内容变化 并显示文件的最后一千字节
hadoop fs -tail -f <path>
hadoop fs -cp [src] [dst]
hadoop fs -mv [src] [dst]
hadoop fs -du <path>
hadoop fs -getmerge
# 示例 将HDFS上的hbase-policy.xml和hbase-site.xml文件合并后下载到本地的/usr/test.xml
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
hadoop fs -df -h /
hadoop fs -setrep [-R] [-w] <numReplicas> <path>
# 示例 设置文件的副本数为3,并等待操作完成。
hadoop fs -setrep -w 3 /path/to/file
更改文件的复制因子。如果 path 是目录,则更改其下所有文件的复制因子
-w : 请求命令是否等待复制完成
# 示例
hadoop fs -setrep -w 3 /user/hadoop/dir1
# 权限控制和Linux上使用方式一致
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。
hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
# 举例
hadoop fs -chmod 755 /path/to/directory
# 修改文件的拥有者 用户必须是超级用户。
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
hadoop fs -test - [defsz] URI
可选选项:
# 示例
hadoop fs -test -e filename
运行MapReduce作业
hadoop jar /path/to/your.jar your.main.class /input/path /output/path
运行MapReduce作业,指定输入和输出路径。
查看作业状态
yarn application -status application_id
查看指定MapReduce作业的状态。
YARN命令
列出所有运行的作业
yarn application -list
列出所有运行中的YARN作业。
杀死作业
yarn application -kill application_id
杀死指定的YARN作业。
net user hadoop password /add
- hadoop 是你想要创建的用户名。
- password 是你为该用户设置的密码。
- /add 是用于添加用户的参数。
# Linux 中新建用户,名为 hadoop:
adduser hadoop
start-dfs.sh
start-yarn.sh
分别启动HDFS和YARN服务。
stop-dfs.sh
stop-yarn.sh
分别停止HDFS和YARN服务。
hdfs namenode -format
格式化HDFS文件系统。
其他命令
hadoop conf -list
列出Hadoop配置文件中的所有属性。
hadoop version
显示Hadoop的版本信息。
参考文档:
https://www.runoob.com/w3cnote/hdfs-setup.html