Hadoop命令汇总

1. 用户命令

hadoop集群用户的常用命令。

• archive
  创建一个hadoop档案文件。参考 Hadoop Archives.
  用法：hadoop archive -archiveName NAME *

• distcp
  递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp

• fs
  用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

运行一个常规的文件系统客户端。

• fsck
  运行HDFS文件系统检查工具。
  用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

命令选项	描述
	检查的起始目录。
-move	移动受损文件到/lost+found
-delete	删除受损文件。
-openforwrite	打印出写打开的文件。
-files	打印出正被检查的文件。
-blocks	打印出块信息报告。
-locations	打印出每个块的位置信息。
-racks	打印出data-node的网络拓扑结构。

• jar
  运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar [mainClass] args…

• job
  用于和Map Reduce作业交互和命令。

用法：hadoop job [GENERIC_OPTIONS] [-submit ] | [-status ] | [-counter ] | [-kill ] | [-events <#-of-events>] | [-history [all] ] | [-list [all]] | [-kill-task ] | [-fail-task ]

• pipes
  运行pipes作业。

用法：hadoop pipes [-conf ] [-jobconf , , …] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]

2. 管理命令

hadoop集群管理员常用的命令。

• balancer
  运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。

用法：hadoop balancer [-threshold ]

• daemonlog
  获取或设置每个守护进程的日志级别。

• datanode
  运行一个HDFS的datanode。

用法：hadoop datanode [-rollback]

• dfsadmin
  运行一个HDFS的dfsadmin客户端。

• jobtracker
  运行MapReduce job Tracker节点。

用法：hadoop jobtracker

• namenode
  运行namenode。

• secondarynamenode
  运行HDFS的secondary namenode。参考Secondary Namenode了解更多。

用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

• tasktracker
  运行MapReduce的task Tracker节点。

用法：hadoop tasktracker

---

参考：

1. Hadoop 手册