Hadoop CDH4.5 hadoop集群命令介绍

CDH4中hadoop命令的介绍，可以通过hadoop -h来查看CDH4的hadoop命令支持哪些子命令

hadoop -h

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:

  fs                    运行一个常规的文件系统客户端
  version               打印当前hadoop版本
  jar <jar>             运行一个jar包
  checknative [-a|-h]     检查hadoop和本地压缩库的可用性
  distcp <srcurl> <desturl>    递归的拷贝文件或者目录
  archive -archiveName NAME -p <parent path> <src>* <dest>         创建一个hadoop档案文件，Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。
  classpath            打印hadoop的jar包和它需要的库的class path 
  daemonlog           设置或者获取每个守护进程的log级别
  CLASSNAME            运行名字为CLASSNAME的类

2   hadoop fs 

hadoop fs [generic options]

-cat [-ignoreCrc] <src> ...:    显示出匹配的文件的内容到标准输出
-chgrp [-R] GROUP PATH...:      等同于 -chown ... :GROUP   改变文件的属组，-R递归修改
-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...:      修改文件的权限，-R递归修改
-chown [-R] [OWNER][:[GROUP]] PATH...:      修改文件的属主和属组，-R递归修改
-copyFromLocal <localsrc> ... <dst>:    等价于-put
-copyToLocal [-ignoreCrc] [-crc] <src> ... <localdst>:      等价于-get
-count [-q] <path> ...:     计算文件个数以及空间占用情况，输出表格的列含义依次为：DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME 
                            如果加了-q，则输出表格含义如下：QUOTA REMAINING_QUATA SPACE_QUOTA REMAINING_SPACE_QUOTA  DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME
-cp <src> ... <dst>:     复制文件到目标位置，当复制多个文件时，目标必须是个目录
-df [-h] [<path> ...]:     显示系统空间的可用性，如果使用-h参数，则输出可读性更好
-du [-s] [-h] <path> ...:     列出匹配的文件系统的空间总量，-h参数使输出更为可读
-expunge:      清空回收站
-get [-ignoreCrc] [-crc] <src> ... <localdst>:     从DFS复制文件到本地，如果使复制多个文件，则目标地址为目录
-getmerge [-nl] <src> <localdst>:    从DFS复制多个文件到本地，不过在复制到本地的时候，会把多个文件进行排序合并成一个文件落到本地，-nl参数在每一行末尾加换行符
-ls [-d] [-h] [-R] [<path> ...]:     列出指定目录下的内容，等同于ls命令，如果不指定匹配模式，则默认显示/user/<current User>下的内容，输出目录格式如下：dirName (full path) <dir> 
                                     输出文件的格式如下： fileName(full path) <r n> size  其中n代表文件在DFS中复制的份数。支持-d、-h、-R等参数。
-mkdir [-p] <path> ...:     创建一个目录，支持-p参数。
-moveFromLocal <localsrc> ... <dst>:     等同于-put，只不过源文件在拷贝后会被删除。
-moveToLocal <src> <localdst>:     该功能目前尚未实现
-mv <src> ... <dst>:     将指定的文件移动到指定的位置，如果使多个文件，则目标必须是目录
-put <localsrc> ... <dst>:     从本地文件系统复制文件到DFS
-rm [-f] [-r|-R] [-skipTrash] <src> ...:     删除指定的文件，等同与rm命令。 支持-f、-r等参数
-rmdir [--ignore-fail-on-non-empty] <dir> ...:     删除一个目录 
-setrep [-R] [-w] <rep> <path/file> ...:     设置文件的备份复制的级别，-R参数设置是否递归子目录及文件
-stat [format] <path> ...:     打印出目录或者文件的状态格式，format接受如下参数：filesize in blocks (%b), group name of owner(%g),filename (%n), block size (%o), replication (%r), user name of owner(%u), modification date (%y, %Y)
-tail [-f] <file>:    显示文件的最后1KB内容，支持-f参数
-test -[ezd] <path>:     测试文件是否存在，存在返回0，如果使目录返回0，不是返回1 
-text [-ignoreCrc] <src> ...:      创建一个源文件，并且使这个文件处于text模式？
-touchz <path> ...:     创建一个长度为0的文件，如果文件存在返回非0

3  hadoop distcp 

hadoop  distcp [OPTIONS] <srcurl>* <desturl>
OPTIONS:  
  -p[rbugp]    -p不跟任何参数就等同于 -prbugp
                r: 复制的份数
                b: 块大小
                u: 用户
                g: 用户组
                p: 权限
	 -i                     忽略失败
        -log <logdir>          日志写到哪里
        -m <num_maps>          最大启动几个map处理复制任务
        -overwrite             覆盖目标地址已有的文件
        -update                如果源文件的大小和目标文件不一致，则进行覆盖
        -skipcrccheck          不使用CRC校验
        -f <urilist_uri>       使用一个URL列表，作为源地址列表
        -filelimit <n>         限制传输文件数的大小
        -sizelimit <n>         限制传输文件量的大小
        -delete                删除已经存在的目标文件，但是不会删除源文件
        -mapredSslConf <f>     Filename of SSL configuration for mapper task

4    hadoop archive

hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
    -archiveName  要创建的档案文件的名称
       src   文件系统的路径名
       dest  保存档案文件的目录
       -p   父目录？是干啥的？

5  hadoop daemonlog 

hadoop  [-getlevel <host:httpPort> <name>]     获取每个守护进程的日志级别
         -getlevel  <host:httpPort>  <name>   打印运行在 <host:httpPort>守护进程的日志级别，这个命令会链接http://<host:port>/logLevel?log=<name>
    [-setlevel <host:httpPort> <name> <level>]     设置每个守护进程的日志级别

6  hadoop checknative 

hadoop NativeLibraryChecker [-a|-h]
        -a  使用-a检查所有hadooplib库的可用性 
        -h  打印信息

hdfs -h

hdfs [--config confdir] COMMAND
COMMAND is one of:
  dfs                 等同于  hadoop fs命令
  namenode  -format     初始化DFS文件系统
  secondarynamenode    运行DFS secondary namenode
  namenode            运行DFS namenode
  journalnode          运行DFS journalnode
  zkfc                 run the ZK Failover Controller daemon
  datanode           运行DFS datanode    -rollback：将datanode回滚到前一个版本。
  dfsadmin             运行DFS admin client
  haadmin              运行DFS HA admin client
  fsck                 用来检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。
  balancer             运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。
  jmxget               get JMX exported values from NameNode or DataNode.
  oiv                  apply the offline fsimage viewer to an fsimage
  oev                  apply the offline edits viewer to an edits file
  fetchdt              从NameNode获取delegation token
  getconf              根据配置文件获取相关key的值
  groups              哪些用户都属于该组

1  hdfs fsck

hadoop fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]
 <path>    检查这个目录中的文件是否完整
 -move     破损的文件移至/lost+found目录
 -delete      删除破损的文件
 -files      打印正在check的文件名
 -openforwrite      打印正在打开写操作的文件
 -list-corruptfileblocks     打印出缺失的blocks，以及它们属于那个文件  
 -blocks      打印block报告(需要和-files参数一起使用)
 -locations      打印每个block的位置信息(需要和-files参数一起使用)
 -racks      打印位置信息的网络拓扑图(需要和-files参数一起使用)

2 hdfs dfsadmin 
   运行一个HDFS的dfsadmin客户端。

hadoop dfsadmin [-report] [-safemode <enter | leave | get | wait>]
-report:     报告文件系统的基本信息和统计信息，以及所连接的各个datanode的信息
-safemode <enter|leave|get|wait>:     安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode
         1.  不接受对名字空间的更改(只读)
         2.  不复制或删除块.
         Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。
-saveNamespace:      把当前的namespace空间保存到目录中fsimage文件，并重置edits log，在安全模式运行。
-rollEdits:    轮转edits log，需要管理员权限
-restoreFailedStorage:     设置/取消/检查标记，如果它们可用，尝试恢复失效的存储的副本
-refreshNodes:       更新允许连到Namenode的或那些需要退出或入编的Datanode的集合，重新读取hosts和exclude文件
-finalizeUpgrade:     终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程
-upgradeProgress <status|details|force>:     请求当前系统的升级状态，状态的细节，或者强制升级操作进行。
-metasave <filename>:       保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件，<filename>中都会一行内容与之对应：
         1. Namenode收到的Datanode的心跳信号
         2. 等待被复制的块
         3. 正在被复制的块
         4. 等待被删除的块
-setQuota <quota> <dirname>...<dirname>:     为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数，强制限定了目录树下的档案及目录个数。以下情况会报错：
         1. 不是一个正整数
         2. 用户不是管理员
         3. 这个目录不存在或是文件
-clrQuota <dirname>...<dirname>:     为每一个目录<dirname>清除配额设定。以下情况会报错：
         1. 这个目录不存在或是文件
         2. 用户不是管理员
-setSpaceQuota <quota> <dirname>...<dirname>:     为每个磁盘上的目录<dirname>设置配额<quota>，指定的使目录空间的大小，目录配额是一个长整型整数，这个整数要考虑副本所占用的空间，如果使1G，副本使3，则需要3G空间。支持50t、5m之类的写法。以下情况会报错：
         1. N不是整数
         2. 用户不是管理员
         3. 这个目录不存在或者是文件
-clrSpaceQuota <dirname>...<dirname>:     为每一个目录<dirname>清除配额设定。以下情况会报错：
         1. 这个目录不存在或是文件
         2.用户不是管理员
-refreshServiceAcl:     重新加载ACL认证文件。
-refreshUserToGroupsMappings:     重新刷新用户到组的映射信息
-refreshSuperUserGroupsConfiguration:     重新刷新超级代理组的映射信息 
-printTopology:     打印Print a tree of the racks and their
-refreshNamenodes:     参数是datanodehost:port，对于指定的datanode，可以reload config、stop service、starts serving。
-deleteBlockPool:     参数是datanodehost:port,，blockpool id。如果有force参数，blook pool会被强制删除，默认只删除空目录，如果datanode在运行，则操作会失败。
-setBalancerBandwidth <bandwidth>:    在DFS的各节点之间做balancing的时候限制它们之间传输的带宽
-fetchImage <local directory>:       从namenode下载最新的fsimage到一个指定的本地目录。

3  hdfs balancer 

hdfs balancer 
 [-policy <policy>]          均衡策略：datanode or blockpool
 [-threshold <threshold>] Percentage of disk capacity       磁盘容量的百分比。这会覆盖缺省的阀值。

4  hdfs secondarynamenode 

 -checkpoint <force>     如果EditLog的大小 >= fs.checkpoint.size，启动Secondary namenode的检查点过程。 如果使用了-force，将不考虑EditLog的大小。
 -format                   在启动时format本地存储空间
 -geteditsize          返回Namenode节点上的没有checkpoint事物的个数 

5 hdfs namenode 

hdfs NameNode [-backup] | [-checkpoint] | [-format [-clusterid cid ] [-force] [-nonInteractive] ] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint] | [-initializeSharedEdits] | [-bootstrapStandby] | [-recover [ -force ] ]
    -format：格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。
    -upgrade：分发新版本的hadoop后，namenode应以upgrade选项启动。
    -rollback：将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。 
    -finalize：finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。
    -importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。

6  hdfs getconf 

hadoop getconf 
 [-namenodes]     获取集群中的namenodes
 [-secondaryNameNodes]     获取集群中的secondary namenodes 
 [-backupNodes]     获取集群中的backup nodes 
 [-includeFile]     gets the include file path that defines the datanodes that can join the cluster.
 [-excludeFile]     gets the exclude file path that defines the datanodes that need to decommissioned.
 [-nnRpcAddresses]     获取namenode远程调用地址
 [-confKey [key]]     从配置文件获取特定key