Cloudeep

Hadoop HDFS的维护

HDFS 维护手册

(0.19.1)

By云深作者：Terry 2009年3月

转载请注明出处

1 HDFS概述

HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Namenode以获取文件的元数据或修饰属性，而真正的文件I/O操作是直接和Datanode进行交互的。

本文档从介绍如何安装和搭建HDFS集群入手，接着常用的文件系统命令，以及维护过程中涉及到的控制命令。

2 HDFS集群部署

2.1 安装

1) 用户从hadoop官方网站下载所需版本的安装文件，下载地址为：http://hadoop.apache.org/core/releases.html#Download；本文档选取的版本为hadoop-0.19.1；

2) 将下载的压缩文件解压，目录为./hadoop-0.19.1，按照附录《hdfs 测试组网方案》中系统参数配置部分，修改./hadoop-0.19.1/conf中的文件；

3) 检查所有服务器上是否安装了J2sdk，要求版本为1.5及以上；并建立安装目录到/usr/local/j2sdk的软链接；

4) 将hadoop目录上传到所有的服务器，放置在${HADOOP_HOME}目录下；

5) 挂载namenode和secondary namenode的fsimage，editslogs备份目录；

2.2 启动

1) 进入namenode的${HADOOP_HOME}；

2) 格式化namenode文件系统，执行命令：bin/hadoop namenode –format；

3) 启动hdfs，执行命令：bin/start-dfs.sh。该脚本首先启动namenode，然后读取./conf/slaves中的datanode列表，逐个启动；最后读取./conf/masters中secondary namenode地址，启动secondary namenode。

启动datanode和secondary namenode时，脚本通过ssh从当前机器登录到其他节点的，涉及到身份验证，需要输入相应的密码信息，比较繁琐。可参考ssh中免密码登录解决方法。

3 FS Shell使用指南

调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

3.1 cat

使用方法：hadoop fs -cat URI [URI …]

将路径指定文件的内容输出到stdout。

示例：

n hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

n hadoop fs -cat file:///file3 /user/hadoop/file4

返回值：
成功返回0，失败返回-1。

3.2 chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide.改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。

3.3 chmod

使用方法：hadoop fs -chmod [-R] | OCTALMODE> URI [URI …]

改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南。

3.4 chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见HDFS权限用户指南。

3.5 copyFromLocal

使用方法：hadoop fs -copyFromLocal URI

除了限定源路径是一个本地文件外，和put命令相似。

3.6 copyToLocal

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

除了限定目标路径是一个本地文件外，和get命令类似。

3.7 cp

使用方法：hadoop fs -cp URI [URI …]

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

示例：

n hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

n hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：

成功返回0，失败返回-1。

3.8 du

使用方法：hadoop fs -du URI [URI …]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。示例：

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

3.9 dus

使用方法：hadoop fs -dus

显示文件的大小。

3.10 expunge

使用方法：hadoop fs -expunge

清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。

3.11 get

使用方法：hadoop fs -get [-ignorecrc] [-crc]

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

示例：

n hadoop fs -get /user/hadoop/file localfile

n hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值：

成功返回0，失败返回-1。

3.12 getmerge

使用方法：hadoop fs -getmerge [addnl]

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

3.13 ls

使用方法：hadoop fs -ls

如果是文件，则按照如下格式返回文件信息：

文件名 <副本数> 文件大小修改日期修改时间权限用户ID 组ID

如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：

目录名

修改日期修改时间权限用户ID 组ID

示例：

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

返回值：

成功返回0，失败返回-1。

3.14 lsr

使用方法：hadoop fs -lsr
ls命令的递归版本。类似于Unix中的ls -R。

3.15 mkdir

使用方法：hadoop fs -mkdir

接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

示例：

n hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

n hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

返回值：

成功返回0，失败返回-1。

3.16 movefromLocal

使用方法：dfs -moveFromLocal

输出一个”not implemented“信息。

3.17 mv

使用方法：hadoop fs -mv URI [URI …]

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。不支持文件夹重命令。

示例：

n hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

n hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

返回值：

成功返回0，失败返回-1。

3.18 put

使用方法：hadoop fs -put ...

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

n hadoop fs -put localfile /user/hadoop/hadoopfile

n hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

n hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

n hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

从标准输入中读取输入。

返回值：

成功返回0，失败返回-1。

3.19 rm

使用方法：hadoop fs -rm URI [URI …]

删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。

示例：

n hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

返回值：

成功返回0，失败返回-1。

3.20 rmr

使用方法：hadoop fs -rmr URI [URI …]

delete的递归版本。

示例：

n hadoop fs -rmr /user/hadoop/dir

n hadoop fs -rmr hdfs://host:port/user/hadoop/dir

返回值：

成功返回0，失败返回-1。

3.21 setrep

使用方法：hadoop fs -setrep [-R]

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：

n hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

3.22 stat

使用方法：hadoop fs -stat URI [URI …]

返回指定路径的统计信息。

示例：

n hadoop fs -stat path

返回值：

成功返回0，失败返回-1。

3.23 tail

使用方法：hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

示例：

n hadoop fs -tail pathname

返回值：
成功返回0，失败返回-1。

3.24 test

使用方法：hadoop fs -test -[ezd] URI

选项：
-e 检查文件是否存在。如果存在则返回0。

-z 检查文件是否是0字节。如果是则返回0。

-d 如果路径是个目录，则返回1，否则返回0。

示例：

n hadoop fs -test -e filename

3.25 text

使用方法：hadoop fs -text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

3.26 touchz

使用方法：hadoop fs -touchz URI [URI …]

创建一个0字节的空文件。

示例：

n hadoop -touchz pathname

返回值：
成功返回0，失败返回-1。

4 命令手册

4.1 概述

所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。

用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop有一个选项解析框架用于解析一般的选项和运行类。

命令选项	描述
--config confdir	覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS	多个命令都支持的通用选项。
COMMAND 命令选项S	各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。

4.1.1 常规选项

下面的选项被 dfsadmin, fs, fsck和 job支持。应用程序要实现 Tool来支持常规选项。

GENERIC_OPTION	描述
-conf	指定应用程序的配置文件。
-D	为指定property指定值value。
-fs	指定namenode。
-jt	指定job tracker。只适用于job。
-files <逗号分隔的文件列表>	指定要拷贝到map reduce集群的文件的逗号分隔的列表。只适用于job。
-libjars <逗号分隔的jar列表>	指定要包含到classpath中的jar文件的逗号分隔的列表。只适用于job。
-archives <逗号分隔的archive列表>	指定要被解压到计算节点上的档案文件的逗号分割的列表。只适用于job。

4.2 用户命令

hadoop集群用户的常用命令。

4.2.1 archive

创建一个hadoop档案文件。参考 Hadoop Archives.

用法：hadoop archive -archiveName NAME *

命令选项	描述
-archiveName NAME	要创建的档案的名字。
src	文件系统的路径名，和通常含正则表达的一样。
dest	保存档案文件的目标目录。

4.2.2 distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp

命令选项	描述
srcurl	源Url
desturl	目标Url

4.2.3 fs

用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

运行一个常规的文件系统客户端。

各种命令选项可以参考HDFS Shell指南。

4.2.4 fsck

运行HDFS文件系统检查工具。参考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

命令选项	描述
	检查的起始目录。
-move	移动受损文件到/lost+found
-delete	删除受损文件。
-openforwrite	打印出写打开的文件。
-files	打印出正被检查的文件。
-blocks	打印出块信息报告。
-locations	打印出每个块的位置信息。
-racks	打印出data-node的网络拓扑结构。

4.2.5 jar

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。

用法：hadoop jar [mainClass] args...

streaming作业是通过这个命令执行的。参考Streaming examples中的例子。

Word count例子也是通过jar命令运行的。参考Wordcount example。

4.2.6 job

用于和Map Reduce作业交互和命令。

命令选项	描述
-submit	提交作业
-status	打印map和reduce完成百分比和所有计数器。
-counter	打印计数器的值。
-kill	杀死指定作业。
-events <#-of-events>	打印给定范围内jobtracker接收到的事件细节。
-history [all]	-history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。
-list [all]	-list all显示所有作业。-list只显示将要完成的作业。
-kill-task	杀死任务。被杀死的任务不会不利于失败尝试。
-fail-task	使任务失败。被失败的任务会对失败尝试不利。

4.2.7 pipes

运行pipes作业。

用法：hadoop pipes [-conf ] [-jobconf , , ...] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]

命令选项	描述
-conf	作业的配置
-jobconf , , ...	增加/覆盖作业的配置项
-input	输入目录
-output	输出目录
-jar	Jar文件名
-inputformat	InputFormat类
-map	Java Map类
-partitioner	Java Partitioner
-reduce	Java Reduce类
-writer	Java RecordWriter
-program	可执行程序的URI
-reduces	reduce个数

4.2.8 version

打印版本信息。

用法：hadoop version

4.2.9 CLASSNAME

hadoop脚本可用于调调用任何类。

用法：hadoop CLASSNAME

运行名字为CLASSNAME的类。

4.3 管理命令

hadoop集群管理员常用的命令。

4.3.1 balancer

运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考Rebalancer了解更多。

用法：hadoop balancer [-threshold ]

命令选项	描述
-threshold	磁盘容量的百分比。这会覆盖缺省的阀值。

4.3.2 daemonlog

获取或设置每个守护进程的日志级别。

用法：hadoop daemonlog -getlevel

用法：hadoop daemonlog -setlevel

命令选项	描述
-getlevel	打印运行在的守护进程的日志级别。这个命令内部会连接http:///logLevel?log=
-setlevel	设置运行在的守护进程的日志级别。这个命令内部会连接http:///logLevel?log=

4.3.3 datanode

运行一个HDFS的datanode。

用法：hadoop datanode [-rollback]

命令选项	描述
-rollback	将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。

4.3.4 dfsadmin

运行一个HDFS的dfsadmin客户端。

命令选项	描述
-report	报告文件系统的基本信息和统计信息。
-safemode enter \| leave \| get \| wait	安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode 1. 不接受对名字空间的更改(只读) 2. 不复制或删除块 Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。
-refreshNodes	重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
-finalizeUpgrade	终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。
-upgradeProgress status \| details \| force	请求当前系统的升级状态，状态的细节，或者强制升级操作进行。
-metasave filename	保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的文件。对于下面的每一项，中都会一行内容与之对应 1. Namenode收到的Datanode的心跳信号 2. 等待被复制的块 3. 正在被复制的块 4. 等待被删除的块
-setQuota ...	为每个目录设定配额。目录配额是一个长整型整数，强制限定了目录树下的名字个数。命令会在这个目录上工作良好，以下情况会报错： 1. N不是一个正整数，或者 2. 用户不是管理员，或者 3. 这个目录不存在或是文件，或者 4. 目录会马上超出新设定的配额。
-clrQuota ...	为每一个目录清除配额设定。命令会在这个目录上工作良好，以下情况会报错： 1. 这个目录不存在或是文件，或者 2. 用户不是管理员。如果目录原来没有配额不会报错。
-help [cmd]	显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。

4.3.5 jobtracker

运行MapReduce job Tracker节点。

用法：hadoop jobtracker

4.3.6 namenode

运行namenode。有关升级，回滚，升级终结的更多信息请参考升级和回滚。

用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

命令选项	描述
-format	格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。
-upgrade	分发新版本的hadoop后，namenode应以upgrade选项启动。
-rollback	将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。
-finalize	finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。
-importCheckpoint	从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。

4.3.7 secondarynamenode

运行HDFS的secondary namenode。参考Secondary Namenode了解更多。

用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

命令选项	描述
-checkpoint [force]	如果EditLog的大小 >= fs.checkpoint.size，启动Secondary namenode的检查点过程。如果使用了-force，将不考虑EditLog的大小。
-geteditsize	打印EditLog大小。

4.3.8 tasktracker

运行MapReduce的task Tracker节点。

用法：hadoop tasktracker

5 附录HDFS 测试组网方案

一，配置策略

Hdfs由NameNode、SecondaryNameNode和DataNode三种网元组成。各网元作用以及部署策略如下：

1， NameNode作为Master，部署在一台机器上。NameNode中的Fsimage和editslog是系统最核心的元数据信息，为了保证元数据信息的可靠性，将Fsimage和editslog在NameNode和SecondaryNameNode上各备份一份。

2， SecondaryNameNode，用来归并NameNode上的Fsimage和editslog，形成checkpoint ，同时避免editslog文件过大。部署在一台机器上。

3， DataNode负责Data Block的读写工作，并且在MapRed时，作为数据源，一般和TaskTracker部署在一起。每个DataNode占用一台机器。当需要MapRed时，每台机器上部署一个DataNode和一个TaskTracker服务；

JobTracker是MapRed中的网元，单独占用一台服务器，暂保留。

从增强容错方面的考虑，需要定期备份SecondaryNameNode上生成的CheckPoint。

根据hdfs官方网站上的参数配置，我们的测试环境节点数较少，采用默认配置即可，可在测试过程中，根据情况进行调整。

二，测试环境

现有服务器如下：

组A：10.24.1.10,10.24.1.12,10.24.1.14,10.24.1.16,10.24.1.18,

组B：10.24.1.24, 10.24.1.26，10.24.1.242，10.24.1.244，10.24.1.246

其中10.24.1.24的密码是root/ mSpaCes0.2外，其余均为默认密码hadoop123。

组A中机器，Schubert在做测试，其中10.24.1.10为Master，即NameNode、SecondaryNameNode和JobTracker节点，其余为DataNode和TaskTracker。采用默认端口配置。

组B中没有hadoop环境，可用来作为Master节点。

环境中机器配置如下：

主机名	地址	可用空间	挂载点	总内存	可用内存
RAID0-LVS2	10.24.1.24	844G	/	3948	1686
demo-LVS1	10.24.1.26	395G	/	3948	2812
DEMO-WEB2	10.24.1.242	796G	/	16047	8522
RAID0-DB3	10.24.1.244	813G	/	16047	7309
RAID0-DB4	10.24.1.246	807G	/	16047	8348
nd0-rack0-cloud	10.24.1.10	781G	/data	3948	2158
nd1-rack0-cloud	10.24.1.12	763G	/data	3948	1044
nd2-rack0-cloud	10.24.1.14	763G	/data	3948	1139
nd3-rack0-cloud	10.24.1.16	763G	/data	3948	1119
nd4-rack0-cloud	10.24.1.18	764G	/data	3948	769

三，节点分配

根据节点磁盘空间和内存使用情况，分配如下：

1，选取节点 RAID0-DB3（10.24.1.244）为NameNode。

2，选取节点demo-LVS1（10.24.1.26）为Secondary NameNode，并通过nfs，共享一个目录给NameNode作为FsImage和Editslog的备份目录；

3， demo-LVS1（10.24.1.26）除外，均为DataNode，每个节点分配存储空间约为700G。总存储空间为700G×9=6300G。

预分配内存按照hdfs默认参数配置，通常为1G。

即分配表如下：

主机名	地址	网元
RAID0-LVS2	10.24.1.24	DataNode
demo-LVS1	10.24.1.26	Secondary NameNode
DEMO-WEB2	10.24.1.242	DataNode
RAID0-DB3	10.24.1.244	NameNode + DataNode
RAID0-DB4	10.24.1.246	DataNode
nd0-rack0-cloud	10.24.1.10	DataNode
nd1-rack0-cloud	10.24.1.12	DataNode
nd2-rack0-cloud	10.24.1.14	DataNode
nd3-rack0-cloud	10.24.1.16	DataNode
nd4-rack0-cloud	10.24.1.18	DataNode

四，配置参数设置

系统相关参数如下：

1， ${HADOOP_HOME} 目录为 /opt/hdfs_test/hadoop-0.19.1,即hadoop-0.19.1源文件放在该目下。

2， ${HADOOP_HOME}/conf/hadoop-env.sh修改如下：

a) 设置JAVA_HOME环境变量：

export JAVA_HOME=/usr/local/j2sdk

b) 设置HADOOP_PID_DIR 环境变量：

export HADOOP_PID_DIR=${HADOOP_HOME}/run/pids

3， ${HADOOP_HOME}/conf/masters中添加secondary namenode地址如下：、

10.24.1.26

4， ${HADOOP_HOME}/conf/slaves中添加datanode地址列表如下：

10.24.1.10

10.24.1.12

10.24.1.14

10.24.1.16

10.24.1.18

10.24.1.24

10.24.1.242

10.24.1.244

10.24.1.246

5， ${HADOOP_HOME}/conf/hadoop-site.xml修改如下：

a) 添加参数 hadoop.tmp.dir：

hadoop.tmp.dir

/data/hdfs_test/ hadoop-${user.name}

A base for other temporary directories.

b) 添加参数 fs.default.name，即NameNodeURI。相关端口在默认值基础上增加1000，其余端口亦按此规则修改。

fs.default.name

hdfs://RAID0-DB3:10000

The name of the default file system. A URI whose

scheme and authority determine the FileSystem implementation. The

uri's scheme determines the config property (fs.SCHEME.impl) naming

the FileSystem implementation class. The uri's authority is used to

determine the host, port, etc. for a filesystem.

c) Secondary namenode,datanode,namenode相关端口配置如下：

dfs.secondary.http.address

0.0.0.0:51090

The secondary namenode http server address and port.