背景
之前的时间里对 Hadoop 的使用都是基于学长所搭建起的实验环境的，没有完整的自己部署和维护过，最近抽时间初体验了在集群环境下装机、配置、运行的全过程，梳理总结到本文中。
配置
- 内存:8G
- CPU：i5-2400 3.1GHz；
- 硬盘：960G
- 系统：windows 7 旗舰 64bits
- 虚拟机：VMware7.1.1
- 虚拟集群：
-
- T （master 节点）Ubuntu11.04 32 bits 内存 512MB；硬盘 100G；单核；
-
- T2（slave 节点） Ubuntu11.04 32 bits 内存 512MB；硬盘 100G；单核；
-
- T3（slave 节点） Ubuntu11.04 32 bits 内存 512MB；硬盘 100G；单核；
-
- T4（slave 节点） Ubuntu11.04 32 bits 内存 512MB；硬盘 100G；单核；
环境准备
1.节点机器的配置
配置固定 IP:修改/etc/nerwork/interfaces
1 2 3 4 5 6 |
|
为了便于管理，建议按统一约定修改 hostname：修改/etc/hostname；同时，Hadoop 集群要求每个节点使用同一个账号来管理、运行，所以，也需要设置好公用账号。
2.集群 ssh 配置
ssh 相关原理和操作，参见博文《SSH 原理和使用》。
在每台机器上生成密钥对，并将所有机器的公钥集成到 master 的~/.ssh/authorized_keys中,之后将这个文件分发到集群所有机器上。 这样，所有机器之间都可以实现免密码的 ssh 访问了。
使用如下指令，可以将本机的公钥添加到 master 的 authorized_keys 文件末尾。当所有节点都执行一遍以后，再将 master 的 authorized_keys 发布到各个节点上。
1
|
|
3.工具脚本
在分布式的环境里，运维工作的自动化很有必要。为了方便集群的运维，我写了两个简单的 batch 脚本。
统一执行脚本
在所有节点上执行同样的动作。使用时，在 master 节点上调用 batch 脚本，参数为对应的 batch 执行语句。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
脚本中使用的 slaveslist 文件保存着所有 slave 节点的 hostname，需要与脚本放在同一个工作目录下。
统一替部署脚本
将主节点的某文件或目录统一的更新部署替换到所有节点上（注意，所有节点拥有相同的目录结构，即替换的文件路径相同）。
遇到 hadoop 集群中节点的增删改动需要修改配置文件的，都可以通过这个脚本便捷的部署。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
|
4.配置 hosts 文件
由于 hadoop 体系在处理节点时，是使用的 hostname，而非 IP，所以必须先配置好 hostname 和 IP 的关系。 在一台机器上修改/etc/hosts
1 2 3 4 5 6 |
|
然后使用统一执行脚本，将它发布到所有节点上。
值得注意的是，在/etc/hostsname中修改了 host name 之后，如果不同步的修改/etc/hosts中的相关信息，则在 sudo 操作时出现 sudo: unable to resolve host 的提示。原因是机器无法解析主机名。
修改/etc/hosts时也要特别注意，如果改成127.0.0.1 localhost HOSTNAME (其中 HOSTNAME 是主机名)的形式，在开启 hadoop 集群时，会出现 datanode 无法正常访问 namenode，算是个小 bug 吧。所以得把 hosts 文件写成如上的形式。
5.配置 Java 环境
Hadoop 需要 Java1.6 或更高版本，记住 Java 的安装目录，之后需要在 hadoop 配置过程中用到。
安装 Hadoop
1.下载 Hadoop
从官网下载 Hadoop 发布版（博主使用的是较早的稳定版 0.20.2）
关于版本选择，推荐阅读：Hadoop 版本选择探讨
2.部署
解压下载好的 Hadoop，后放到合适的目录下。这里假定放置在/home/USER/ 的目录下
在/home/USER/.bashrc(其中 USER 为集群的用户名)文件中，增加如下语句，设定 Hadoop 相关的路径信息：
1 2 3 4 5 6 |
|
Hadoop 核心配置修改
配置文件在$HADOOP_HOME/conf目录下，其中基础配置比较重要的有三个：core-site.xml, hdfs-site.xml, mapred-site.xml。（当然，每个配置文件都有其细节作用，不过在初步实践 hadoop 时，理解这三个配置文件中的几个重要配置项就够了）
一般的，有三种可选模式。即本地模式、伪分布式模式和全分布式模式。前两种只是在单机环境下，后一种才是生产环境下的常用方式。《Hadoop 权威指南》和《Hadoop 实战》等书中都有讲到不同方式的配置，这里博主仅描述实验环境下 4 节点的全分布式配置。
core-site.xml 整个 hadoop 的顶层配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
|
hdfs-site.xml 存储 HDFS 相关的信息
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
|
mapred-site.xml 存储 mapreduce 作业相关配置
1 2 3 4 5 6 7 8 9 10 11 12 |
|
hosts 文件存储了 master 节点
1
|
|
slaves 文件存储着所有的 slaves 节点
1 2 3 |
|
启动集群
1.格式化 namenode
如果是第一次起动集群，需要先格式化 HDFS。
namenode 存放了 HDFS 的元数据，故可以看成是对 HDFS 的格式化。
1
|
|
2.启动守护进程
1
|
|
等价于如下命令执行：
1 2 3 4 5 |
|
如果成功，打开 http://T:50070 (T 为集群 master 节点)，可以看到 HDFS 的运行情况，包括节点数量、空间大小等。这是 Hadoop 自带的 HDFS 监控页面；同样的，http://T:50030 是 Mapreduce 的监控界面。
如果没有成功，根据$HADOOP_HOME/logs 目录下的日志文件信息 debug。
3.常见问题
- namenode 无法启动：
-
- 删除掉本地文件系统中 HDFS 的目录文件，重新格式化 HDFS。
-
- HDFS 目录的权限不够，更改权限设置等。
- namenode 启动成功，datanode 无法连接：检查 hosts 文件是否设置正确；检查各个配置文件中地址值是否使用了 IP 而不是 hostname。
- namenode 启动成功，datanode 无法启动：Incompatible namespaceIDs，由于频繁格式化，造成 dfs.name.dir/current/VERSION 与 dfs.data.dir/current/VERSION 数据不一致。
- SafeModeException： 分布式系统启动时，会进入安全模式，安全模式下，hadoop 是无法执行的。一般的等待一会儿，就可以正常使用了。如果是由于之前集群崩溃造成的无法自动退出安全模式的情况，则需要如下特殊处理了
1
|
|
初体验
最简单的尝试就是使用 Hadoop 自带的 wordcount 程序了，参照这篇文章，描述很详细。