hadoop集群搭建

by 三江小渡

这篇介绍需要结合着 前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇，有详细操作方法和命令。

集群的搭建需要做的事情我一步一步的写一下，相应的步骤不会就看前一篇：

1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致，即三台一摸一样的绝对路径。这里举例有以下三台服务器：

192.168.1.1
192.168.1.2
192.168.1.3

我们用1号服务器当主节点，即master节点。备份节点也暂时先用这台，即运行secondarynamenode的节点。这里需要配置相应的java和hadoop的/etc/profile里边的环境变量信息。然后source这个文件，使之生效。

2、在3台服务器上都创建hadoop的用户账号，需要用户名一样，密码也尽量一样吧。然后在主节点创建一个ssh通信用的公钥密钥对，把公钥使用scp命令分发给2、3号服务器，即分发生成的id_***.pub文件，然后添加到authorized_keys文件里。主节点也需要添加。完成这些任务之后可以尝试ssh链接，如果不需要密码就成功了。不成功的话单机搭建篇里有详细方法排错。

3、主节点修改配置文件hadoop-env.sh的JAVA_HOME的值。如果集群里java版本有所不同，就尽量配置指定到java目录下的default软连上，但是尽量不要版本不同。

然后修改三个配置文件：
core-site.xml：

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.1:9000</value>
</property>

hdfs-site.xml：

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.1.1:50070</value>
</property>

mapred-site.xml：

<property>
<name>mapred.job.tracker</name>
<value>192.168.1.1:9001</value>
</property>

这几个基本的复制进去就行了，其他的属性单机搭建里有给官方链接，可以进去自己看。
接下来还有两个文件需要配置，一个是master，里边写的是secondarynamenode的运行服务器，这里就填写192.168.1.1。然后配置slaves文件，里边一行填写一个ip，把192.168.1.2和192.168.1.3填写进去。这样conf里的配置信息就简单完成了。同样的我们使用scp命令把这份配置拷贝到集群里所有机器。

4、现在就可以格式化hadoop集群了：

hadoop namenode -format

然后启动hadoop集群：

start-all.sh

OK！大功告成，简单4步，so easy！麻麻再也不用担心我的hadoop集群配置了。

以上内容也是向hadoop集群添加节点的方法，安装程序、配置文件、添加slaves IP、然后启动新添节点的DataNode和TaskTracker守护进程。然后结束。