CentOs6搭建Hadoop1.2.1分布式集群

系统：CentOs6 64位

环境：1台namenode 2台datanode 用户名全是gird

master 192.168.1.103

slave1 192.168.1.104

slave2 192.168.1.107



具体的安装步骤如下：

1、下载jdk1.6以及hadoop1.2.1（去官网下载即可，都是64位）

2、使用filezilla将jdk和hadoop上传至master服务器，jdk上传至slave1服务器和slave2服务器

3、设置host，命令如下：

vi /etc/sysconfig/network 将HOSTNAME=master

vi /etc/hosts 设置如下内容：

192.168.1.103 master
192.168.1.104 slave1
192.168.1.107 slave2

slave1和slave2除了HOSTNAME为slave1和slave2 hosts的配置一样

可以使用hostname来验证是否已经修改

使用ping master/slave1/slave2 来验证是否通讯畅通

4、关闭防火墙

master、slave1、slave2分别使用root权限关闭防火墙，命令如下：

service iptables stop

chkconfig iptables off

5、SSH免密码登录

master、slave1、slave2分别使用grid用户，在/home/grid下运行ssh-keygen -t rsa

master服务器使用

scp id_rsa.pub [email protected]:/home/grid/.ssh/authorized_keys

scp id_rsa.pub [email protected]:/home/grid/.ssh/authorized_keys

然后再做免登录直连自己的操作

将/home/grid/.ssh/id_rsa.pub内容复制到authorized_keys中

slave1和slave2也做同样的操作

最后的效果如下：

[img]http://dl2.iteye.com/upload/attachment/0096/5277/e324fe03-ca12-3971-a77f-78189c5614e4.png[/img]

6、使用grid用户在master上安装hadoop，如下图：
[img]http://dl2.iteye.com/upload/attachment/0096/5279/a54395b8-4a63-3327-9deb-11673b1e766a.png[/img]

7、安装jdk
sudo yum install jdk-6u31-linux-amd64.rpm --nogpgcheck
有提示的话输入"y"
8、进入hadoop安装目录下的conf中，进行一系列的配置，修改的文件有：

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves
1）修改hadoop-env.sh
[img]http://dl2.iteye.com/upload/attachment/0096/5281/9f5523b8-6c65-310c-996a-b93259a35f54.png[/img]


2）修改core-site.xml
[img]http://dl2.iteye.com/upload/attachment/0096/5283/5d8027c7-b088-3fbd-8a25-28ecd4acac83.png[/img]


3）修改hdfs-site.xml
[img]http://dl2.iteye.com/upload/attachment/0096/5285/83f9971a-cfdc-3d1d-afe7-4eb8f742c0be.png[/img]


4）修改mapred-site.xml
[img]http://dl2.iteye.com/upload/attachment/0096/5287/0338f7e7-5a6f-3c61-b954-101242b8ab1a.png[/img]


5）修改masters
[img]http://dl2.iteye.com/upload/attachment/0096/5289/74874a69-6e12-322c-bce2-65d85d01e5b7.png[/img]


6）修改slaves
[img]http://dl2.iteye.com/upload/attachment/0096/5291/b6981586-9c5a-3b47-93c4-0a8744b24461.png[/img]



9、复制hadoop到slave1和slave2，如下图：
[img]http://dl2.iteye.com/upload/attachment/0096/5293/2f9c0a0d-241f-3206-9f5e-8e16330d0df3.png[/img]
[img]http://dl2.iteye.com/upload/attachment/0096/5295/ef1e7c8d-ea2f-3f10-8f9c-d35bdcb8b983.png[/img]





10、在master中格式化HDFS，如下图：
[img]http://dl2.iteye.com/upload/attachment/0096/5297/2b5ab13c-3eed-3629-8493-c147bac5c76a.png[/img]



11、启动hadoop，在如下图：hadoop-1.2.1下运行./bin/start-all.sh
[img]http://dl2.iteye.com/upload/attachment/0096/5299/ff4faccb-aefa-3c50-99d1-20e47ce0acc7.jpg[/img]



12、验证hadoop是否启动成功：

[img]http://dl2.iteye.com/upload/attachment/0096/5303/b27766fd-5fcd-35d3-b247-88f53f471ce6.png[/img]

[img]http://dl2.iteye.com/upload/attachment/0096/5305/e7d1af04-b5fc-3793-9f74-2b9f24d55b7b.png[/img]

[img]http://dl2.iteye.com/upload/attachment/0096/5307/399e3685-fb82-3d89-b64e-d13ac542c781.png[/img]






总结：在安装的过程中遇到了很多的问题，前前后后弄了1天半，使用不同的用户安装了一次，不成功，然后重新删除系统，使用统一的grid用户进行安装配置，在启动hadoop的时候提示输入“yes”，还以为是没有配置好免密码登录，可是验证没有问题，原来是这样的，第一次启动hadoop的时候提示输入，第二次开始就不会提示了，再有其他的就是在格式化HDFS的时候，忘记切换用户了，结果使用的是root，也导致不能正常启动hadoop。