hadoop集群环境搭建

一、安装环境配置

电脑型号

ASUS A40JP 笔记本

操作系统

Windows 7 旗舰版 64位 sp1

CPUT

英特尔 Core i5 M 480

内存

金士顿 DDR3 1333MHZ  6G

硬盘

希捷 500G

虚拟机软件

Oracle VM VirtualBox 4.3

Master

Centos6.5 Mem:1G Disk:20G hostname:hadoop1,ip:192.168.1.10

slave1

Centos6.5 Mem:1G Disk:20G hostname:hadoop2,ip:192.168.1.20

Slave2

Centos6.5 Mem:1G Disk:20G hostname:hadoop3,ip:192.168.1.30

Java

jdk1.7.0_60

Hadoop

hadoop-1.2.1

 

二、服务器基本配置(需要root账号操作)

1、配置IP:

[root@hadoop1 usr]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

 hadoop集群环境搭建_第1张图片

另外两台的IP分别配置为 192.168.1.20 和 192.168.1.30

 

2、配置主机名:

       [root@hadoop1 usr]# vim /etc/sysconfig/network

 hadoop集群环境搭建_第2张图片

另外两台分别配置名字为:hadoop2  hadoop3

 

3.配置host文件

[root@hadoop1 usr]# vim /etc/hosts

 hadoop集群环境搭建_第3张图片

其他两台配置一样。

 

4.重启虚拟机

[root@hadoop1 usr]# reboot

 

三、安装JDK

1、建立Hadoop账号并设置密码(三台操作一样,用root创建相同的账号)

[root@hadoop1 ~]# useradd hadoop

[root@hadoop1 ~]# passwd hadoop

 

2、用securityCRT连接到虚拟机终端,方便操作

 

3.下载安装JDK

 hadoop集群环境搭建_第4张图片

[hadoop@hadoop1~]$wget http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-i586.tar.gz

p:(1)如果提示ERROR: certificate common name “www.oracle.com” doesn’t match requested host name “edelivery.oracle.com”.

To connect to edelivery.oracle.com insecurely, use ‘--no-check-certificate’.

请在下载的时候选择同意按钮。

(2)如果提示Cannot write to “jdk-7u60-linux-i586.tar.gz.1” (Permission denied).,请切换root账号进行操作。

 

4、下载完成之后,移动jdk到usr路径下,并进行解压

[root@hadoop1 ~]# mv jdk-7u60-linux-i586.tar.gz  /usr/

[root@hadoop1 ~]# cd /usr/

[root@hadoop1 usr]# tar -xzvf jdk-7u60-linux-i586.tar.gz

完成之后,效果如图。

 hadoop集群环境搭建_第5张图片

然后运行scp命令,将jdk1.7.0_60复制到其他节点上

[root@hadoop1 usr]# scp -r jdk1.7.0_60/ root@hadoop2:/usr/jdk1.7.0_60/

提示输入hadoop2的root的账号密码,按要求正确输入即可。

 

 

四、配饰SSH免密码登陆(使用Hadoop账号操作)

 

1、生成密钥对。

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa -f ~/.ssh/id_rsa

 hadoop集群环境搭建_第6张图片

 

①:运行ssh-keygen命令,生成密钥对

②:输入空密码,切记这里不能输入任何字符

③:查看生成的密钥对

 

2、复制公钥名为authorized_keys

[hadoop@hadoop1 .ssh]$ cp id_rsa.pub authorized_keys

 

3.将3台虚拟的公钥放在同一个authorized_keys中,然后分别复制到另外两台虚拟机。

这里可以使用多种方式,可以再securityCRT中直接复制。

也可以用scp命令将三台机器的authorized_keys集中起来,使用

cat authorized_key2 >> cat authorized_key命令将2个key追加到其中的一个之中,然后用scp命令分别拷贝到其他的两台机器中。

 hadoop集群环境搭建_第7张图片

4.然后用ssh hadoop1就能免密码登陆了。第一次可能需要输入yes,允许将密钥加入known_hosts信任的机器中。

至此,ssh免密码登陆就完成了。                         

 

五、安装Hadoop

1.下载Hadoop,下载地址http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.1/

[hadoop@hadoop1~]$wget http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

 hadoop集群环境搭建_第8张图片

解压:

[hadoop@hadoop1 ~]$ tar -xzvf hadoop-1.2.1.tar.gz

 

2.进入配置文件目录,修改环境变量

 [hadoop@hadoop1 ~]$ cd hadoop-1.2.1/conf/

 [hadoop@hadoop1 conf]$ vim hadoop-env.sh

 hadoop集群环境搭建_第9张图片

修改JAVA_HOME

 

3.修改core-site.xml,并新建临时目录

[hadoop@hadoop1 conf]$ vim core-site.xml

 hadoop集群环境搭建_第10张图片

新建临时文件夹:[hadoop@hadoop1 conf]$ mkdir -p /home/hadoop/hadoop/tmp

 

 

4.修改hdfs-site.xml

[hadoop@hadoop1 conf]$ vim hdfs-site.xml

 hadoop集群环境搭建_第11张图片

有几个节点,value的值就是几。

 

5.修改mapred-site.xml

[hadoop@hadoop1 conf]$ vim mapred-site.xml

 hadoop集群环境搭建_第12张图片

 

6.修改masters和slaves文件

 

 

 

7.向各个节点复制hadoop

[hadoop@hadoop1 ~]$ scp -r hadoop-1.2.1 hadoop@hadoop2:/home/hadoop/hadoop-1.2.1

 

[hadoop@hadoop1 ~]$ scp -r hadoop-1.2.1 hadoop@hadoop3:/home/hadoop/hadoop-1.2.1

 

 

8格式化namenode

[hadoop@hadoop1 ~]$ cd hadoop-1.2.1/bin/

[hadoop@hadoop1 bin]$ ./hadoop namenode -format

 

9、启动Hadoop

[hadoop@hadoop1 bin]$ ./start-all.sh

 

主节点

 hadoop集群环境搭建_第13张图片

子节点

 hadoop集群环境搭建_第14张图片

hadoop集群环境搭建_第15张图片

 

至此,Hadoop集群的运行环境就搭建完成了。

 

 

你可能感兴趣的:(hadoop)