HADOOP2.2.0安装配置指南

一、     集群环境搭建

这里我们搭建一个由三台机器组成的集群：

Ip地址	用户名/密码	主机名	集群中角色	操作系统版本
192.168.0.1	hadoop/hadoop	Hadoop-master	nn/snn/rm	Ubuntu1132bit
192.168.0.2	hadoop/hadoop	Hadoop-slave1	dn/nm	Ubuntu1132bit
192.168.0.3	hadoop/hadoop	Hadoop-slave2	dn/nm	Ubuntu1132bit

注：集群角色分（namenode nn, secondary namenode sn, datanode  dn, resourcemanager rm, nodemanager nm） 

1. 安装ubuntu

       略。

2. 创建用户

1、创建hadoop用户

sudo addgroup hadoop

2. 创建hadoop用户

sudo adduser -ingroup hadoop hadoop

3. 给hadoop用户添加权限

1)     打开/etc/sudoers文件

sudo gedit /etc/sudoers

2)   在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL，给hadoop用户赋予root用户同样的权限

hadoop   ALL=(ALL:ALL)  ALL

1. 3.    安装配置JDK（建议每台机器的JAVA_HOME路径信息相同）

1)     下载安装JDK

a)   从 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载jdk

对于32位的系统可以下载以下两个Linux x86版本（uname -a 查看系统版本）。

b)   选择要安装java的位置，如/usr/lib目录下

c)   将文件jdk-7u40-linux-i586.tar.gz移动到/usr/lib

d)   解压：tar -zxvf jdk-7u40-linux-i586.tar.gz

2)     配置JAVA环境变量: 

a)   打开/etc/profile（vim /etc/profile），在最后面添加如下内容：

JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH

b)   加载修改后的环境变量,在命令行执行

source /etc/profile

c)   查看java环境变量是否配置成功，在命令行执行

java -version

查看不出错说明成功。

【注意】每台机器执行相同操作，最后将java安装在相同路径下（不是必须的，但这样会使后面的配置方便很多）

4. 修改机器名

打开/etc/hostname文件：

sudo gedit /etc/hostname

将/etc/hostname文件中的机器名改为你想取的机器名。 重启系统后才会生效。

5. 关闭每台机器的防火墙

ufw disable

重启后生效。

6. 安装ssh服务

使用命令ssh即可查看是否安装了ssh。如果提示找不到命令则没有安装。执行以下命令安装：

sudo apt-get install ssh openssh-server

7. 建立ssh无密码登录本机

安装完成ssh后会在当前用户主目录（/home/hadoop）下产生一个隐藏文件夹.ssh（ls  -a 可以查看隐藏文件）。如果没有，自己新建即可（mkdir .ssh）。

1)   具体配置步骤如下：

a)   进入.ssh文件夹

b)   ssh-keygen -t  rsa 之后一路回 车（产生秘钥）

c)   把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）

d)   重启 SSH 服 务命令使其生效 :service ssh restart此时已经可以进行ssh localhost的无密码登陆

【注意】：以上操作在每台机器上面都要进行。

2)   设置远程无密码登陆

这里只有Hadoop-master是master，如果有多个namenode，或者rm的话则需要打通所有master于其他剩余节点的免密码登陆。

a)   进入master的.ssh目录执行：

scp authorized_keys hadoop@hadoop-slave1:~/.ssh/ authorized_keys_from_master

b)   进入hadoop-slave1的.ssh目录,执行：

cat authorized_keys_from_ master >> authorized_keys

至此，可以在hadoop-master上面ssh hadoop@hadoop-slave1进行无密码登陆了。hadoop-slave2的操作相同。

c)    修改/etc/hosts 文件，增加三台机器的ip和hostname的映射关系

                192.168.0.1     hadoop-master

       192.168.0.2     hadoop-slave1

       192.168.0.3     hadoop-slave2

此处的ip地址应该为三台机器的真实IP

二、    Hadoop 2.2安装过程

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/。如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz.

      由于hadoop集群中每个机器上面的配置基本相同，所以我们先在namenode上面进行配置部署，然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。但需要注意的是集群中64位系统和32位系统的问题。

1. 1.  解压文件

       将第一部分中下载的hadoop-2.2.tar.gz解压到/home/hadoop路径下（或者将在64位机器上编译的结果存放在此路径下）。注意：每台机器的安装路径要相同！！

2. hadoop配置过程

配置之前，需要在hadoop-master本地文件系统创建以下文件夹：

/home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/temp

这里要涉及到的配置文件有7个：

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh ~/hadoop-2.2.0/etc/hadoop/yarn-env.sh ~/hadoop-2.2.0/etc/hadoop/slaves ~/hadoop-2.2.0/etc/hadoop/core-site.xml ~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml ~/hadoop-2.2.0/etc/hadoop/mapred-site.xml ~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的，可以复制相应的template文件获得。

1)     配置文件1：hadoop-env.sh

修改JAVA_HOME值

export JAVA_HOME=/usr/java/jdk1.7.0_40

2)     配置文件2：yarn-env.sh

修改JAVA_HOME值

export JAVA_HOME=/usr/java/jdk1.7.0_40

 

3)     配置文件3：slaves （这个文件里面保存所有slave节点）

写入以下内容：

hadoop-slave1 hadoop-slave2

4)     配置文件4：core-site.xml

<configuration>                 <property>                                 <name>fs.defaultFS</name>                                 <value>hdfs://hadoop-master:9000</value>                 </property>        <property>                                 <name>io.file.buffer.size</name>                                 <value>131072</value>                 </property>        <property>                                 <name>hadoop.tmp.dir</name>                                 <value>file:/home/hduser/tmp</value>                                 <description>Abase for other temporary directories.</description>                 </property>         <property>                <name>hadoop.proxyuser.hduser.hosts</name>                <value>*</value>        </property>                  <property>                <name>hadoop.proxyuser.hduser.groups</name>                <value>*</value>        </property> </configuration>

5)     配置文件5：hdfs-site.xml

<configuration>      <property>                 <name>dfs.namenode.secondary.http-address</name>                <value>hadoop-master:9001</value>         </property>          <property>                   <name>dfs.namenode.name.dir</name>                  <value>file:/home/hadoop/dfs/name</value>             </property>            <property>                     <name>dfs.datanode.data.dir</name>                     <value>file:/home/hadoop/dfs/data</value>             </property>             <property>                      <name>dfs.replication</name>                      <value>3</value>              </property>              <property>                      <name>dfs.webhdfs.enabled</name>                      <value>true</value>          </property> </configuration>

6)   配置文件6：mapred-site.xml

<configuration>                 <property>                                 <name>mapreduce.framework.name</name>                                 <value>yarn</value>                 </property>                 <property>                                 <name>mapreduce.jobhistory.address</name>                                 <value>hadoop-master:10020</value>                 </property>                 <property>                <name>mapreduce.jobhistory.webapp.address</name>                <value>hadoop-master:19888</value>        </property> </configuration>

7)     配置文件7：yarn-site.xml

<configuration>                  <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>         </property>                  <property>                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>                <value>org.apache.hadoop.mapred.ShuffleHandler</value>         </property>         <property>                <name>yarn.resourcemanager.address</name>                <value>hadoop-master:8032</value>        </property>                 <property>                <name>yarn.resourcemanager.scheduler.address</name>                <value>hadoop-master:8030</value>                </property>                <property>                        <name>yarn.resourcemanager.resource-tracker.address</name>                         <value>hadoop-master:8031</value>                </property>                <property>                        <name>yarn.resourcemanager.admin.address</name>                         <value>hadoop-master:8033</value>                </property>                 <property>                <name>yarn.resourcemanager.webapp.address</name>                <value>hadoop-master:8088</value>        </property> </configuration>

8)     复制到其他节点

这里可以写一个shell脚本进行操作（有大量节点时比较方便）,cp2slave.sh。将在hadoop-master上的hadoop文件夹中的所有内容复制至其余节点。在hadoop集群中节点之间是对等的，区别在于配置文件中指明了主从关系。

scp –r /home/hduser/hadoop-2.2.0 hadoop@hadoop-slave1:~/ scp –r /home/hduser/hadoop-2.2.0 hadoop@hadoop-slave2:~/

9)     启动验证

a)      启动hdfs（hadoop文件系统）

进入安装目录：

cd  ~/hadoop-2.2.0/

格式化namenode：.

/bin/hdfs namenode –format

启动hdfs:

./sbin/start-dfs.sh

通过jps查看hadoop进程，此时在hadoop-master上面运行的进程有：

namenode secondarynamenode

hadoop-slave1，hadoop-slave2上面运行的进程有：

datanode

b)     启动yarn:

./sbin/start-yarn.sh

通过jps查看hadoop进程，此时在hadoop-master上面运行的进程有：

Namenode Secondarynamenode resourcemanager

hadoop-slave1，hadoop-slave2上面运行的进程有：

datanode nodemanaget

c)      查看集群信息

查看集群状态：

./bin/hdfs dfsadmin –report

查看文件块组成： 

./bin/hdfsfsck / -files -blocks

查看HDFS:  

http:// 192.168.0.1:50070

查看RM:   

http:// 192.168.0.1:8088