hadoop安装详解

1.hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1.2.环境说明

192.168.253.139 master.hadoop

192.168.253.140 slave.hadoop

两个节点均是centos系统，并且有一个相同的用户hadoop，master机器主要配置namenode和jobtracker的角色，负责总管分布式数据和分解任务的执行，1个slave机器配置datanode和tasktracker的角色，负责分布式数据存储以及任务的执行。还应该有对master做高可用。

1.3 网络配置

可以配置其master主机名名字为master.hadoop，ip为192.168.253.139

配置slave服务器的名字为slave.hadoop，ip为192.168.253.140.（为防止两个服务器连接问题，暂时关闭防火墙 service iptables stop）

1.4下载所需要的软件（见附件）

2.ssh无密码验证设置

hadoop运行过程中需要管理远端hadoop守护程序，在hadoop启动以后，namenode是通过ssh来启动和停止各个datanode的各种守护进程，这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到NameNode。

2.1 安装和启动ssh协议，实现两个服务器的双机互信

    192.168.253.139
[root@master ~]# ssh-keygen -t rsa -f  ~/.ssh/id_rsa -P ''
[root@master ~]# ssh-copy-id -i .ssh/id_rsa.pub [email protected]
    192.168.253.140
[root@slave ~]# ssh-keygen -t rsa -f  ~/.ssh/id_rsa -P ''
[root@slave ~]# ssh-copy-id -i .ssh/id_rsa.pub [email protected]

在192.168.253.139主机上测试，可以实现无密码登录192.168.253.140，同样的方法测试slave服务器

3.java环境安装

所有的机器都要安装JDK，现在现在master服务器上安装，然后其他服务器按照步骤重复进行即可，安装jdk配置环境变量，需要以root身份进行，

3.1安装JDK

使JDK获得可执行权限，并进行如下步骤，进行安装（下载JDK文件到/usr/src）

[root@master  ~]# cd /usr/src
[root@master  ~]# chmod +x jdk-6u31-linux-x64-rpm.bin
[root@master  ~]# ./jdk-6u31-linux-x64-rpm.bin

3.2添加java环境变量

在"/etc/profile"加入如下行

export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

使定义生效

source /etc/profile

3.3 验证安装成功

配置完毕并且生效后，通过下面命令判断是否成功

3.4 使用此种方法安装剩余的slave机器，

4.hadoop集群安装

所有的机器都要安装hadoop，先从master服务器安装，

4.1 安装hadoop

[root@master ~]# useradd hadoop
[root@master ~]# passwd hadoop
    hadoop
[root@master ~]# cd /usr/src/
[root@master src]# tar xf hadoop-1.0.0.tar.gz
[root@master src]# mv hadoop-1.0.0  hadoop
[root@master src]#mv hadoop  /usr/
[root@master usr]# chown -R hadoop:hadoop hadoop

建立hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使环境变量生效

source /etc/profile

4.2配置hadoop

hadoop配置文件位于/usr/hadoop/conf

1.配置hadoop-env.sh文件，在末尾添加如下两行

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31

Hadoop配置文件在conf目录下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

配置core-site.xml文件，这里配置的是HDFS的地址和端口号

如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

配置hdfs-site.xml文件，HDFS的配置，配置的备份方式默认为3

replication是数据副本数量，默认为3，slave少于三台会报错，此例是1

配置mapred-site.xml文件，配置的JobTracker的地址和端口

配置master文件

去掉localhost，加入192.168.253.139（master服务器）的ip地址

配置slave文件

去掉localhost，加入192.168.253.140（slave服务器）的ip地址

4.3启动及验证

格式化HDFS文件系统

在格式化文件系统时，使用普通用户进行操作

hadoop namenode -format

使用下面命令启动

/usr/hadoop/bin/start-all.sh

可以通过以下启动日志看出，首先启动namenode 接着启动datanode1，datanode2，…，然后启动secondarynamenode。再启动jobtracker，然后启动tasktracker1，tasktracker2，…。

启动 hadoop成功后，在 Master 中的 tmp 文件夹中生成了 dfs 文件夹，在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。

参考文章：http://developer.51cto.com/art/201206/344046_1.htm