Hadoop2.X版本伪分布式安装详细介绍【非抄袭，原创！】

网上hadoop单节点安装文章真是一搜一大堆，可以这样说，全是垃圾，那些博主也不知道自己安装过没有。。反正就一堆的copy，我实在看不下去了。必须把我总结的写出来，如果你有任何问题随时联系我！

E-Mail: [email protected]

下面我以2.2.0为例子！注意这是单节点！！伪分布式！！不喜勿看

 

Hadoop2.2.0（Yarn）安装详细过程

一、运行一个单机版模式的hadoop伪分布式平台

1、软件环境

           1、操作系统：

由于linux的开源性、安全性等因素现有的hadoop集群多为linux平台，在这里采用适合个人安装的linux Ubuntu 12.04LTS版本去实现hadoop伪分布式平台。若采用window系统不能使开发者更好的体验hadoop框架的优越性能和其高效的性能。对于linux系统red hat、ubuntu、Debian、Gentoo、SuSE、Mandriva安装均相同。

           2、Java环境：

在这里采用ubuntu上所推荐的java-7-openjdk。若采用sun公司的jdk，则需要向系统添加环境，这里不再进行赘述。

3、SSH：在hadoop平台上，需要涉及resourcemanager与nodemanager之间通信，appmaster与container之间通信，用户数据之间的通信等。在通信过程中需要配置SSH无密码通信。

           4、hadoop版本：hadoop2.2.0（apache网站中所有1.0以上框架均适用）

以上软件环境均在对应的开源官方网站下载，其中java环境和ssh均在ubuntu中使用apt-get install命令即可获得。

注：修改过程可能使用到编辑软件为Vim。

安装所需软件源：

名称	网址
Ubuntu	http://www.ubuntu.org.cn/download
Hadoop2.2.0	http://www.apache.org/dyn/closer.cgi/hadoop/common/
Myeclipse	http://www.myeclipseide.cn
javaJDK	Ubuntu控制台命令sudo apt-get install java-7-openjdk
SSH	Ubuntu控制台命令sudo apt-get install ssh-openserver
Vim	Ubuntu控制台命令sudo apt-get install vim

 

二、安装过程

2.1安装前准备工作

           配置yarn前需将javaJDK、SSH、vim安装完成，将hadoop包从apache网站下载到本地。

测试javaJDK安装成功输入java –version出现下图

 

 

 

 

 

 

 

 

测试vim安装成功输入vim后出现下图

 

测试ssh会在配置无密码登陆时用到。

2.2给用户hadoop加入root权限（在ubuntu12.04安装过程中用户名称设定为：hadoop）

控制台输入：Hadoop@hadoop:sudo vim /etc/sudoers

在root下添加hadoop的权限

Hadoop ALL=(ALL:ALL) ALL

 

若ubuntu已经安装完成如想增加hadoop用户和用户组则需如下操作：

1、增加hadoop用户组：sudo addgroup hadoop。

2、增加hadoop用户并将其加入到hadoop用户组：sudo adduser -ingroup hadoop hadoop。

3、将hadoop加入到root权限组。

2、配置SSH无密码访问

配置无密码访问后就不需要用户不停的输入访问密码，控制台命令如下：

1、创建ssh-key，采用通用的rsa加密方式：ssh –keygen –t rsa –p “”

 

回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的

2、进入到~/.ssh目录下

Hadoop@hadoop:Cd ~/.ssh

3、将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的

Hadoop@hadoop:Cat id_rsa.pub >> authorized_keys

 

安装成功登陆测试：

Hadoop@hadoop:ssh localhost

 

出现上图即安装成功

3.安装hadoop第二代框架

将下载好的hadoop2.2.0 tar.gz使用tar xvzf解压后放在/esr/local，然后进入到/usr/local/hadoop/etc/hadoop

具体文件配置如下：

1、hadoop-env.sh配置

在hadoop-env.sh添加Java环境（本机以openjdk7为例子）

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

 

2、yarn-env.sh配置

在yarn-env.sh添加java环境

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

 

3、core-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加

<property>

           <name>fs.default.name</name>

           <value>hdfs://localhost:9000</value>

</property>

 

4、hdfs-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加:

<property>

           <name>dfs.namenode.name.dir</name>

           <value>/usr/local/hadoop/dfs/name</value>

</property>

<property>

           <name>dfs.datanode.data.dir</name>

           <value>/usr/local/hadoop/dfs/data</value>

</property>

<property>

           <name>dfs.replicatiion</name>

           <value>2</value>

</property>

 

5、mapred-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

添加：

<property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

</property>

 

6、yarn-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加：

<property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

</property>

<property>

           <name>yarn.nodemanager.aux-services.ampreduce.shuffle.class</name>

           <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

经过以上配置yarn配置完成，然后将所有服务一次启动，如下操作：

1、启动hdfs：

                                                     Hadoop@hadoop:bin/hadoop namenode -format

                                                     Hadoop@hadoop:sbin/hadoop-daemon.sh start namenode

                                                     Hadoop@hadoop:sbin/hadoop-daemon.sh start datanode

2、启动yarn：

                                                          Hadoop@hadoop:Sbin/yarn-daemon.sh start resourcemanager

                                                          Hadoop@hadoop:Sbin/yarn-daemon.sh start nodemanager

                                                          （或者利用全部启动的命令）Hadoop@hadoop:Sbin/start-all.sh

                                                          Hadoop@hadoop:Jps

若处出现启动不成，则去查找log日志，log日志位于：/usr/local/hadoop/log目录下，yarn将namenode、datanode、nodemanager、resourcemanager分别记录与不同的日志中，方便用户的查找

输入后若出现以下命令则安装成功：

 

在浏览器中输入http://localhost:8088测试web端口是否没有被占用出现如下图所示：

 

测试HDFS端口是否正常，在浏览器中输入：http://localhost:50070出现如下图所示：

 

点击“Browse the filesystem”能进入到hdfs目录中则hdfs安装完成，如下图所示：

 

经过以上配置并且在测试成功后我们的hadoop第二代平台（伪分布式）就全部安装完成了。接下来我们可以利用它去做许多有趣的事情了。