(转)超详细单机版搭建hadoop环境图文解析

                    超详细单机版搭建hadoop环境图文解析  

安装过程： 

一、安装Linux操作系统
二、在Ubuntu下创建hadoop用户组和用户
三、在Ubuntu下安装JDK
四、修改机器名
五、安装ssh服务
六、建立ssh无密码登录本机
七、安装hadoop
八、在单机上运行hadoop

一、安装Linux操作系统 

我们是在windows中安装linux系统的，选择的是ubuntu11.10,介于有些朋友是第一次安装双系统，下面我就介绍一种简单的安装方法：

1、下载ubuntu-11.10-desktop-i386.iso镜像文件，用虚拟光驱打开，执行里面的wubi.exe程序，如图（1）

 

 

2、选择在widows中安装，如图（2）

 

 

3、在弹出的窗口中设置一些具体的参数，自动跟新完成后需要重启。重启时，就会出现ubuntu系统的选择了，系统一般默认开机启动windows系统，所以这里要自己手动选择哦～，进入ubuntu后，系统就自动下载，跟新、安装了。

（注：安装的过程中可能会卡在一个阶段很长时间（我卡了半个小时），这时我选择了强制关机，重启时同样选择进入ubuntu。一般第二次就不会卡，具体原因我也不是很清楚，可能和wubi.exe程序有关吧。 在网上看到，有些人认为用wubi.exe安装ubuntu不是很好，可能这就是它的不好之处吧。不过这是非常简单的方法，所以我们还是选择这种安装方法吧。）


二、在Ubuntu下创建hadoop用户组和用户 

这里考虑的是以后涉及到hadoop应用时，专门用该用户操作。用户组名和用户名都设为：hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组，这是linux操作系统的知识，如果不清楚可以查看linux相关的书籍。

1、创建hadoop用户组，如图（3）

 

 

2、创建hadoop用户，如图（4）

 

 

3、给hadoop用户添加权限，打开/etc/sudoers文件，如图（5）

    它并不具备管理员权限，因此我们需要将用户hadoop添加到管理员组： 

~$ sudo usermod -aG admin hadoop  

 

 

 

三、在Ubuntu下安装JDK（http://weixiaolu.iteye.com/blog/1401786） 

我们选择的是jdk1.6.0_30版本。安装文件名为jdk-6u30-linux-i586.bin.

1、复制jdk到安装目录

（1）假设jdk安装文件在桌面，我们指定的安装目录是：/usr/local/java 。可是系统安装后在/usr/local下并没有java目录，这需要我们去创建一个java文件夹，如图（1）

 

 

（2）切换到桌面下，执行复制，如图（2）

 

 

2、安装jdk

（1）切换到root用户下，如图（3）

 

 

（注：如果因忘记密码而认证失败，可以先修改root用户的密码，再执行第（1）步，修改root用户密码如图（4））

 

 

（2）运行jdk-6u30-linux-i586.bin，如图（5）

 

 

（注：可能此时仍然没有执行权限，那是因为在linux中，文件的默认权限是644，即使是属主用户也没有执行权限，这时我们需要更改其权限，如果你想知道某个文件的权限，可以进入该文件所在的文件夹，执行命令ls –la 查看。这里将jdk-6u30-linux-i586.bin文件的权限改为777，即文件的属主用户，属组用户和其他用户对该文件拥有所有权限，当然不推荐对系统中的文件这样设置权限，因为这样就破坏了linux的安全性。）

更改jdk-6u30-linux-i586.bin权限，如图（6）

 

 

更改权限后再执行第（2）步，当看到下图情况时，说明你安装成功了。

 

 

（3）这时在/usr/local/java目录下就多了一个jdk1.6.0_30文件夹.，可以查看一下，如图（8）

 

 

3、配置环境变量

（1）打开/etc/profile文件，如图（9）

 

 

（2）添加变量如下：

 

Java代码  

1. # /etc/profile: system-wide .profile file for the Bourne shell (sh(1))  
2. # and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).  
3. #set java environment  
4.   
5. export JAVA_HOME=/usr/local/java/jdk1.6.0_30  
6.   
7. export JRE_HOME=/usr/local/java/jdk1.6.0_30/jre  
8.   
9. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
10.   
11. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH   

 

   （注：为了以后集群工作的方便，这里建议每台机器的java环境最好一致。）

一般更改/etc/profile文件后，需要重启机器才能生效。这里介绍一种不用重启使其生效的方法，如图（10）

 

 

（3）查看java环境变量是否配置成功，如图（11）

 

 

（注：如果结果如上图所示，就说明你的java安装成功了。）

 

四、修改机器名 

每当ubuntu安装成功时，我们的机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。

1、打开/etc/hostname文件，如图（7）

 

 

2、回车后就打开/etc/hostname文件了，将/etc/hostname文件中的ubuntu改为你想取的机器名。这里我取“s15“。重启系统后才会生效。

五、安装ssh服务 

这里的ssh和三大框架:spring,struts,hibernate没有什么关系，ssh可以实现远程登录和管理，具体可以参考其他相关资料。

1、安装openssh-server，如图（8）

 

 

（注：自动安装openssh-server时，可能会进行不下去，可以先进行如下操作：)

 

 

2、更新的快慢取决于您的网速了，如果中途因为时间过长您中断了更新（Ctrl+z），当您再次更新时，会更新不了，报错为：“Ubuntu无法锁定管理目录（/var/lib/dpkg/），是否有其他进程占用它？“需要如下操作，如图（10）

 

 

操作完成后继续执行第1步。

这时假设您已经安装好了ssh，您就可以进行第六步了哦~

六、 建立ssh无密码登录本机 

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。
1、创建ssh-key，，这里我们采用rsa方式，如图（11）

 

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2、因为已有私钥，所以会提示是否覆盖当前私钥。第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

3、 现在可以登入ssh确认以后登录时不用输入密码：

登录localhost，如图（13）

 

 

( 注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。)

4、执行退出命令，如图（14）

 

5.第二次登录 ~$ ssh localhost 

 

  有上面记录，说明ssh安装成功了 

退出   ~$ exit  

 

七、安装hadoop 

我们采用的hadoop版本是：hadoop-0.20.203（http://apache.etoak.com/hadoop/common/hadoop-0.20.203.0/ ），因为该版本比较稳定。

1、假设hadoop-0.20.203.tar.gz在桌面，将它复制到安装目录 /usr/local/下，如图（15）

 

 

2、解压hadoop-0.20.203.tar.gz，如图（16）

 

  tar -zxvf  文件名（....tar.gz）来安装此文件

3、将解压出的文件夹改名为hadoop，如图（17）

 

 

4、将该hadoop文件夹的属主用户设为hadoop，如图（18）

 

 

5、打开hadoop/conf/hadoop-env.sh文件，如图（19）

 

 

6、配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）（最重要！！）

 

 

7、打开conf/core-site.xml文件，编辑如下：

 

Java代码  

1. "1.0"?>  
2. "text/xsl" href="configuration.xsl"?>  
3.   
4.   
5.   
6.   
7.     
8.   fs.default.name    
9.   hdfs://localhost:9000     
10.      
11.      

 

8、打开conf/mapred-site.xml文件，编辑如下：

 

Java代码  

1. "1.0"?>  
2. "text/xsl" href="configuration.xsl"?>  
3.   
4.   
5.   
6.         
7.           
8.       mapred.job.tracker    
9.       localhost:9001     
10.          
11.         

 

9、打开conf/hdfs-site.xml文件，编辑如下：

 

Java代码  

1.   
2.   
3. dfs.name.dir  
4. /usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2 
5.   
6.   
7. dfs.data.dir  
8. /usr/local/hadoop/data1,/usr/local/hadoop/data2  
9.   
10.   
11. dfs.replication  
12. 2  
13.   
14.   

 

10、打开conf/masters文件，添加作为secondarynamenode的主机名，作为单机版环境，这里只需填写localhost就Ok了。

11、打开conf/slaves文件，添加作为slave的主机名，一行一个。作为单机版，这里也只需填写localhost就Ok了。

12.  更改/etc/profile文件后 ：是javahome路径更新

 

 

目的是更新：/etc/profile 文件

1. # /etc/profile: system-wide .profile file for the Bourne shell (sh(1))  
2. # and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).  
3. #set java environment  
4.   
5. export JAVA_HOME=/usr/local/java/jdk1.6.0_30  
6.   
7. export JRE_HOME=/usr/local/java/jdk1.6.0_30/jre  
8.   
9. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
10.   
11. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH   

 

  

 

八、在单机上运行hadoop 

1、进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作，如图（21）

 

 

当你看到下图时，就说明你的hdfs文件系统格式化成功了。

 

 

3、启动bin/start-all.sh，如图（23）

 

 

4、检测hadoop是否启动成功，如图（24）

 

 

如果有Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker五个进程，就说明你的hadoop单机版环境配置好了，呵呵，多么宏伟的工程呀！

 

千万要注意这里，我使用这个命令只能看到jps自己的进程，纠结了很长时间，忽然发现得用 sudo jps果然能出现6个进程，坑爹啊，大家千万要注意。

 

  可以通过firefox浏览器查看，使用 http://localhost:50030/

对，你没有看错不是我们配置的core-site的9000的端口，也不是9001的端口，是50030，我也不知道为什么，有谁知道一下。如果看到下面激动人心的画面，就说明你成功了。

 

 

 

参考：

http://weixiaolu.iteye.com/blog/1402919

http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html

 

 

 

 

 

  

转载于:https://www.cnblogs.com/lifegoesonitself/p/3185933.html