Ubuntu12.04下安装hadoop1.0.4

  首先声明:如果能通过官方文档安装就尽量用官方的方法。

 环境：  linux :ubuntu 12.04

　　　　jdk：1.7.0_17

 jdk安装：

       1，在官网下载最新jdk后，解压

      tar -zxvf jdk....

      2(可省),把jdk放在/usr下

      cp jdk /usr

      3,修改/etc/profile :添加

    

export JAVA_HOME=/usr/jdk1.7.0_17  
export JRE_HOME=/usr/jdk1.7.0_17/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

   注意：JAVA_HOME,JRE_HOME应该是你解压后jdk文件的位置

   4，查看是否安装成功

source /etc/profile
java -version

安装成功应该可以看到类似的，否则重新再安装一遍把 

java version "1.7.0_17"
Java(TM) SE Runtime Environment (build 1.7.0_17-b02)
Java HotSpot(TM) Server VM (build 23.7-b01, mixed mode)

 

2，SSH安装

sudo apt-get install ssh
sudo apt-get install rsync 

 

3，安装hadoop1.0.4

    1，下载，解压，(改名，放置)。

     2，修改  hadoop1.0.4下conf/hadoop-env.sh中的JAVA_HOME （和jdk上面的一样）

     3，在hadoop1.0.4文件夹下，输入 bin/hadoop (This will display the usage documentation for the hadoop script.)

   

     1，Local (Standalone) Mode测试 

 在hadoop目录下，最好带sudo。

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
$ cat output/*

     2，Pseudo-Distributed Mode

         1，修改配置文件

         　　conf/core-site.xml:

　　 

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

    　　　　conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

　　　　 conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

       2，设置ssh

    ssh localhost

    ssh localhost这需要密码，如果去掉密码的话就需要命令：

  

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

     3,格式化namenode

   明显在hadoop目录下

bin/hadoop namenode -format

    4，启动hadoop守护进程(the hadoop daemons)

  

bin/start-all.sh

  5,查看是否配置成功

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/

　6，关闭守护进程

  

bin/stop-all.sh

 

 

总结：1，自己整个安装过程中，重装一次ubuntu，重装n次jdk，第一次安装ssh时非常混乱。

2，不要迷信网上的安装博客，尽量按照官方文档安装。