ubuntu10.04安装与测试hadoop1.1.1版本的伪分布式

1、安装jdk

前面的文章已经讲过了http://6341986.blog.51cto.com/6331986/1135698这里就略过
2、安装ssh （可以暂时不安装）
sudo apt-get install ssh
这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。
apt的全称为the Advanced Packaging Tool，是Debian计划的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。
3、下载hadoop
我下载的是1.1.1版本的
命令：wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1.tar.gz
4、安装hadoop
我下载的是1.1.1版本的
解压命令：tar zxvf hadoop-1.1.1.tar.gz
然后重命名：mv hadoop-1.1.0 hadoop
然后对hadoop进行配置
a.单节点方式配置：
安装单节点的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。
b.伪分布式配置：
你可以把伪分布式的Hadoop看做是只有一个节点的集群，在这个集群中，这个节点既master，也是slave;既是NameNode也是DataNode;既是JobTracker，也是TaskTracker。

（1）修改conf/core-site.xml（在hadoop安装文件下面）  这是Hadoop核心的配置文件，这里配置的是HDFS的地址和端口号。
命令：gedit conf/core-site.xml
加入下面内容：
conf/core-site.xml:
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>
还有一种方法是加入下面的内容（不过下面的方面一直没有成功，启动不起来NameNode 和 DataNode）：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。
（2）修改conf/hdfs-site.xml   这是Hadoop中HDFS的配置，配置的备份方式默认为3，在单机版的Hadoop中，需要将其改为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
（3） 修改conf/mapred-site.xml 这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
（4）为了是hadoop能找到java，所以在conf/hadoop-env.sh最后一行添加jdk的路径，我的java路径为 export JAVA_HOME=/home/jdk1.6.0_41 命令：gedit  conf/hadoop-env.sh打开后加入jdk路径
（5）接下来，在启动Hadoop前，需格式化Hadoop的文件系统HDFS(这点与Windows是一样的，重新分区后的卷总是需要格式化的)。在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
  命令：bin/hadoop namenode -format

（6）然后再启动服务，由于我的单节点安装，所以就全部启动
命令：bin/start-all.sh

然后再输入jps查看本机的启动情况
命令：jps

可以看到namenode与datanode都启动了如果你不是单机模式，多节点的话，你在namenode看到的就只有namenode而没有datanode，反之在datanode也是一样。
停止所有服务命令：bin/stop-all.sh
（7）最后，验证Hadoop是否安装成功。
然后再打开http://localhost:50030来查看map/reduce的状态与http://localhost:50070查看hdfs的状态，由于我的机器的ip是172.30.3.156，所以我如果不在本机查看的话，就可以使用http://172.30.3.156:50030查看，如果都能查看，说明Hadoop已经安装成功。
下面是http://172.30.3.156:50030的界面
下面是http://localhost:50070的界面
对于Hadoop来说，安装MapReduce及HDFS都是必须的，但是如果有必要，你依然可以只启动HDFS(start-dfs.sh)或MapReduce(start-mapred.sh)。