hadoop本地(独立)模式-安装

本人博客开始迁移，博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action

本地(独立)模式

    Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。

伪分布式(Pseudo-distributed)模式

    hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。

完全分布式(Fully distributed)模式

    hadoop守护进程运行在一个集群上。

本地(独立)模式安装过程：

1/首先在官网下载hadoop文件，hadoop-0.20.2.tar.gz
2/系统下要安装jdk
我的系统jdk安装在：JAVA_HOME=/usr/lib/jvm/java-6-oracle
3/解压hadoop-0.20.2.tar.gz文件：

tar -xvzf hadoop-0.20.2.tar.gz

4/编辑 conf/hadoop-env.sh文件，至少需要将JAVA_HOME设置为Java安装根路径。

5/尝试如下命令：

$ bin/hadoop

将会显示hadoop 脚本的使用文档。

下面运行hadoop自带例子：

将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。 

$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*