MapReduce配置

MapReduce程序可以以以下三种模式运行

Local(Standalone) Mode：只有一个 Java 虚拟机在跑，完全没有分布式的成分。且不使用HDFS文件系统，而是使用本机的Linux文件系统。

Pseudo-distributed Mode：在同一台机器上启动独立数个 JVM 进程，每一个hadoop daemon运行在一个单独的JVM进程中，进行“伪分布式”操作。

Fully-distributed Mode：真正的可以运行于多台机器上的分布式模式。其中， Standalone mode 使用local filesystem 以及 local MapReducer job runner， Distributed mode 使用HDFS 以及 MapReduce daemons

对应的配置文件 conf/core-site.xml：

为Hadoop设定默认的文件系统

 

 <configuration>

  <property>

         <name> fs.default.name </name>

         <value>       VALUE      </value>

</property>

</configuration>

 

Standalone mode:    VALUE=file:///

Pseudo-distributed mode: VALUE=hdfs://localhost:9000

Fully-Distributed mode：   VALUE=hdfs://namenode

对应的配置文件 conf/mapred-site.xml

<configuration>

 <property>

     <name> mapred.job.tracker </name>

      <value>            VALUE         </value>

 </property>

</configuration>

 

Standalone mode:          VALUE=local

Pseudo-distributed mode: VALUE=localhost:9001

Fully-Distributed mode：   VALUE=jobtracker:9001