为hadoop集群安装mapreduce

上篇文章hadoop完全分布式集群搭建只是提到hdfs文件系统的安装配置，这篇短文关注mapreduce的安装配置，最终的启动也只是start-dfs.sh，而非start-all.sh。事实上在hdfs完全分布式搭建完成的环境中进行mapreduce的相关配置，是一件轻而易举的事，以为hdfs和mapreduce是hadoop框架的核心组件，一个负责存储，一个负责计算，配合得很好。

修改map-site.xml

通过mapred.job.tracker指定JobTracker的执行节点。

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>node1:9001</value>
     </property>
</configuration>

安装mapreduce，其实是分配JobTracker和TaskTracker，TaskTracker自然对应datanode节点，原则上JobTracker对应于任何一个节点都可以，然而具体实践时，如果指定node2（node3，普通的datanode节点），不会如预想的在node2（或者node3）上启动相关的任务。
查看对应的日志文件（文件路径/usr/local/hadoop/logs）

tail -n50 hadoop-root-jobtracker-node1.log

会有一条错误：

FATAL org.apache.hadoop.mapred.JobTracker: java.net.BindException: Problem binding to node3/192.168.16.103:9001 : Cannot assign requested address

无法对请求的地址进行绑定；

如前所示，在mapred-site.xml的配置文件中，将JobTracker配置在node1（也即namenode所在的节点）就不会出现这样的问题。

启动

start-all.sh

分别在node1、node2和node3中查看运行的java进程数，和预期的一致。

验证

执行过start-all.sh之后，在windows操作系统的浏览器地址栏中输入，

http://node1:50070
http://node1:50030

分别打开hdfs和mapreduce管理界面。

注：这里的端口号（对应http协议）是50070（对应hdfs）和50030（对应mapreduce）而不是配置文件中设置的9000和9001，它们都对应于RPC协议。