Hadoop MapReduce初探和eclipse hadoop插件安装

MapReduce的架构

提交MapReduce程序提交到哪里去？？？
提交到JobTracker运行程序中！！！

这里的任务是指： maptask 或者 reducetask

1、一主多从架构
2、主JobTracker
负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务都其他节点上。每一个hadoop集群中只有一个JobTracker，一般它运行在Master节点上。
3、从TaskTracker
TaskTracker主动与JobTracker通信，接收作业，并负责执行每一个任务，为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上。

JobTracker是可以指定任意一台机器的，TaskTracker是必须在DataNode节点上的，因为是移动计算而不移动数据，这个TaskTracker就相当于计算，DataNode上存放着数据，所以TaskTracker必须在DataNode节点上。
JobTracker的工作只做管理和分配，不进行计算，所以随便找一台机器作为JobTracker就可以了

配置TaskTracker

找到hadoop配置文件conf/mapred-site.xml 这个是hadoop的核心配置文件

Paste_Image.png

然后编辑内容如下：

555.png

配置后启动，如图：启动成功：

666.png

eclipse hadoop插件安装

参考插件配置和安装

google搜索 hadoop eclipse 1.2.1 jar 就可以搜索到，放到eclipse插件中即可。
我这里eclipse版本为： 4.4.1
使用的hadoop插件下载 hadoop插件地址

插件和eclipse版本还是有对应关系的,如上对应关系即可，把下载到的插件copy到eclipse的 plugins中，
然后重启eclipse。

启动eclipse，新建Map/Reduce Project,配置hadoop location.验证插件完全分布式的插件配置截图和core-site.xml端口配置

配置信息：

444.png

配置完成以后可以在eclipse中对应的信息：

555.png

然后可以进行一些增删改查文件的操作：具体演示视频参考youtube上的讲解