Windows本地配置Hadoop集群开发环境
搭建好Hadoop集群后，应该如何开发mapreduce程序？比较简单的方法是在Windows本地进行开发环境的搭建。先确认已经在虚拟机中的Hadoop集群已经开启，在Windows本地的eclipse已经安装及环境变量配置好，而且在本地文件夹已经有和集群同版本hadoop文件（解压缩好了）。
准备：需要在GitHub上下载好以下两个文件
hadoop2x-eclipse-plugin-master.zip
hadoop-common-2.2.0-bin-master.zip
1、hadoop2x-eclipse-plugin-master.zip
将hadoop2x-eclipse-plugin-master.zip解压后，找到该文件的/release/目录下的三个jar包，放入eclipse的plugin目录下
"D:\ecliwrit\eclipse-jee-2019-12-R-win32-x86_64\eclipse\plugins"
2、hadoop-common-2.2.0-bin-master.zip
将hadoop-common-2.2.0-bin-master.zip解压，复制bin里面的所有文件到本地{HADOOP_HOME}/bin下
"D:\hadoop\hadoop-2.7.2\bin"
接着，将hadoop-common-2.2.0-bin-master下的bin里的hadoop.dll放到"C:\Windows\System32"下。
最后，重启电脑（这一步很重要！！！）
3、eclipse设置
这一步主要是把本地的Hadoop的地址放进去，因为eclipse写Hadoop/MapReduce程序时，需要的一些包是要从本地导入的。
Window-->preferences-->Hadoop Map/Reduce-->设置好路径”D:\hadoop\hadoop-2.7.2”-->Apply and Close
4、建立eclipse与Hadoop集群的连接
这里开始要建立eclipse与Hadoop集群的连接，这样的话，在eclipse上写程序，可以提交到Hadoop集群上跑，比较方便调试。
Window--> Show View--> Other -->Map/Reduce Locations -->Open--> 界面下端，右键选择New Hadoop Location -->配置连接信息
接着，进行具体信息的配置，我这个是已经配置好的。可以看具体要配置的信息有哪些。
可以看到，要配置的信息就那么几条，第一个是Location name ,这个随便写就行。左端Map/Reduce(V2) Master配置的是Job Tracker的IP和端口号，根据hadoop的配置文件mapred-site.xml查看，本集群中namenode的IP是hadoop102，端口号的话，我没有修改过就默认为9001；右端DFS Master配置的信息，namenode的IP和端口，根据hadoop的配置文件core-sites.xml中的fs.defaultFS，IP也是hadoop102，端口号是9000。可以在配置文件中找到
[root@hadoop102 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop/
[root@hadoop102 hadoop]# ls
[root@hadoop102 hadoop]# cat core-site.xml
在之前集群文件配置的时候就已经这样写了，如果记不住了的话，可以去进行查看。
到此为止，Windows本地配置Hadoop集群开发环境就已经算是完成了。要看一下eclipse是否已经与集群连接成功。在eclipse界面左上角，DFS Location目录下，已经出现了hdfs的文件，说明已经连接成功。接下来进行建一个新的project进行编程步骤就很简单了。稍微提示一下，在每一个项目的src文件夹下都需要先把Hadoop的日志文件log4j.properties复制过去，该文件的地址在
{HADOOP_HOME}/etc/hadoop/log4j.properties
大功告成，接下来马上写个wordcount测试一下！