Eclipse远程连接Hadoop

先说下我自己laptop没有hadoop环境（虚拟机中有伪分布式，不过是为了熟悉hadoop啦），也没有像网上那样用cygwin，主要得益于实验室服务器上师兄之前搭建了hadoop集群，之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。

所以这里是记录：本机eclipse远程连接hadoop集群，使用hadoop2x-eclipse-plugin插件
我系统win10,64bit，eclipse-jee-mars-1-win32-x86_64

一.本机软件安装和配置

1.安装jdk并配置环境变量
2.安装eclipse
3.安装Ant并配置
4.下载hadoop包
我的hadoop是2.6.0的，所以下载hadoop-2.6.0.tar.gz，
http://mirrors.hust.edu.cn/apache/hadoop/common/
这里自己找对应的版本，默认32bit的，但是没关系。
5.下载hadoop2x-eclipse-plugin
https://github.com/winghc/hadoop2x-eclipse-plugin，并解压到本地
6.编译hadoop-eclipse-plugin插件
第一步，hadoop2x-eclipse-plugin-master解压在D：盘打开命令行cmd，切换到D:\hadoop\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录
第二步，执行ant jar -Dversion=2.6.0 -Declipse.home=D:\tool\eclipse-jee-mars-1-win32-x86_64 -Dhadoop.home=D:\hadoop\hadoop-2.6.0\hadoop-2.6.0
第三步，编译成功生成的hadoop-eclipse-plugin-2.6.0.jar在E:\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin路径下
7.配置windows下的eclipse和插件
第一步，把hadoop-eclipse-plugin-2.6.0.jar拷贝到D:\tool\eclipse-jee-mars-1-win32-x86_64\plugins目录下，重启一下Eclipse
第二步，window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录

第三步，然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可。同时，这时，在ProjectExplorer中可以看到一个DFSLocation的文件夹，Hadoop的HDFS文件系统的文件都会显示在这里

二.建立与hadoop的连接

1.连接之前要先确保hadoop开启，我就是刚连的时候没开启hadoop（不知道谁用了就关了），导致一直连不上，有时需要关闭防火墙
jps命令看下是否如图，

如果没东西或者少很多就是没开，打开hadoop，启动需要在 Master 节点上进行
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

2.在Map/Reduce Location右击新建一个连接
我的host,Port分别为hdfs-site.xml和core-site.cml中配置的地址和端口，另一个选项栏打对勾(选中是伪分布模式)，也有的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口
hdfs-site.xml如图：

core-site.cml如图：

3.在Advanced Parameters设置
设置hadoop.tmp.dir为之前core-site.xml中的地址，如图

点击finish
4.查看连接是否成功
如果小象下面有HDFS的文件夹就成功了。

参考：
https://my.oschina.net/muou/blog/408543
http://www.2cto.com/net/201610/553127.html
https://my.oschina.net/leejun2005/blog/122775