Windows下的eclipse远程连接Linux下的Hadoop2.7.3

前提条件：

1. Ubuntu/CentOS系统下安装好hadoop环境
2. Windows系统下安装好eclipse

步骤：

1. 下载eclipse连接hadoop所需的文件
   https://pan.baidu.com/s/1FhxQdQ7svCEl8mxw21QzMw
   

下载的文件夹包含以下文件：

上面的使用说明，为另外三个文件的使用方法，内容如下：
1）将hadoop-eclipse-plugin-2.7.3.jar文件复制到eclipse的dropins目录下
2） hadoop.dll和winutils.exe要放在windows的Hadoop解压后目录的bin目录下（该目录不要有中文或空格）
如：D:\soft\hadoop-2.7.3\bin
3） 将hadoop.dll文件复制到C:\Windows\System32目录

2.安装插件
2.1 找到Eclipse的安装路径，右键eclipse图标–>属性

2.2 点击 打开文件所在位置：

2.3 进入dropins目录，

2.4 将hadoop-eclipse-plugin-2.7.3.jar文件复制到dropins目录下：

2.5 重启一下Eclipse，左侧的Project Explorer可以看到DFS Locations, 如图所示：

3.下载hadoop安装包到windows目录下，右键–解压到当前文件夹：

解压得到：

将下载的hadoop.dll和winutils.exe文件

复制到windows的hadoop-2.7.3/bin目录下，截图如下：

4.设置eclipse的hadoop安装目录：
4.1 打开Window–>Preferences，

4.2 选择Hadoop Map/Reduc选项，然后点击Browse添加hadoop-2.7.3文件夹进来，点击Apply and Close 如图所示：

5.配置Map/ReduceLocations
5.1点击Window–>Show View --> Other

5.2点击MapReduce Tools，点击Map/Reduce Locations, 点击Open

Eclipse下方出现Map/Reduce Locations图标

点击右侧大象图标，新建一个Hadoop连接（也可以在Map/Reduce Locations图标下方空白区域，右键New Hadoop location）

配置以下信息：
Location name：定义连接名称，可随意填写
Map/Reduce Master：
Host填写hadoop安装所在的Ubuntu ip
Port填写8032
DFS Mastrer：
Host：系统自动与Map/Reduce一致，不用修改
Port填写8020
注意：Host和Port的设置与hadoop的hdfs-site.xml、core-site.xml的设置一致。设置截图如下：
User name：填写与Ubuntu 的用户名一致（也可随意填写）

点击Finish后，出现以下连接信息：

6.启动Ubuntu下的hadoop

jps命令查看有5个hadoop进程已启动。

7.找到下载好的hadoop.dll

将hadoop.dll文件复制到C:\Windows\System32目录

8.重启eclipse（重要，不重启eclipse可能会连接不上hadoop的DFS文件）

9.验证：
点开DFS Locations，点开local，依次点开出现的文件夹，可以看到hdfs的文件
注意：如果hdfs还没有任何文件，请用hdfs put命令上传文件到hdfs, 例如： $ hdfs dfs -put file.txt /

双击要查看的文件，右侧出现文件内容，说明windows 的eclipse已经成功连接到我们的Linux系统下的hadoop。

完成！

注意：
可能会遇到的问题如下：
Error: Call From xxx to xxx:8020 failed on connection exception: java.net.ConnectException: Connection refused:

1. 用jps命令确认Hadoop进程是否已经开启，如果没有开启使用$ start-all.sh命令开启
   
   开启进程后，刷新eclipse DFS locations下的文件夹，右键文件夹–>Refresh，如果没有刚刚的错误提示了，说明已经连接成功。如果还不行，请看下一步操作。
   

2. 检查配置文件core-site.xml，属性fs.defaultFS应该设置为自己的IP, 不能是localhost
   

3. 检查配置文件yarn-site.xml，属性yarn.resourcemanager.hostname应该设置为自己的IP, 不能是localhost
   
   修改了Hadoop配置文件并保存后，要重启Hadoop进程让修改的配置生效。

a. 停止Hadoop进程

$ stop-all.sh

d. 启动Hadoop进程

$ start-all.sh

c.确认Hadoop进程是否已开启

$ jps
7366 NameNode
8278 Jps
7640 SecondaryNameNode
7849 ResourceManager
7482 DataNode
7967 NodeManager

检查以上无误后，刷新Eclipse的DFS连接，没有了错误，说明已经连接成功！


文件夹里的0表示我们的HDFS里还没有任何文件，接下来可以上传一个文件到HDFS文件系统中，就可以愉快的玩耍了！