Eclipse连接hdfs

Eclipse连接Hadoop

一、实验目的

1.通过Eclipse连接Hadoop

2.用Eclipse对HDFS进行操作

二、实验原理

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。通过Eclipse的Hadoop插件可以使Eclipse对HDFS进行操作，同时，可以进行程序编写后的对集群进行MepReduce操作。

从Eclipse3.5开始，安装目录下就多了一个dropins目录。只要将插件解压后拖到该目录即可安装插件。

比如安装svn插件subclipse-1.8.16.zip，只需要如下的三步即可：

1、使用winrar等压缩软件将压缩包解压至某一文件夹，比如subclipse-1.8.16

2、将此目录移动/复制至Eclipse安装目录下的dropins目录

3、重启Eclipse。

由于此种安装方式可以将不同的插件安装在不同的目录里，并且不用麻烦地写配置文件，因此管理起来会非常方便，推荐使用

三、实验环境

虚拟机数量：3台

操作系统：Ubuntu14.04

Hadoop：Hadoop 2.2.0

        hadoop-common-2.2.0-bin-master.zip

Java：java version "1.7.0_51"

Eclipse：eclipse-inst-win64.exe

 

四、实验内容及步骤

1.     将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到eclipse的dropins目录下，重启eclipse打开Windows -> Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop(已配置好的Hadoop)安装路径，如下图

图4-1

2.      通过Window-> Open Perspective->Other菜单打开Map Reduce视图，在eclipse控制台出现Map/Reduce Locations

3.      在控制台右击图标，进行配置如图，其中Host配置需要连接的master的IP，若在本机Hosts文件中已配置master IP可直接写master

图4-2

4.      点击DFSLocations-->Hadoop如果能显示文件夹如图所示，说明配置正确

图4-3

5.      新建项目，File-->New-->Other-->Map/ReduceProject，可复制hadoop-2.2.0-src\hadoop-2.2.0-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples下WordCount.java代码

6.      上传模拟数据文件夹，为了运行程序，我们需要一个输入的文件夹，和输出的文件夹。

图4-4

通过hadoop shell命令进行创建输入文件夹hadoop fs -mkdir -p /test/data，之后对文件夹进行权限修改，hadoop fs -chmod -R 777 /test，

在本地创建一个word.txt，输入一些英文单词，右击eclipseDFS Locations进行文件上传

7.      将hadoop-common-2.2.0-bin-master.zip解压，把hadoop-common-2.2.0-bin-master下的bin全部复制放到我们下载的Hadoop2.2的Hadoop2.2/bin目录下

8.      Hadoop2.2配置变量环境HADOOP_HOME 和path，如图所示

图4-5

图4-6

9.      将hadoop-common-2.2.0-bin-master下的bin的hadoop.dll放到C:\Windows\System32下，然后重启电脑，否则会出现"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误

10.  点击标题栏Run，通过RunConfigurations进行配置如图配置

图4-7

11.  运行，点击output下part-r-00000查看结果，如图所示

图4-8