3.1 Hadoop开发插件安装

实验3.1 Hadoop开发插件安装

字体：

实验目的

1.了解Eclipse开发环境的使用

2.熟练掌握Hadoop开发插件安装

实验原理

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是Eclipse附带了一个标准的插件集，包括Java开发工具（Java Development Tools，JDT）。

Eclipse的插件机制是轻型软件组件化架构。在客户机平台上，Eclipse使用插件来提供所有的附加功能，例如支持Java以外的其他语言。已有的分离的插件已经能够支持C/C++（CDT）、Perl、Ruby，Python、telnet和数据库开发。插件架构能够支持将任意的扩展加入到现有环境中，例如配置管理，而决不仅仅限于支持各种编程语言。

Eclipse的设计思想是：一切皆插件。Eclipse核心很小，其它所有功能都以插件的形式附加于Eclipse核心之上。

Eclipse基本内核包括：图形API (SWT/Jface)， Java开发环境插件(JDT )，插件开发环境(PDE)等。

Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。

因此，Hadoop的开发者为了降低Hadoop的难度，开发出了Hadoop Eclipse插件，它可以直接嵌入到Hadoop开发环境中，从而实现了开发环境的图形界面化，降低了编程的难度。

Hadoop Eclipse是Hadoop开发环境的插件，在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时，Eclipse插件会自动导入Hadoop编程接口的jar文件，这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序，也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果。除此之外，用户还可以通过Eclipse插件对HDFS进行管理和查看。总而言之，Hadoop Eclipse插件不仅安装简单，使用起来也很方便。它的功能强大，特别在Hadoop编程方面为开发者降低了很大的难度，是Hadoop入门和开发的好帮手!

Eclipse插件的安装方法大体有以下四种：第一种：直接复制法，第二种：使用link文件法，第三种：使用eclipse自带图形界面安装，第四种：使用dropins安装插件，本实验Hadoop开发插件安装使用了eclipse自带图形界面安装。

实验环境

elementary 14.04

jdk-1.8.0_151-linux-x64

hadoop-2.6.5

eclipse-java-oxygen-1a-linux-gtk-x86_64

点击打开链接可以查看自己电脑上的Hadoop版本（http://localhost:50070/dfshealth.html#tab-overview）

实验内容

在已经安装好Hadoop和Eclipse环境中，将Hadoop插件安装到Eclipse工具上并对插件进行配置。

实验步骤

1.Eclipse开发工具以及Hadoop默认已经安装完毕，均安装在/apps/目录下。

(这里因为个人原因，在安装eclipse的时候默认安装到了/usr/lib路径下，这也导致了将hadoop-eclipse-plugin-2.6.5.jar放到了错误的地方，在搭建本次的环境时我很好奇为什么又要安装一遍eclipse，历时几天，终于发现了这个问题！！！）

2.在Linux本地创建/data/hadoop3目录，用于存放所需文件。

 sudo mkdir -p /data/hadoop3  

将所需的插件hadoop-eclipse-plugin-2.6.5-eclipse.jar复制到/usr/lib/eclipse/plugins目录下。

注意：千万要选到自己安装eclipse的目录下，不然后面通过window打开是没有Hadoop的小象的标识的

 sudo cp ～/Downloads/hadoop-eclipse-plugin-2.6.5.jar /usr/lib/eclipse/plugins

3.进入/usr/apps/eclipse目录中，双击eclipse图标，启动eclipse。

(elemtary不知道为什么没有图标，但是application中可以找到并启动eclipse，我这里是直接这样启动的）

 

4.在Eclipse窗口界面，依次点击Window => Open Perspective => Other。

选择Map/Reduce，并点击OK，可以看到窗口中，有三个变化。（左侧项目浏览器、右上角操作布局切换、面板窗口）

 

如果在windows下，则需要手动调出面板窗口Map/Reduce Locations面板，操作为，点击window => show view => Other。

 

在弹出的窗口中，选择Map/Reduce Locations选项，并点击OK。

 

这样便可以调出视图窗口Map/Reduce Location。

6.添加Hadoop配置，连接Hadoop集群。

 (就是这个小蓝象）

在这里添加Hadoop相关配置。

 

Location name，是为此配置起的一个名字。

DFS Master，是连接HDFS的主机名和端口号。

点击Finish保存配置。

7.另外还需保证Hadoop中的HDFS相关进程已经启动。在终端命令行输入jps查看进程状态。

1. jps  

若不存在hdfs相关的进程，如Namenode、Datanode、secondarynamenode，则需要先切换到HADOOP_HOME下的sbin目录，启动hadoop。

 cd /apps/hadoop/sbin  

 ./start-all.sh  

8.展开左侧项目浏览视图，可以看到HDFS目录结构。

 

9.上图发现HDFS上，没有存放任何目录。那下面来创建一个目录，检测插件是否可用。

 

右键myhadoop下的文件夹，在弹出的菜单中，点击Create new directory。

 

输入目录名称，点击OK则创建目录成功。

 

右键文件夹，点击Refresh，可用刷新HDFS目录。

如果没有成功，检查nodemanger是否启动，如没有启动，启动后再重新尝试。

到此Hadoop开发插件已经安装完毕！