字体:
实验目的
1.了解Eclipse开发环境的使用
2.熟练掌握Hadoop开发插件安装
实验原理
Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是Eclipse附带了一个标准的插件集,包括Java开发工具(Java Development Tools,JDT)。
Eclipse的插件机制是轻型软件组件化架构。在客户机平台上,Eclipse使用插件来提供所有的附加功能,例如支持Java以外的其他语言。已有的分离的插件已经能够支持C/C++(CDT)、Perl、Ruby,Python、telnet和数据库开发。插件架构能够支持将任意的扩展加入到现有环境中,例如配置管理,而决不仅仅限于支持各种编程语言。
Eclipse的设计思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加于Eclipse核心之上。
Eclipse基本内核包括:图形API (SWT/Jface), Java开发环境插件(JDT ),插件开发环境(PDE)等。
Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。
因此,Hadoop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度。
Hadoop Eclipse是Hadoop开发环境的插件,在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果。除此之外,用户还可以通过Eclipse插件对HDFS进行管理和查看。总而言之,Hadoop Eclipse插件不仅安装简单,使用起来也很方便。它的功能强大,特别在Hadoop编程方面为开发者降低了很大的难度,是Hadoop入门和开发的好帮手!
Eclipse插件的安装方法大体有以下四种:第一种:直接复制法,第二种:使用link文件法,第三种:使用eclipse自带图形界面安装,第四种:使用dropins安装插件,本实验Hadoop开发插件安装使用了eclipse自带图形界面安装。
实验环境
elementary 14.04
jdk-1.8.0_151-linux-x64
hadoop-2.6.5
eclipse-java-oxygen-1a-linux-gtk-x86_64
点击打开链接可以查看自己电脑上的Hadoop版本(http://localhost:50070/dfshealth.html#tab-overview)
实验内容
在已经安装好Hadoop和Eclipse环境中,将Hadoop插件安装到Eclipse工具上并对插件进行配置。
实验步骤
1.Eclipse开发工具以及Hadoop默认已经安装完毕,均安装在/apps/目录下。
(这里因为个人原因,在安装eclipse的时候默认安装到了/usr/lib路径下,这也导致了将hadoop-eclipse-plugin-2.6.5.jar放到了错误的地方,在搭建本次的环境时我很好奇为什么又要安装一遍eclipse,历时几天,终于发现了这个问题!!!)
2.在Linux本地创建/data/hadoop3目录,用于存放所需文件。
sudo mkdir -p /data/hadoop3
将所需的插件hadoop-eclipse-plugin-2.6.5-eclipse.jar复制到/usr/lib/eclipse/plugins目录下。
注意:千万要选到自己安装eclipse的目录下,不然后面通过window打开是没有Hadoop的小象的标识的
sudo cp ~/Downloads/hadoop-eclipse-plugin-2.6.5.jar /usr/lib/eclipse/plugins
3.进入/usr/apps/eclipse目录中,双击eclipse图标,启动eclipse。
(elemtary不知道为什么没有图标,但是application中可以找到并启动eclipse,我这里是直接这样启动的)
4.在Eclipse窗口界面,依次点击Window => Open Perspective => Other。
选择Map/Reduce,并点击OK,可以看到窗口中,有三个变化。(左侧项目浏览器、右上角操作布局切换、面板窗口)
如果在windows下,则需要手动调出面板窗口Map/Reduce Locations面板,操作为,点击window => show view => Other。
在弹出的窗口中,选择Map/Reduce Locations选项,并点击OK。
这样便可以调出视图窗口Map/Reduce Location。
6.添加Hadoop配置,连接Hadoop集群。
在这里添加Hadoop相关配置。
Location name,是为此配置起的一个名字。
DFS Master,是连接HDFS的主机名和端口号。
点击Finish保存配置。
7.另外还需保证Hadoop中的HDFS相关进程已经启动。在终端命令行输入jps查看进程状态。
1. jps
若不存在hdfs相关的进程,如Namenode、Datanode、secondarynamenode,则需要先切换到HADOOP_HOME下的sbin目录,启动hadoop。
cd /apps/hadoop/sbin
./start-all.sh
8.展开左侧项目浏览视图,可以看到HDFS目录结构。
9.上图发现HDFS上,没有存放任何目录。那下面来创建一个目录,检测插件是否可用。
右键myhadoop下的文件夹,在弹出的菜单中,点击Create new directory。
输入目录名称,点击OK则创建目录成功。
右键文件夹,点击Refresh,可用刷新HDFS目录。
如果没有成功,检查nodemanger是否启动,如没有启动,启动后再重新尝试。
到此Hadoop开发插件已经安装完毕!