ubuntu下hadoop+eclipse开发环境的搭建

我们需要准备一下文件:
1.eclipse下载地址是:http://www.eclipse.org/downloads/
2.Hadoop的Eclipse插件(版本为2.7.2对应hadoop版本2.7):http://download.csdn.net/detail/u012999810/9524816

首先需要在ubuntu下安装hadoop,这里不做详细介绍,站在其他人的肩膀上来的更快,所以请参考:http://www.powerxing.com/install-hadoop/

hadoop安装好之后我们就可以开始hadoop+eclipse开发环境的搭建了:

1.安装eclipse:
打开eclipse下载地址之后,默认是windows版本,所以我们重新选择linux版本,之后等待页面跳转:
ubuntu下hadoop+eclipse开发环境的搭建_第1张图片

页面转到linux版本页面之后,我们选择如下工具下载,位数需要根据系统位数选择:

ubuntu下hadoop+eclipse开发环境的搭建_第2张图片

查看linux系统位数的命令是:getconf LONG_BIT

下面的例子输出的结果是64,说明系统的位数是64位,所以选择64位版本下载:
显示系统位数

下载,等待下载完成:
ubuntu下hadoop+eclipse开发环境的搭建_第3张图片

下载完成后将文件复制到虚拟机(如果是在虚拟机里面下载的,跳过此步骤),解压到自己希望安装的目录即可。(这里有一个问题,如果你不是直接在虚拟机里面下载的,那么需要将文件复制到虚拟机。一般直接将文件拖拽进入虚拟机的相应文件夹就可以了,但是有时候会出现不能拖拽,或者不能复制粘贴的情况。这时候,我们将虚拟机的Vmware Tools重新安装,一般就可以解决问题。)

之后启动eclipse,将开始的页面关闭,直接进入eclipse,看是否可以正常打开。(在解压后的文件夹下面,双击如下图标:)
ubuntu下hadoop+eclipse开发环境的搭建_第4张图片

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse,选择window>perspective>open perspective>other,可以看到map/reduce已经生效。
ubuntu下hadoop+eclipse开发环境的搭建_第5张图片

生效之后,我们选择这里的map/reduce,在点击ok,进入map/Reduce的配置页面,在页面下面位置单击右键,选择EditHadoop location… ,进入编辑页面。
ubuntu下hadoop+eclipse开发环境的搭建_第6张图片

编辑页面:
ubuntu下hadoop+eclipse开发环境的搭建_第7张图片

location name可以自己定义:
第一个host写localhost,port为我们安装hadoop时配置伪分布式安装的时候的port,下图:ubuntu下hadoop+eclipse开发环境的搭建_第8张图片

第二个host默认是localhost,port可以在hadoop/etc/hadoop中的core-site.xml文件中查看。
ubuntu下hadoop+eclipse开发环境的搭建_第9张图片
成功之后,我们可以看到下面的文件结构:
ubuntu下hadoop+eclipse开发环境的搭建_第10张图片
到这里就配置完成了。
下面开始我们第一个Mapreduce项目的创建:
选择file>new>other>MepReduce project
ubuntu下hadoop+eclipse开发环境的搭建_第11张图片

上面划线的地方选择你安装的hadoop的路径。
ubuntu下hadoop+eclipse开发环境的搭建_第12张图片
配置过程就完全结束了,剩下的自己看各种教程去学吧!!!!

你可能感兴趣的:(大数据)