搭建基于MyEclipse的Hadoop开发环境

 

搭建基于MyEclipse的Hadoop开发环境

 

 

1.安装myeclipse的hadoop插件

 

1. 打开MyEclipse，查看是否已经安装过

window  ->  preferences 

没有显示Hadoop Map/Reduce，则说明MyEclipse是没有安装过Hadoop的插件，而我这个有，是因为我已经安装了hadoop插件。

首先，确认你本地的Windows上已经安装JDK和MyEclipse，并能开发java程序。

 

1. 下载Eclipse的Hadoop插件hadoop-eclipse-plugin-7.3

将下载下来的jar文件放入安装的MyEclipse -2015\dropins目录下，然后重启MyEclipse。

 

1. 重启后，出现了Hadoop Map/Reduce，说明在myeclipse安装hadoop插件成功

 

 

 

2.本地的hadoop安装

 

1. 将hadoop-2.7.4.tar.gz解压成hadoop-2.7.4，放到D盘重启MyEclipse，菜单的Windows   ->   Preferences 中会多出一个 Hadoop Map/Reduce的项。点击这一项，右侧选择你的Hadoop存放目录 （D:\ hadoop-2.7.4）

 

 

1. 配置环境变量

变量名                             值

HADOOP_HOME                       D:\hadoop-2.7.4

Path                                          D:\hadoop-2.7.4\bin

 

 

新建环境变量HADOOP_HOME，变量值为D:\hadoop-2.7.4

 

修改Path变量，添加D:\hadoop-2.7.4\bin(或者%HADOOP_HOME%\bin)

 

 

1. 添加Map/Reduce Location

将myeclipse切换到Map/Reduce视图

底部操作区会出现Map/Reduce Locations项，如下图所示：

 

在上图所示区域点击鼠标右键或者如上图所示点击它也行，然后New Hadoop location.

在弹出的界面中做如下设置：

      

 

 

1. 以管理员身份运行记事本，打开hosts文件。

 

1. 修改参数

50020 -> 50070      （50070是MapReduce的Web界面）

50040-> 9000  

kekvin -> hadoop

 

1. 启动集群

cd /usr/java/hadoop

sbin/start-all.sh

jps

 

 

 

 

 

 

这就表明，hadoop与本地的myeclipse搭建成功。

 

 

1. 新建一个MapReduce项目

 

1. 新建cnq.txt，用来测试，通过hadoop自带的wordcount程序来测试。

ls

vi cnq.txt

 

       2. 添加一些数据，如：

caonanqing hadoop

caonanqing hadoop

caonanqing hadoop

:wq保存退出

 

3. 查看hdfs的文件目录

hadoop fs -ls /       查看

hadoop fs -mkdir /caonanqing    新建caonanqing目录

hadoop fs -ls /     查看

hadoop fs -put /usr/java/hadoop/cnq.txt /caonanqing     将/usr/java/hadoop/cnq.txt  输出到  /caonanqing

hadoop fs -ls /caonanqing    查看caonanqing目录

4. 执行Hadoop自带的wordcount程序来测试运行下

 

bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar  wordcount  /caonanqing/cnq.txt  /caonanqing/wordcount-out

5. 新建一个项目

File  ->  New  ->  Map/Reduce Project 

 

 

6. 新建包package

com.caonanqing.hadoop.test

 

 

7. 新建一个WordCount类

 

8. 看下WordCount自带的程序

 

 

改之前：

 

改之后：

 

 

9. window -> show view -> other ->