hadoop学习笔记-4-eclipse运行MapReduce

Eclipse安装

1.      下载eclipse安装包：eclipse-SDK-4.2.1-Linux.tar.gz

2.      解压到指定目录：例如/usr/local

3.      运行./eclipse即可

 

使用Eclipse开发MapReduce程序

1.      将hadoop安装目录的contribute/eclipse-plugin中的jar包拷贝至eclipse安装目录下的plugins中

2.      重新启动eclipse

3.      在Windows-preference中有Hadoop-MapReduce的配置路径，配置其中的hadoop安装目录，点击ok

 

4.      配置MapReduce，选择map/reduce视图，选择下方的MapReduce这个栏目，选中大象，右击，编辑，其中DFSMaster配置对应于hadoop配置文件的core-site.xml，MapReduct Master配置对应于map-red-core.xml中配置的端口信息，下方的User name用于免账号ssh登录时候的用户名。

5.      点击确定之后，可以在eclipse的左侧导航看到文件系统中的目录和文件。

 

注意：

1.      如果不能看到文件系统中的文件，尝试以下步骤，重新格式化文件系统：

stop-all.sh，hadoop namenode –format，start-all.sh

（伪分布式环境，每次重新启动系统的时候需要重新格式化文件系统，否则会出现链接失败的情况，Call to localhost/127.0.0.1:8021 failed on connection exception:java net ConnectException）

 

 

Eclipse运行hadoop程序

需要注意MapReduct程序都是对文件系统中的文件进行操作，所以一般在运行的时候需要将文件拷贝至hdfs，并且指定运行参数（比如输入和输出目录）。

1.      新建Project – MapReduct Project

2.      创建包和类

3.      将hadoop安装目录中的wordcount程序内容拷贝过来（安装目录/src/examples/中）

4.      右击要运行的类，Run—Run Configuration，配置输入和输出目录

5.      指定输入目录和输出目录，下图所示。

6.      其中其中的hdfs://localhost是在core-site.xml配置文件的里定义的fs.default.name的值，下图表示输入目录为in2，输入目录为out

 

运行结果：