eclipse运行mapreduce的wordcount

1,eclipse安装hadoop插件

插件下载地址:链接: https://pan.baidu.com/s/1U4_6kLFNiKeLsGfO7ahXew 提取码: as9e 

下载hadoop-eclipse-plugin-2.7.3.jar包,放入eclipse路径下(本人eclipse版本为eclipse mars,路径为C:\Users\Administrator\.p2\pool\plugins,其他版本可直接放入eclipse安装路径下的plugin)

2,安装hadoop到本地,并配置环境变量

HADOOP_HOME:C:\hadoop-2.7.2
PATH后面追加%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

  

 3,修改hadoop配置文件hadoop-2.7.2\etc\hadoop\hadoop-env.cmd(JAVA_HOME路径中的空格会导致错误,所以此处单独处理)

set JAVA_HOME="C:\Program Files"\Java\jdk1.8.0_45

4,配置eclipse中hadoop路径

eclipse运行mapreduce的wordcount_第1张图片

5,window-show views-other-Map/Reduce location,打开mapreduce窗口

6,点击右侧大象,在窗口中配置大数据服务器地址,若host中已配置ip映射可直接使用域名,否则填写集群ip地址

eclipse运行mapreduce的wordcount_第2张图片

 

 

 

 7,左侧窗口出现集群连接信息,目录应同直接在浏览器访问时相同。

eclipse运行mapreduce的wordcount_第3张图片

8,右键,新建mapreduce项目wordcount

eclipse运行mapreduce的wordcount_第4张图片

9,将源码中wordcount.java类复制到项目中,代码路径hadoop-2.7.7-src\hadoop-mapreduce-project\hadoop-mapreduce-client\hadoop-mapreduce-client-jobclient\src\test\java\org\apache\hadoop\mapred

源码下载地址:链接: https://pan.baidu.com/s/1yRRymdG2hyhbv-PJjj_21w 提取码: 7chz 

10,将log4j.properties文件放入项目src下,文件路径hadoop-2.7.7-src\hadoop-common-project\hadoop-common\src\test\resources

11,在集群创建输入文件夹,并修改权限

hadoop fs -mkdir /hadoopTest
hadoop fs -chmod -R 777 /hadoopTest

 

12,右键点击hadoopTest,创建input文件夹,注意不要创建output文件夹,若有页需要删除,因为执行程序会自动创建此文件夹

eclipse运行mapreduce的wordcount_第5张图片

13,右键上传文件,将需要统计的文本,上传到input目录

14,右键wordcount项目,点击run configuration,配置执行执行参数

eclipse运行mapreduce的wordcount_第6张图片

15,点击apply,再点击run按钮,执行程序,再查看dfs locations,发现多了output目录,下面有程序执行结果

16,如果程序执行报错:org.apache.hadoop.io.nativeio.NativeIO$Windwos.access0需要从源码中copy出NativeIO类,放入项目中,修改access方法,改为return0。注意,必须从源码中得到,从jar中得到的类是没有此方法的

 

转载于:https://www.cnblogs.com/javadongx/p/hadoop_mapredue_wordcount_eclipse.html

你可能感兴趣的:(eclipse运行mapreduce的wordcount)