使用Eclipse连接远程Hadoop集群并运行实例

1. 首先将Hadoop解压到本地

1. 在bin中添加两个文件hadoop.dll和winutils.exe

不自带，需要从网上下载（过段时间发上来）

1.x版本的不适用

1. 添加Eclipse-Hadoop-plugins插件放到Eclipse安装目录的plugins文件夹中

1. 添加环境

Path末加D:\softWare\hadoop\hadoop-2.6.5\bin

1. 启动Eclipse

1. 新建连接

1. 1

与这里的一致

1. 运行wordCount程序

复制过来

1. 新建文件夹，以及一个文件

将这个文件上传到dfs

1. 进行运行前的配置

1. 运行查看结果

初次运行只打印了这些

这种情况一般是由于log4j这个日志信息打印模块的配置信息没有给出造成的，可以在项目的src目录下，新建一个文件new->other->general->file，命名为“log4j.properties”，填入以下信息：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

保存后重新运行即可成功。

成功：

 

 

如果没有指定输入输出路径控制台只打印这个

Usage: wordcount [...]