Hadoop插件的安装配置

1、hadoop-eclipse-plugin-2.4.1.jar插件放到Eclipse的plugins目录下。

2、Window-Preferences-Hadoop Map/Reduce选项，指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录，与集群版本一致)。

3、打开Map/Reduce的视图，Window-Perspective-Open Perspective-Other-Map/Reduce。

4、Map/Reduce Locations，连接到HDFS，New Hadoop location，Location name(ApacheHadoop)

Map/Reduce(V2) Master	DFS Master
Host:hadoopmaster	Host:hadoopmaster
Port:9001	Port:9000

5、验证，Project Explorer-DFS Locations-MyHadoop。

Map/Reduce验证

New-Project-Map/Reduce Project，Project Name(WordCount)，由于之前已指定Hadoop的Home目录，自动把相关的jar包包含进来了。

测试数据准备，

[root@hadoopmaster data]# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China

把官方的WordCount程序拷贝到src目录，右键Run as-Run Configurations-Java Application，指定Arguments输入输出参数，Run。

hdfs://hadoopmaster:9000/input/data.txt
hdfs://hadoopmaster:9000/output

NullPointerException异常，把%HADOOP_HOME%\bin的hadoop.dll拷贝到C:\Windows\System32。指定HADOOP_HOME环境变量，把HADOOP_HOME下的bin目录加到系统的PATH路径中。重启Eclipse。

org.apache.hadoop.io.nativeio.NativeIO$Windows.access，权限不满足Linux的要求，修改源代码NativeIO.java里面的内部类Windows的方法access，retrue true，不进行权限检查。

Run一下，到HDFS的目录下，查看是否在output目录下生成结果。

Beijing 2
China   2
I   2
capital 1
is  1
love    2
of  1
the 1

您可能还想看

数据分析/数据挖掘/机器学习

Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据

Python数据挖掘与机器学习_通信信用风险评估实战(2)——数据预处理

Python数据挖掘与机器学习_通信信用风险评估实战(3)——特征工程

Python数据挖掘与机器学习_通信信用风险评估实战(4)——模型训练与调优

爬虫

Python爬虫实战之爬取链家广州房价_01简单的单页爬虫

Python爬虫实战之爬取链家广州房价_02把小爬虫变大

Python爬虫实战之爬取链家广州房价_03存储

Python爬虫实战之爬取链家广州房价_04链家的模拟登录(记录)

搜狗词库爬虫（1）：基础爬虫架构和爬取词库分类

搜狗词库爬虫（2）：基础爬虫框架的运行流程

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。

数据分析

转载请注明：转载自微信公众号「数据分析」