Hadoop本地开发环境搭建

1.     概述

在此处指的Hadoop开发主要是指MapReduce方面,通过Hadoop的Eclipse插件及在Eclipse中配置,就可以达到在本地连接远程服务器进行MapReduce的开发、运行。

2.     准备

Ø  Hadoop下载

在搭建之前,必须先下载一个Hadoop版本,在这里我们使用Hadoop-1.0.0,官方网址为:

http://hadoop.apache.org/

下载hadoop-1.0.0.tar.gz然后解压开来为hadoop-1.0.0,这个根目录也是在之后的配置中需要用到的。

Ø  Hadoop插件下载

插件hadoop-eclipse-plugin-1.0.0.jar是从网上找的一款,另外也可以编译

hadoop-1.0.0\src\contrib\eclipse-plugin工程得到,插件下载地址为:

http://u.zihou.me/viewfile.php?file_id=38

将下载的插件放入\MyEclipse 9\dropins目录,然后重启MyEclipse即可,启动MyEclipse后,如果安装成功,选择Windows->Open Perspective,会弹出如下图,可以见到Map/Reduce项(注:Eclipse也是如此)。

3.     配置

新创建一个工程,选择File->New->Project…,弹出如下图:

选中“Map/Reduce Project”,然后下一步:

输入工程名称,点“Configure Hadoop install directory”链接,弹出窗口:

在这里的Hadoop installation directory的目录为我们解压开来的Hadoop根目录,点确定完成。

在Eclipse中会出现刚才新创建的工程:

工程会自动将Hadoop-1.0.0根目录下的Jar包导入进来。

4.     运行

有两个类User org.apache.hadoop.security.User、org.apache.hadoop.fs.FileUtil需要修改一下,主要是为了取消Windows环境下不必要的权限验证和远程服务器和本地用户名不一致的问题。

将org.apache.hadoop.fs.FileUtil中的方法private static void checkReturnValue中的代码注释掉,在public User(String name, AuthenticationMethod authMethod, LoginContext login)中,直接将变量name的值设为远程服务器创建hadoop服务的用户名,如果你本地的用户名和远程服务器的用户名不一致的话,如name = “root”;

工程中的src/examples/WordCount.java是Hadoop自带的一个MapReduce例子,我们可以通过运行这个例子来看我们本地开发环境是否搭建正确。

运行WordCount,选择Run as -> Run on Hadoop,弹出一个窗口,如果是初次运行,需要先定义一个新的Hadoop服务,如果是已经配置过了的,则从下面的列表中选择即可。点下一步:

其中,Map/Reduce Master的地址和端口和远程服务器上Hadoop配置文件mapred-site.xml里的mapred.job.tracker配置一致,在这里为21.24.108.84(也就是master的地址)和9001.

DFS Master的地址和端口需要和远程服务器上Hadoop配置文件core-site.xml里的fs.default.name一致,在这里为21.24.108.84和9000.

然后点Advanced parameters标签,修改如下属性:

mapred.task.tracker.http.address改为:21.24.108.84:50060

mapred.job.tracker.http.address改为:21.24.108.84:50030

然后点完成,结束配置。

运行后,如果报错:

Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory output already exists

那是因为MapReduce的输出目录已经存在,MapReduce的机制为了保证正在运行中的数据不被覆盖,所以在运行时只能是新创建一个输出目录,如果已经存在的话会不让执行。

进入远程Hadoop/bin目录,通过命令./hadoop fs -rmr output删除存在的目录,然后再次运行WordCount.java,在控制端会打印出运行信息,如:

12/05/15 16:03:36 INFO mapred.JobClient:  map 100% reduce 0%

12/05/15 16:03:38 INFO mapred.LocalJobRunner:

12/05/15 16:03:38 INFO mapred.Task: Task ‘attempt_local_0001_m_000001_0′ done.

12/05/15 16:03:38 INFO mapred.Task:  Using ResourceCalculatorPlugin : null

12/05/15 16:03:38 INFO mapred.LocalJobRunner:

12/05/15 16:03:38 INFO mapred.Merger: Merging 2 sorted segments

12/05/15 16:03:38 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 77 bytes

12/05/15 16:03:38 INFO mapred.LocalJobRunner:

12/05/15 16:03:38 INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting

12/05/15 16:03:38 INFO mapred.LocalJobRunner:

12/05/15 16:03:38 INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now

12/05/15 16:03:39 INFO output.FileOutputCommitter: Saved output of task ‘attempt_local_0001_r_000000_0′ to output

12/05/15 16:03:41 INFO mapred.LocalJobRunner: reduce > reduce

12/05/15 16:03:41 INFO mapred.Task: Task ‘attempt_local_0001_r_000000_0′ done.

12/05/15 16:03:42 INFO mapred.JobClient:  map 100% reduce 100%

表示运行完成。

5.     结果

该WordCount是对HDFS中的两个文件进行分析,分别是:

/user/root/wordcount/file01,内容为:

Hello World Bye World

/user/root/wordcount/file02

Hello Hadoop Goodbye Hadoop

然后看输出的结果:

[root@master bin]# ./hadoop fs -cat output/part-r-00000

Bye     1

Goodbye 1

Hadoop  2

Hello   2

World   2

结果正确无误,至此,Hadoop的本地开发环境搭建正确无误。

 

你可能感兴趣的:(eclipse,mapraduce,hadoop)