Hadoop学习之Eclipse构建Hadoop项目

之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习,但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会,官方文档有些类似业务规则或者要求,而真正的细节还是需要深入研究源代码的。基于以上的原因,决定深入学习Hadoop的源代码,虽然现在已经出现Hadoop-2.x的文档版本,但还是决定学习Hadoop-1.x的源码,而要想研究源代码最好的方法还是先构建Hadoop项目,然后根据代码的执行进行跟踪调试。所以这篇文章主要介绍了如何在Eclipse下构建Hadoop项目。

    首先在Eclipse下新建Hadoop项目。具体步骤为在File菜单下选择New子菜单,然后选择Project菜单,出现下图所示的提示框,在该提示框中选择Java Project并点击Next按钮进行下一步。

Hadoop学习之Eclipse构建Hadoop项目_第1张图片

    在接下来的对话框中输入项目的名字,例如hadoop-1.2.1,并选择要使用的JRE,其余的可以保持默认,点击Next按钮进入下一个对话框。

Hadoop学习之Eclipse构建Hadoop项目_第2张图片

    在弹出的对话框中不做任何修改,点击Finish按钮完成新项目的建立。

Hadoop学习之Eclipse构建Hadoop项目_第3张图片

    至此,已经完成了Java项目的建立,但该项目下暂时没有任何代码文件,第二步就是要拷贝Hadoop的源文件到该项目中。将Hadoop部署目录下src文件夹中的core、hdfs、mapred、tools文件拷贝到上述新建项目中的src下,然后在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,弹出下图所示的对话框。

Hadoop学习之Eclipse构建Hadoop项目_第4张图片

    在该对话框中点击Add Folder按钮,出现下图的对话框,在下图中选择core、hdfs、mapred和tools,然后点击OK按钮,会返回到上图的对话框,此时会报错,需要在上图中选择src,然后点击右侧的Remove按钮。

Hadoop学习之Eclipse构建Hadoop项目_第5张图片

    做完上述的操作后的对话框如下所示,现在完成了添加源文件的工作,第三步则是添加Hadoop需要的jar文件。

Hadoop学习之Eclipse构建Hadoop项目_第6张图片

    在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,在弹出的对话框中点击Libraries标签,如下图所示:

Hadoop学习之Eclipse构建Hadoop项目_第7张图片

    点击上图右侧的Add External JARs按钮,会弹出选择JAR文件的文件选择框,这时可以选择Hadoop部署根目录及lib文件夹中JAR文件,完成该操作后的对话框如下,点击OK按钮完成添加JAR文件到项目路径的工作。

Hadoop学习之Eclipse构建Hadoop项目_第8张图片

    这时RccTask.java会提示下图的错误信息,这是由于项目路径中缺少ant.jar文件所致,如何添加可以参考上面讲述的添加jar文件的步骤。将ant.jar文件添加到路径中后,错误信息消失,Hadoop项目已经成功构建完毕。

Hadoop学习之Eclipse构建Hadoop项目_第9张图片

你可能感兴趣的:(Hadoop学习之Eclipse构建Hadoop项目)