Hadoop——配置开发环境。

        首先新建一个项目,以便编译MapReduce程序并通过命令或在自己的IDE中以本地(独立,standalone)模式运行他们。在下面范例中的Maven POM项目对象模型(Project Object Model)说明了编译和测试Map-Reduce程序时需要的依赖项(dependency)。

Hadoop——配置开发环境。_第1张图片

Hadoop——配置开发环境。_第2张图片

Hadoop——配置开发环境。_第3张图片

         依赖关系是POM中有趣的一部分。(只要你使用此处定义的依赖关系,就可以直接使用其他的构建工具,例如Gradle或者Ant with Ivy。)要想构建MapReduce作业,你只需要有hadoop-client依赖关系,它包含了和HDFS及MapReduce交互所需要的所有Hadoop client-side类。当运行单元测试时,我们要使用junit类;当写MapReduce测试用例时,我们使用mrunit类。hadoop-minicluster库中包含了“mini-”集群,这有助于在一个单JVM中运行Hadoop集群进行测试。

        很多IDE可以直接读Maven POM,因此你只需要在包含pom.xml文件的目录中指向这些Maven POM,就可以开始写代码。也可以使用Maven为IDE生成配置文件。例如,如下创建Eclipse配置文件以便将项目导入Eclipse:

% mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true

你可能感兴趣的:(Hadoop)