hadoop在windows平台下的本地模式配置

hadoop在windows平台下的本地模式配置

在运行mapreduce程序时，如果频繁在集群上操作，或者写完代码打成jar包丢到集群上运行，势必影响开发效率，太慢。不便于代码调试，如果可以在windows端使用eclipse开发调试mapreduce程序便会方便很多。本文讲介绍如何在window平台开启本地模式进行开发。

第一步，首先下载一个hadoop源码包。我使用的是hadoop2.6.1, 编译完成后bin里面会有.cmd  .exe后缀的文件

第二步，将其解压到任何一个目录

第三步，配置HADOOP_HOME环境变量

第四步，在etc\hadoop\hadoop-env.cmd中配置本地Java环境变量，最好使用绝对路径

第五步，重启windows

第六步，添加hadoop mr开发依赖的jar包，我添加的是common下的主包和lib子文件夹，hdfs下的主包和lib子文件夹，httpfs\tomcat下的lib子文件夹，mapreduce下的除*example*包之外的jar包和lib子文件夹，yarn下的除*server*之外的jar包和lib子文件夹

第七步，编写mr程序

第八步，直接run as。。在本地模式下调试mr程序。