在Windows8.1下配置Hadoop2.7.0的源代码阅读环境

前提是你已经配置好了JDK,这里笔者用的是JDK 1.8,JDK的配置方法网上有很多,这里不再赘述。

  • 一、 如果没有Maven和Protoc,第一步需要先配置这两项,如果已经配置好的可跳过。

  • 1.配置Maven

(1)在http://maven.apache.org/download.cgi下载Maven,这里我们使用的是Maven3.2.5

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第1张图片

解压到任意路径后,配置环境变量:
1.变量名:M2_HOME
2.变量值:解压的路径,我这里就是D:\HadoopTools\apache-maven-3.2.5

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第2张图片

在Path中加入:D:\HadoopTools\apache-maven-3.2.5\bin (注意是你自己的解压路径下的bin文件夹),注意在Path前带上分号。
打开命里提示符,输入mvn –v,如果出现以下的消息就表示Maven配置成功了。

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第3张图片

  • 2.配置protoc

需要protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包,已经打包好,可以到这里下载:
http://download.csdn.net/detail/chinamcafee/8761191
下载后打开解压包有两个,分别再将这两个包解压到两个不同的目录下

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第4张图片

将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。并将其拷贝到源码包的src目录下,如下图所示(即将protoc.exe同时拷贝到两个位置)。

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第5张图片

从命令提示符进入路径D:\HadoopTools\protobuf-2.5.0\java下,执行mvn package命令,Maven会开始工作,如以下两图所示:

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第6张图片

编译的时间可能会有些长,当看到如下信息,并且java的target目录下也多出来了一个protobuf-java-2.5.0.jar文件,就表示成功了。

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第7张图片

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第8张图片

这时准备工作已经就绪,可以开始获取Hadoop的完整源码了。

  • 二、 获取Hadoop的完整源码包(通过Maven方式)

先把我们从Hadoop官网上下载的hadoop-2.7.0-src.tar.gz解压

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第9张图片

同样使用命令提示符进入D:\HadoopTools\hadoop-2.7.0-src\hadoop-maven-plugins目录下,执行mvn install命令

时间仍然会比较长,如果看到这样的提示语则表明成功

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第10张图片

从命令提示符返回到上一级目录,即hadoop-2.7.0-src下,执行命令
mvn eclipse:eclipse –DskipTests

程序会下载一些所需的文件,如果看到如下的信息,则表明Hadoop的完整源码包已经下载成功

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第11张图片

然后就可以在Eclipse里面像导入一个普通已有工程一样导入Hadoop源码了

  • 会有一些报错,解决方案如下:

1、Hadoop-common包报错:
下载官网编译好的Hadoop-2.7.0二进制包hadoop-2.7.0.tar.gz,将share\hadoop\common下的三个jar包解压出来,如下图所示添加到哦Eclipse工程中,或来这里下载:http://download.csdn.net/detail/chinamcafee/8761335

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第12张图片

2、有感叹号:

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第13张图片

  1. 删除…hadoop-yarn-server-resourcemanager/conf
  2. Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion patterns:capacity-scheduler.xml;exclusion patters:*/.java

在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第14张图片
在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第15张图片
在Windows8.1下配置Hadoop2.7.0的源代码阅读环境_第16张图片

至此工程中的全部错误应该都会消失,可以开始阅读源码了。

你可能感兴趣的:(hadoop)