使用Eclipse搭建Hadoop源代码阅读环境(以Hadoop3.0.0版本为例)

一.前期准备工作
1:安装protobuf(其版本只能是2.5,高了不行)
windows下
下载protobuf:https://github.com/google/protobuf/releases,选择protoc-xxx-win32.zip下载
将解压出来的protoc.exe放在一全英文路径下,并把其路径名放在windows环境变量下的path下
打开命令窗口,输入protoc --version,若显示出了protoc的版本号,则安装成功。
Linux环境
下载protobuf:https://github.com/google/protobuf/releases,选择Linux版本下载。
解压安装包,并将其路径加入到环境变量,即/etc/profile文件中。
进入protobuf目录(我是将其解压在/home/dev/目录下的),依次执行以下命令
./configure --prefix=/home/dev/ protobuf-2.5.0
make
make check
make install
ldconfig
添加环境变量:vi /etc/profile,添加如下,
# (动态库搜索路径) 程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径export
export PATH=$PATH:$PROTOCOL_HOME:/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/dev/protobuf-2.5.0/lib
export LIBRARY_PATH=$LIBRARY_PATH:/home/dev/protobuf-2.5.0/lib
source /etc/profile,使其生效,最后在终端输入 protoc --version,此处与windows类似。

安装成功会显示版本号,如下图:

使用Eclipse搭建Hadoop源代码阅读环境(以Hadoop3.0.0版本为例)_第1张图片
2.安装maven

maven安装方式可参照下面连接,方法也就是将其安装路径加入环境变量。
windows:https://jingyan.baidu.com/article/3065b3b6a00792becef8a46c.html

Linux:https://www.cnblogs.com/jimmy-muyuan/p/7895933.html

二:编译

1.首先在Hadoop官网下载Hadoop源码,然后将其解压在一个全英文目录。

2.修改项目根目录(hadoop-3.0.0-src目录)下的pom.xml文件,将snapshot依赖注释或者删除(在190行)。不然会导致在编译过程中出现无法找到依赖而导致编译失败。

使用Eclipse搭建Hadoop源代码阅读环境(以Hadoop3.0.0版本为例)_第2张图片

3.进入到hadoop-maven-plugins目录下,输入mvn install,然后进入hadoop-3.0.0-src目录下,输入mvn eclipse:eclipse –DskipTests,此过程会下载很多依赖,会很慢,若编译成功如下图。

使用Eclipse搭建Hadoop源代码阅读环境(以Hadoop3.0.0版本为例)_第3张图片

此过程下windows与Linux一样。
至此,就可以在eclipse下将Hadoop项目import进其工作空间了。。

四.将项目导入到Eclipse

打开Eclipse,按照下列步骤:import-->general-->Existing Projects into Workspace-->next-->select root directory-->选择Hadoop-3.0.0-src文件-->finish即可。

使用Eclipse搭建Hadoop源代码阅读环境(以Hadoop3.0.0版本为例)_第4张图片

不过导入进来会有一些错误,需要解决。。。

你可能感兴趣的:(大数据,hive,Hadoop)