hadoop-2.6.0源码编译

运行hadoop环境时，常常会出现这种提示

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
意思是无法加载本地native库。

这里就需要我们自己本地进行编译hadoop源码，用生成的文件来替换原有的native库。

下面就是 大讲台老师 整理的hadoop编译流程

首先介绍一下我的环境

centos6.5

jdk-7u79-linux-x64.tar.gz

apache-maven-3.3.9-bin.tar.gz

protobuf-2.5.0.tar.gz

hadoop-2.6.0-cdh5.12.0-src.tar.gz

接下来就进行步骤介绍

第一步，安装jdk

解压

1 tar -zxvf jdk-7u79-linux-x64.tar.gz

环境变量

1 vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/home/hadoop/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 

 

测试是否安装成功

source /etc/profile
java -version

 

第二步，安装maven

解压

tar -zxvf apache-maven-3.3.9-bin.tar.gz

更改名称

mv apache-maven-3.3.9 maven339

环境变量

vi /etc/profile

#MAVEN_HOME
export MAVEN_HOME=/home/hadoop/maven339
export PATH=$MAVEN_HOME/bin:$PATH

测试是否安装成功

source /etc/profile
mvn -version

第三步，根据多次踩坑，准备编译时需要的安装

 

1 yum install gcc 2 yum intall gcc-c++  
3 yum install make

或者是直接运行

yum install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

第四步安装protoc

解压编译,逐步执行

1 tar -zxvf protobuf-2.5.0.tar.gz 2 cd protobuf-2.5.0
3 ./configure --prefix=/home/hadoop/protobuf250 4 make 5 make install

环境变量

vi /etc/profile
#PROTOC_HOME
export PROTOC_HOME=/home/hadoop/protobuf250
export PATH=$PROTOC_HOME/bin:$PATH

测试

source /etc/profile
protoc --version

第四步，编译hadoop

1 tar -zxvf hadoop-2.6.0-cdh5.12.0-src.tar.gz 2 mv hadoop-2.6.0-cdh5.12.0  hadoop260-src 3 cd hadoop-2.6.0-src 4 mvn clean package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

经过一段时间的等待，出现 build success ，说明编译成功。

编译源码生成的部分都在hadoop260-src/hadoop-dist/target/目录下

将编译后的native文件夹下的东西替换到原来的native目录

1 cp -r hadoop260-src/hadoop-dist/target/hadoop-2.6.0-cdh5.12.0/lib/native/ /home/hadoop/hadoop260/lib/

同样，其他机器的文件同样替换

1 scp -r hadoop260-src/hadoop-dist/target/hadoop-2.6.0-cdh5.12.0/lib/native/ [email protected]:/home/hadoop/hadoop260/lib/
2 .. 3 .. 4 ..

 

注意：不同的linux环境，编译过程中会有不同，有可能会出一些编译过程的错误。