Hadoop3.x源码编译打包实验记录

学会编译Hadoop非常有必要，Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库(Native Libraries) 的概念。说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。linux系统要运行Native 代码，首先要将Native 编译成目标CPU 架构的[.so]文件。而不同的处理器架构，需要编译出相应平台的动态库[.so] 文件，才能被正确的执行，所以最好重新编译一次hadoop源码，让[.so]文件与自己处理器相对应。

首先我们需要一台和生产运行集群架构一致的操作系统，比如Linux CentOS7.5 X86，从云厂商或者虚拟机自行搭建都可以。然后我们需要提前从网上下载好如下软件包，供后面步骤使用。

• cmake-3.24.2.tar.gz（需要源码包，否则没有configure文件，为了安装后面的snappy和protobuf使用）
• snappy-1.1.3.tar.gz（二进制包，否则没有configure文件，hadoop进行压缩解压缩需要用到）
• protobuf-all-21.9.tar.gz（二进制包，否则没有configure文件，是一个数据序列化工具）
• jdk-8u241-linux-x64.tar.gz（Hadoop的执行需要JVM）
• apache-maven-3.8.6-bin.tar.gz（编译hadoop需要）
• hadoop-3.3.0-src.tar.gz

然后第一步，我们登录服务器，并进入到/root/soft目录下，首先安装编译需要的相关依赖：

yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
...
Complete!

yum install -y doxygen cyrus-sasl* saslwrapper-devel*
...
Complete!

第二步，手动安装cmake：

#yum卸载已安装cmake，一般版本较低，无论是否安装都卸载一下
yum erase cmake

# 解压
tar zxvf cmake-3.24.2.tar.gz

#进入到目录内进行编译安装
cd cmake-3.24.2
./configure
make && make install

#验证
[root@iZuf6gmsvearrd5uc3emkyZ cmake-3.24.2]# cmake -version
cmake version 3.24.2

CMake suite maintained and supported by Kitware (kitware.com/cmake).

第三步，安装snappy：

#卸载已经安装的
rm -rf /usr/local/lib/libsnappy*
rm -rf /lib64/libsnappy*

#解压
tar zxvf snappy-1.1.3.tar.gz 

#进入到目录内进行编译安装
cd snappy-1.1.3
./configure
make && make install

#验证
[root@iZuf6gmsvearrd5uc3emkyZ snappy-1.1.3]# ls -lh /usr/local/lib | grep snappy
-rw-r--r-- 1 root root 511K Nov  1 17:12 libsnappy.a
-rwxr-xr-x 1 root root  955 Nov  1 17:12 libsnappy.la
lrwxrwxrwx 1 root root   18 Nov  1 17:12 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root   18 Nov  1 17:12 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov  1 17:12 libsnappy.so.1.3.0

第四步，安装protobuf：

#解压
tar zxvf protobuf-all-21.9.tar.gz

#进入到目录内进行编译安装
cd protobuf-all-21.9
./autogen.sh
./configure
make && make install

#验证
[root@iZuf6gmsvearrd5uc3emkyZ protobuf-21.9]# protoc --version
libprotoc 3.21.9

第五步，安装和配置JDK：

#解压
tar zxvf jdk-8u65-linux-x64.tar.gz

#配置环境变量
vim /etc/profile
export JAVA_HOME=/root/soft/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile

#验证
[root@iZuf6gmsvearrd5uc3emkyZ soft]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

第六步，安装和配置Maven：

#解压
tar zxvf apache-maven-3.8.6-bin.tar.gz

#配置环境变量
vim /etc/profile
export MAVEN_HOME=/root/soft/apache-maven-3.8.6
export PATH=:$MAVEN_HOME/bin:$PATH
source /etc/profile

#验证
[root@iZuf6gmsvearrd5uc3emkyZ soft]# mvn -v
Apache Maven 3.8.6 (84538c9988a25aec085021c365c560670ad80f63)
Maven home: /root/soft/apache-maven-3.8.6
Java version: 1.8.0_241, vendor: Oracle Corporation, runtime: /root/soft/jdk1.8.0_241/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.14.4.el7.x86_64", arch: "amd64", family: "unix"

#修改镜像仓库为国内地址
vim /root/soft/apache-maven-3.8.6/conf/settings.xml


     
           alimaven
           aliyun maven
           http://maven.aliyun.com/nexus/content/groups/public/
           central
      

第七步，编译hadoop：

#解压
tar zxvf hadoop-3.3.0-src.tar.gz

#进入到目录内进行maven编译打包
cd hadoop-3.3.0-src
mvn clean package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

#参数说明
#Pdist,native ：重新编译生成的hadoop动态库；
#DskipTests ：跳过测试
#-Dmaven.javadoc.skip=true ： 跳过javadoc
#Dtar ：最后把文件以tar打包
#Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
#Dsnappy.lib=/usr/local/lib ：指定snappy在本机编译机器上安装的库路径

#最终编译打包后的目标文件位于当前目录的target下面，

很可惜，进行到这里hadoop-common总是报错执行不下去了，网上搜索很久都没有找到对应的解决方案，暂且搁置了。

其实学会编译Hadoop也不是必须的，官网提供的二进制包实验下来也是可以直接使用的，因此本文的编译工作就不是作为学习Hadoop必须的步骤了，后续有机会再研究如何正确编译。