CDH版本hadoop的源码编译
在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包, 所以我们在使用本地库 (本地库可以用来做压缩, 以及支持C程序等等) 的时候就会出问题, 好了废话不多说, 接下来看如何编译.
首先我们打开src目录下的BUILDING.txt文件
能够看到, 在官方说明中已经写明了编译所需要的准备工作
准备工作:
- linux系统 (准备一台干净的linux系统, 这里使用的的是centOS 6.9)
- jdk1.7 (这里使用jdk1.7, 使用1.8会出问题)
- maven (这里使用的是maven3.0.5, 一样不要使用高版本)
- findbugs
- protocolbuf
- 安装依赖包 (cmake, zlib, openssl)
- 安装snappy
- CDH hadoop的源码包
1. 准备一台干净的linux系统
这里使用的的是centOS 6.9 64位
保证可以联网, 关闭防火墙, 关闭selinux
service iptables stop 关闭防火墙
chkconfig iptables off 关闭防火墙开机自启动
关闭selinux
vim /etc/selinux/config
修改SELINUX=disabled
2. 安装jdk1.7
卸载系统自带的jdk
rpm -qa | grep java
rpm -e --nodeps 要卸载的
将我们的jdk1.7的安装包上传并解压, 然后修改/etc/profile, 添加java环境变量
export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH
source /etc/profile 让配置生效
3. 安装maven
这里使用maven3.x以上的版本应该都可以, 不建议使用太高的版本, 这里使用3.0.5的版本.
上传安装包, 解压, 配置环境变量
vim /etc/profile
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
source /etc/profile 让配置生效
4. 安装findbugs
下载findbugs
wget --no-check-certificate https://sourceforge.net/projects/findbugs/files/findbugs/1.3.9/findbugs-1.3.9.tar.gz/download -O findbugs-1.3.9.tar.gz
解压缩, 然后配置环境变量
vim /etc/profile
export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH
source /etc/profile 让配置生效
5. 安装依赖包 (cmake, openssl, zlib 等)
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2压缩需要的依赖包
yum install -y bzip2-devel
6. 安装protobuf
protobuf下载百度网盘地址 https://pan.baidu.com/s/1pJlZubT
下载后, 解压缩
然后编译
cd /export/servers/protobuf-2.5.0
./configure
make && make install
7. 安装snappy
snappy下载地址: http://code.google.com/p/snappy/
下载后, 解压缩
然后编译
cd /export/servers/snappy-1.1.1/
./configure
make && make install
8. 上传CDH hadoop的源码包并编译
下载CDH hadoop 5.14.0-src源码包, 解压缩
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz
以支持snappy压缩的方式编译：
cd /export/servers/hadoop-2.6.0-cdh5.14.0
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
最后出现BUILD SUCCESS就是编译成功了, 那编译完成的文件在哪里呢?
cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-dist/target
检查native
cd hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative
完成 !!!
最后, 网速慢的同学就不要编译了, 会慢死的.
还有, 内存小的同学就不要编译了, 会慢死的.
因为途中要下载大量大量大量的maven依赖包, 还有Tomcat等, 网速慢的话是真的要等好久呦~
如果真的要安装的话, 可以先整理一套本地maven仓库, 上传上去, 修改maven的配置文件conf/setting.xml 指定一下本地仓库. 如此在编译过程中就不用下载大量的maven依赖了.