【零基础】CentOS 7 64位系统下编译Hadoop2.7.0

因为官网下载下来的Hadoop安装包是x86，32位的，64位需要自己编译。

编译环境

操作系统：CentOS 7 64位（需要连接互联网）

Hadoop源代码版本：hadoop-2.7.0-src.tar.gz

1、安装基本应用

yum -y install  svn   ncurses-devel   gcc*

yum -y install lzo-devel zlib-devel autoconf    automake    libtool    cmake     openssl –devel

2、安装JDK

JDK版本：JDK-8u45（随便下载rpm或者tar压缩包）

运行安装JDK

rpm -ivh jdk-8u45-linux-x64.rpm

设置JAVA环境

vim /etc/profile

添加以下代码

#set java environmen
export JAVA_HOME=/usr/java/jdk1.8.0_45/
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

使环境生效

source /etc/profile

检验JAVA环境是否生效

java -version

2、安装protobuf-2.5.0.tar.gz

下载链接：http://pan.baidu.com/s/1dDgWe6P 密码：xgiu

解压缩

tar zxvf protobuf-2.5.0.tar.gz

进入该目录

cd protobuf-2.5.0

运行检测

./configure

编译

make

安装

make install

检验是否安装成功

protoc --version

3、安装maven

下载apache- maven- 3.2.3- bin.tar.gz
解压缩

tar   zxvf   apache- maven- 3.2.3- bin.tar.gz

配置环境变量 /etc/profile

export MAVEN_HOME=/usr/local/program/maven/ apache- maven- 3.2.3
export PATH=$PATH:$MAVEN_HOME/bin 

使环境变量生效

source /etc/profile

检验是否安装成功

mvn -version

4、安装ant

下载apache-ant-1.9.4-bin.tar.gz

解压缩

添加环境变量/etc/profile

export ANT_HOME=/home/joywang/apache-ant-1.9.4
export PATH=$PATH:$ANT_HOME/bin

使环境变量生效

source /etc/profile

检验是否安装成功

ant -version

5、编译Hadoop

mvn package -Pdist,native -DskipTests -Dtar

或者使用

mvn clean package –Pdist,native –DskipTests –Dtar

编译成功如下图所示：

编译好的文件放在/hadoop-dist/target/hadoop-2.7.0.tar.gz

6、FAQ （这部分有些error我没有亲测，可能会有问题）

【ERROR】Cannot run program “cmake”(in...

提示在make的时候错误。

这是因为没有安装cmake的原因。

注：在其他平台编译是会提示complie出错，而你又已经安装了cmake，那么估计在CMakeCache.txt文件中的JAVA相关的东西没有找到。修改JAVA相关信息。

这部分写的不详细，我也没有时间去搜集其他错误，可能有不对的地方。

7、参考文献：

1、Hadoop完整安装配置

2、从零教你在Linux环境下（ubuntu 12.04）如何编译hadoop2.4

3、64位操作系统下重新编译hadoop-2.2.0