编译Hadoop以支持snappy

1. 下载所需要的源码包

snappy-1.1.4.tar.gz

protobuf-2.5.0.tar.gz

hadoop-2.6.5-src.tar.gz

apache-maven-3.5.2-bin.tar.gz

2. 准备编译环境

yum install svn

yum install autoconf automake libtool cmake

yum install ncurses-devel

yum install openssl-devel

yum install gcc*

3. 编译安装snappy

# 用root用户执行以下命令

tar -zxvf snappy-1.1.4.tar.gz  -C /home

cd snappy-1.1.4/

./configure

make

make install

# 查看snappy库文件

ls -lh /usr/local/lib |grep snappy

4. 编译安装protobuf

# 用root用户执行以下命令

tar -zxvf protobuf-2.5.0.tar.gz  -C /home

cd protobuf-2.5.0/

./configure 

make 

make install

# 查看protobuf版本以测试是否安装成功

protoc --version

5.安装maven

tar zxvf apache-maven-3.5.2-bin.tar.gz -C /home

vim /etc/profile

加入：

export MAVEN_HOME=/home/maven

export PATH=$PATH:$MAVEN_HOME/bin

source /etc/profile

6. 编译hadoop native

tar -zxvf hadoop-2.6.5-src.tar.gz

cd hadoop-2.6.5-src/

mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

执行成功后，hadoop-dist/target/hadoop-2.6.5.tar.gz即为新生成的二进制安装包。