【转载自资料】Hadoop 源码编译

通过hadoop源码编译，安装snappy并生成hadoop native本地库。

编译步骤：

yum -y install gcc-c++

1、安装maven

tar -zxvf

apache-maven-3.3.3-bin.tar.gz//解压

mv apache-maven-3.3.3

maven//修改名称

vi /etc/profile//添加环境变量

MAVEN_HOME=/usr/java/maven

PATH=$MAVEN_HOME/bin:$PATH

exportMAVEN_HOME

保存退出

source /etc/profile//使文件生效

mvn–v//查看maven版本

2、安装ProtocolBuffer

tar -zxvfprotobuf-2.5.0.tar.gz

mv protobuf-2.5.0 protobuf

cd protobuf

./configure --prefix=/usr/local/protobuf

make

make check

make install

vi /etc/profile//添加环境变量

PROTOBUF_HOME=/usr/local/protobuf

PATH=$PROTOBUF_HOME/bin:$PATH

exportPROTOBUF_HOME

保存退出

source /etc/profile//使文件生效

protoc–version查看版本号

3、安装cmake

yum -y install cmake

4、zlib安装

yum -y install zlib

5、安装openssl-devel

yum -y install openssl-devel

6、安装snappy

tar -zxvf snappy-1.1.3.tar.gz

mv snappy-1.1.3 snappy

cd snappy

./configure

make

make install

7、编译hadoop源码hadoop-2.2.0-src

tar–zxvf hadoop-2.2.0-src.tar.gz

cd hadoop-2.2.0-src

mvn package -Pdist,native -DskipTests -Dtar -Dbundle.snappy-Dsnappy.lib=/usr/local/lib

8、编译完成后把编译好的hadoop解压提取native本地库替换现有机器上装的hadoop的native

9、Hadoop配置snappy压缩

配置hadoop-env.sh

exportHADOOP_HOME=/usr/java/hadoop安装目录

exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native

配置core-site.xml

io.compression.codecs

org.apache.hadoop.io.compress.SnappyCodec

配置mapred-site.xml

如果MR中间结果需要使用snappy压缩，修改mapred-site.xml

mapreduce.map.output.compress

true

mapreduce.map.output.compress.codec

org.apache.hadoop.io.compress.SnappyCodec