Hadoop2.6.2 编译

1.Hadoop2.0 之后依赖 protobuf 实现RPC，因此要先安装依赖

在hadoop-common-project 下 

maven package -DskipTests  

编译时会发现缺少依赖包protoc，并提示依赖的版本，可以修改hadoop-common-project 下 pom.xml 文件里边具体的版本（你本机安装的版本），以通过编译。
找到定义处的文件的方法：
在hadoop - src 目录下

find . "*.xml" | xargs fgrep protobuf.version

其实是在：

./hadoop-project/pom.xml 里配置的

如果没有安装：

下载protobuf
    https://github.com/google/protobuf
安装：   
unzip protobuf-2.3.0.zip  
cd protobuf-2.3.0  
./configure  
make   
make check   
make install  

突然发现直接在
hadoop-2.6.2-src/hadoop-common-project/hadoop-common
下直接执行：
mvn package -DskipTests
mvn会下载protobuf的的依赖！！
这样或许前面的白搞了？？ 希望其他人试试！！

2. 本地库测试

bin/hadoop checknative

发现这些本地库都没有：这样的话在调用HDFS API 时会出现问题。

Native library checking:
hadoop:  false 
zlib:    false 
snappy:  false 
lz4:     false 
bzip2:   false 
openssl: false

编译native：在hadoop src目录下（保证protobuf安装配置完成还要安装cmake:yum install cmake)

export MAVEN_OPTS=-Xmx500m;mvn  package -Pdist,native  -DskipTests  -Dtar

最后在

hadoop-2.6.2-src/hadoop-common-project/hadoop-common/target/native/target/usr/local/lib

下可以找到本地库的全部文件。
拷贝到线上部署环境：

cp hadoop-2.6.2-src/hadoop-common-project/hadoop-common/target/native/target/usr/local/lib/* /Hagrid/hadoop-2.6.2/lib/native

拷贝后再bin/hadoop checknative：

hadoop:  true /Hagrid/hadoop-2.6.2/lib/native/libhadoop.so.1.0.0
zlib:  true /lib64/libz.so.1
snappy:  false 
lz4:  true revision:99
bzip2:  false 
openssl: true /usr/lib64/libcrypto.so

忙了大半天，不容易啊！！