hadoop 2.6.4 编译
hadoop 2.6.4 编译 - 解决native 编译问题
为了解决执行hadoop 命令时总有警告：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这是hadoop native 库 默认是32位编译的,64位上会报这个错，如果不装会影响什么呢?
$ hadoop checknative
没有native 这些都不支持（感谢hadoop 群友GTP 的热心指导)
编译准备及说明
需要自己编译hadoop native 库或下载网友编译好的库替换一下hadoop-2.6.4/lib/native
我在网上找了一下，全都是2.6.4 之前的版本,我怕替换后会引起坑，
本着刨根问底的学习态度，我想尝试编译一下：
官方安装编译文档： http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/NativeLibraries.html
这里是为了解决native的问题，所以编译参照官方文档的 mvn package -Pdist,native -DskipTests -Dtar
hadoop2.6.4源码包: http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz
这是一个maven 项目，但是编译过程依赖一些组件，可见BUILDING.txt
安装依赖：
yum install zlib-devel openssl-devel ant cmake
maven
http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
环境变量
MVN_HOME=/home/hadoop/software/apache-maven-3.3.9
PATH=$PATH:$MVN_HOME/bin
export MVN_HOME PATH
设置maven 的settings.xml
这里指定阿里云的maven 仓库 ,我想会大大提高包的下载速度，毕竟中央仓库在国外
ProtocolBuffer 2.5.0
google 的，要,所以我找的是网友网盘的
http://pan.baidu.com/s/1pJlZubT
下载解压后,
cd 目录
./configure
make && make install
protoc --version 验证是否安装成功
开始编译 hadoop2.6.4
cd hadoop-2.6.4-src
mvn package -Pdist,native -DskipTests -Dtar
编译过程中报的错:(由于我的是jdk1.8 所以切换到1.7就解决了)
以下是在网上找到的描述，引用一下:
unexpected end tag:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while creating archive:
[ERROR] Exit code: 1 - /root/hadoop-2.4.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag:
[ERROR] *
[ERROR] ^
[ERROR]
[ERROR] Command line was: /root/jdk1.8.0/jre/../bin/javadoc @options @packages
[ERROR] Exit code: 1 - /root/hadoop-2.4.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag:
[ERROR] *
[ERROR] ^
[ERROR]
[ERROR] Command line was: /root/jdk1.8.0/jre/../bin/javadoc @options @packages
原因是InterfaceStability.java中的注释问题：
解决办法
，将JDK换成1.7版本，使用JDK1.8编译就会遇到上述问题，将行删除可以解决问题，但后续还会遇到类似的问题，所以不要使用JDK1.8编译Hadoop 2.4.0。
至此，编译完成
生成的native 在
hadoop-dist/target/hadoop-2.6.4/lib/
另外，需在hadoop-env.sh 中加入：
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
即可解决问题
我编译的资源已上传:http://download.csdn.net/detail/sagaryu/9596973 （无需积分)
整个编译大约持续了26分钟，如图:
本人新接触hadoop,有很多不懂,建了个交流群:149174228 希望高人加入指点
谢谢