CentOS 5.6 64位 重编译Hadoop 2.6.0

1. 采用yum安装 gcc,gcc++,jdk 1.7，cmake.

2. 下载并tar xvpfz 以下包

   apache-ant-1.9.5-bin.tar.gz

   apache-maven-3.3.3-bin.tar.gz,

   findbugs-2.0.2.tar.gz

   protobuf-2.5.0.tar.gz

   hadoop-2.6.0-src.tar.gz

3. 配置/etc/profile

   export ANT_HOME=/home/hadoop/apache-ant-1.9.5

   export FINDBUGS_HOME=/home/hadoop/findbugs-2.0.2

   export MAVEN_HOME=/home/hadoop/apache-maven-3.3.3
   

   export JAVA_HOME=/usr/java/jdk1.7.0_75

   export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/jre/lib/ext/mysql5.jar

   export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

   export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin

   运行source /etc/profile

4. 编译并安装 protobuf

5. ./configure

       make;make install;

       ldconfig -v 

  5.  进入hadoop src用mvn编译。

      mvn clean package -DskipTests -Pdist,native -Dtar

      也有加-Pdist,native,doc 打包javadoc的，如果慢可以不用。

      中途出错或断网，重新编译不成功，可以删除rm -fr hadoop.2.6.0-src，重新tar xvpfz，再编译，否则可以反复编译不成功。

  6. 可以直接打编译好的lib拷贝到hadoop-2.6.0.tar.gz翻译出来的lib下，覆盖以使用。具体目录是

     cp /home/hadoop/hadoop-src.2.6.0/hadoop-dist/target/hadoop-2.6.0/lib/native /home/hadoop/hadoop-2.6.0/lib/native

     slave node的服务器上的lib可以不拷。

    通过hadoop 下的start-dfs.sh启动dfs，默认以http://w.x.y.z:50070   查看 dfs运行start-yarn.sh 以http://w.x.y.z:8088 查看 yarn运行，可以会慢些才显示出来、

7. 通过 hdfs dfsadmin -report 检查运行情况，并看看是否还有 Unable to load native-hadoop library for your platform WARNING信息。正常是没有了。