自己动手编译hadoop-2.5.2源码

1、安装JDK

我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html,

选择对应的JDK版本,解压JDK,然后配置环境变量,

  1.  vi /etc/profile  

注:这里有的人喜欢配置在当前用户里,我这里是配置的全局。
  1. export JAVA_HOME=/opt/jdk1.7  
  2. export PATH=$PATH:$JAVA_HOME/bin  

:wq  保持退出    

 source /etc/profile     是配置文件生效

    

测试下JDK是否安装成功: java -version
 
  1. java version "1.7.0_45"  
  2. Java(TM) SE Runtime Environment (build 1.7.0_45-b18)  
  3. Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)  

 

安装必要的软件

需要的软件:java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

sudo yum -y install gcc*
sudo yum -y install cmake
sudo yum -y install glibc-headers
sudo yum -y install gcc-c++
sudo yum -y install zip-devel
sudo yum -y install openssl-devel
sudo yum -y install svn
sudo yum -y install git
sudo yum -y install ncurses-devel 
sudo yum -y install lzo-devel
sudo yum -y install autoconf
sudo yum -y install libtool
sudo yum -y install automake

这一堆东西都装上吧,省得编译过程中提示少这个,少那个

如果已安装,则跳过,如果没有安装,用命令:yum install svn进行安装,如:

$ yum install svn

如果yum命令安装失败(找不到相应的包),则需手动下载相应的软件包进行安装,比如maven, protobuf这两个个软件;

 
为啥要进行下面的操作,这个其实是在hadoop-2.5.2-src.tar.gz  中就求说明了要求的工具
强烈建议大家读一下源代码目录下的  BUILDING.TXT 文件,
这里面大概描述了各种平台(/LINUX/MAC OS/WINDOWS)下的编译主要步骤
自己动手编译hadoop-2.5.2源码_第1张图片

 

 

2、编译前的准备(maven)

maven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的 就可以了

  1. wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip  

解压文件后,同样在/etc/profie里配置环境变量

 
  1. export MAVEN_HOME=/opt/maven3.1.1  
  2. export PATH=$PATH:$MAVEN_HOME/bin  

 

验证配置是否成功: mvn -version

 

 
  1. Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)  
  2. Maven home: /opt/maven3.1.1  
  3. Java version: 1.7.0_45, vendor: Oracle Corporation  
  4. Java home: /opt/jdk1.7/jre  
  5. Default locale: en_US, platform encoding: UTF-8  
  6. OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"  

 

为了避免出现 maven-enforcer-plugin规则验证失败

编辑源代码根目录下的pom.xml,找到maven-enforcer-plugin所在的部分

 应为我的jdk版本是:1.7的,需要在内新添加  
  1. <profile>  
  2.        <id>jdk-1.7id>  
  3.        <activation>  
  4.          <jdk>1.7jdk>  
  5.        activation>  
  6.        <repositories>  
  7.          <repository>  
  8.            <id>nexusid>  
  9.            <name>local private nexusname>  
  10.            <url>http://maven.oschina.net/content/groups/public/url>  
  11.            <releases>  
  12.              <enabled>trueenabled>  
  13.            releases>  
  14.            <snapshots>  
  15.              <enabled>falseenabled>  
  16.            snapshots>  
  17.          repository>  
  18.        repositories>  
  19.        <pluginRepositories>  
  20.          <pluginRepository>  
  21.            <id>nexusid>  
  22.           <name>local private nexusname>  
  23.            <url>http://maven.oschina.net/content/groups/public/url>  
  24.            <releases>  
  25.              <enabled>trueenabled>  
  26.            releases>  
  27.            <snapshots>  
  28.              <enabled>falseenabled>  
  29.            snapshots>  
  30.          pluginRepository>  
  31.        pluginRepositories>  
  32.      profile>  

 

(下面这个是针对你可能网路上访问受限,需要配置国内的镜像,这个根据个人吧,我配了反而失败了,在校园网中是不需要的。 

      由于maven国外服务器可能连不上,先给maven配置一下国内镜像,在maven目录下,conf/settings.xml,在里添加,原本的不要动 

 
  1. <mirror>  
  2.      <id>nexus-oscid>  
  3.       <mirrorOf>*mirrorOf>  
  4.   <name>Nexusoscname>  
  5.   <url>http://maven.oschina.net/content/groups/public/url>  
  6. mirror>  
 
 
hadoop2.5.2编译需要protoc2.5.0的支持,所以还要下载protoc,下载地址:https://code.google.com/p/protobuf/downloads/list,要下载2.5.0版本噢 

对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略

  1. yum install gcc  
  2. yum intall gcc-c++  
  3. yum install make  
安装protoc
  1. tar -xvf protobuf-2.5.0.tar.bz2  
  2. cd protobuf-2.5.0  
  3. ./configure 
  4. make && make install  
安装完配置下环境变量,就不多说了,跟上面过程一样。

别急,还不要着急开始编译安装,不然又是各种错误,需要安装cmake,openssl-devel,ncurses-devel依赖

  1. yum install cmake  
  2. yum install openssl-devel  
  3. yum install ncurses-devel  

 

 (下面这个我没有去改,应为我的版本里就有这个

而对于 2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误:

 

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

 

Patch :https://issues.apache.org/jira/browse/HADOOP-10110

在 /usr/release-2.5.2/hadoop-common-project/hadoop-auth/pom.xml文件中,添加以下内容:

   

      org.mortbay.jetty

      jetty-util

      test

 
 

安装ANT

wget http://mirror.bit.edu.cn/apache/ant/binaries/apache-ant-1.9.4-bin.tar.gz
 tar zxvf apache-ant-1.9.4-bin.tar.gz -C /app

vi /etc/profile
export ANT_HOME=/app/apache-ant-1.9.4
PATH=$PATH:$ANT_HOME/bin

 

使其生效:source /etc/profile

 验证ant,输入ant -version,正常应该反馈以下类似信息:
Apache Ant(TM) version 1.9.4 compiled on April 29 2014


3、下载hadoop 

这个地方你将会遇到各式各样的头疼问题

首先官方下载hadoop源码

  1. 下载方法一:

    用svn下载hadoop-2.2.0源码,命令:

    $ svn checkout 'http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.5.2'

  2. 下载方法二:wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz  
  如果是你32bit的机器,可以直接下载官方已经编译好的包,64bit的机子跑编译好的包跑不了。
 
     3.解压:tar -zxvf hadoop-2.5.2-src.tar.gz
 
     
 ok,现在可以进行编译了, 你要一定可以联网, ( 可以用 ping www.baidu.com试一下)
 
  cd   /home/hadoop/hadoop-2.5.2-src
  1. mvn package -Pdist,native -DskipTests -Dtar  
(上面这个是没有生成文档的命令,
   可以生成文档是: mvn package -Pdist,native,docs,src -DskipTests –Dtar --生成文档,需要安装findbu

现在慢慢等吧!
 
  1. [INFO] ------------------------------------------------------------------------  
  2. [INFO] Reactor Summary:  
  3. [INFO]   
  4. [INFO] Apache Hadoop Main ................................ SUCCESS [3.709s]  
  5. [INFO] Apache Hadoop Project POM ......................... SUCCESS [2.229s]  
  6. [INFO] Apache Hadoop Annotations ......................... SUCCESS [5.270s]  
  7. [INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.388s]  
  8. [INFO] Apache Hadoop Project Dist POM .................... SUCCESS [3.485s]  
  9. [INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.655s]  
  10. [INFO] Apache Hadoop Auth ................................ SUCCESS [7.782s]  
  11. [INFO] Apache Hadoop Auth Examples ....................... SUCCESS [5.731s]  
  12. [INFO] Apache Hadoop Common .............................. SUCCESS [1:52.476s]  
  13. [INFO] Apache Hadoop NFS ................................. SUCCESS [9.935s]  
  14. [INFO] Apache Hadoop Common Project ...................... SUCCESS [0.110s]  
  15. [INFO] Apache Hadoop HDFS ................................ SUCCESS [1:58.347s]  
  16. [INFO] Apache Hadoop HttpFS .............................. SUCCESS [26.915s]  
  17. [INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [17.002s]  
  18. [INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [5.292s]  
  19. [INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.073s]  
  20. [INFO] hadoop-yarn ....................................... SUCCESS [0.335s]  
  21. [INFO] hadoop-yarn-api ................................... SUCCESS [54.478s]  
  22. [INFO] hadoop-yarn-common ................................ SUCCESS [39.215s]  
  23. [INFO] hadoop-yarn-server ................................ SUCCESS [0.241s]  
  24. [INFO] hadoop-yarn-server-common ......................... SUCCESS [15.601s]  
  25. [INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [21.566s]  
  26. [INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [4.754s]  
  27. [INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [20.625s]  
  28. [INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.755s]  
  29. [INFO] hadoop-yarn-client ................................ SUCCESS [6.748s]  
  30. [INFO] hadoop-yarn-applications .......................... SUCCESS [0.155s]  
  31. [INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [4.661s]  
  32. [INFO] hadoop-mapreduce-client ........................... SUCCESS [0.160s]  
  33. [INFO] hadoop-mapreduce-client-core ...................... SUCCESS [36.090s]  
  34. [INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [2.753s]  
  35. [INFO] hadoop-yarn-site .................................. SUCCESS [0.151s]  
  36. [INFO] hadoop-yarn-project ............................... SUCCESS [4.771s]  
  37. [INFO] hadoop-mapreduce-client-common .................... SUCCESS [24.870s]  
  38. [INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [3.812s]  
  39. [INFO] hadoop-mapreduce-client-app ....................... SUCCESS [15.759s]  
  40. [INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.831s]  
  41. [INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [8.126s]  
  42. [INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [2.320s]  
  43. [INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [9.596s]  
  44. [INFO] hadoop-mapreduce .................................. SUCCESS [3.905s]  
  45. [INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [7.118s]  
  46. [INFO] Apache Hadoop Distributed Copy .................... SUCCESS [11.651s]  
  47. [INFO] Apache Hadoop Archives ............................ SUCCESS [2.671s]  
  48. [INFO] Apache Hadoop Rumen ............................... SUCCESS [10.038s]  
  49. [INFO] Apache Hadoop Gridmix ............................. SUCCESS [6.062s]  
  50. [INFO] Apache Hadoop Data Join ........................... SUCCESS [4.104s]  
  51. [INFO] Apache Hadoop Extras .............................. SUCCESS [4.210s]  
  52. [INFO] Apache Hadoop Pipes ............................... SUCCESS [9.419s]  
  53. [INFO] Apache Hadoop Tools Dist .......................... SUCCESS [2.306s]  
  54. [INFO] Apache Hadoop Tools ............................... SUCCESS [0.037s]  
  55. [INFO] Apache Hadoop Distribution ........................ SUCCESS [21.579s]  
  56. [INFO] Apache Hadoop Client .............................. SUCCESS [7.299s]  
  57. [INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [7.347s]  
  58. [INFO] ------------------------------------------------------------------------  
  59. [INFO] BUILD SUCCESS  
  60. [INFO] ------------------------------------------------------------------------  
  61. [INFO] Total time: 11:53.144s  
  62. [INFO] Finished at: Fri Nov 22 16:58:32 CST 2013  
  63. [INFO] Final Memory: 70M/239M  
  64. [INFO] ------------------------------------------------------------------------  

直到看到上面的内容那就说明编译完成了。

 

编译后的路径在:hadoop-2.5.2-src/hadoop-dist/target/hadoop-2.5.2

  1. [root@localhost bin]# ./hadoop version  
  2. Hadoop 2.5.2  
  3. Subversion Unknown -r Unknown  
  4. Compiled by root on 2013-11-22T08:47Z  
  5. Compiled with protoc 2.5.0  
  6. From source with checksum 79e53ce7994d1628b240f09af91e1af4  
  7. This command was run using /data/hadoop-2.5.2-src/hadoop-dist/target/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar  

 


可以看出hadoop的版本是多少位的: file lib//native/*

 自己动手编译hadoop-2.5.2源码_第2张图片

 

 

注意红色字体部分,如果下载官网的编译好的包,这里显示的是32-bit。

 

 

上面若不成功,可能是很多其他问题
 

首次编译一般不会成功(视人品而定),下面是可能会遇到的一些问题:

a) maven-enforcer-plugin规则验证失败

编辑源代码根目录下的pom.xml,找到maven-enforcer-plugin所在的部分


          org.apache.maven.plugins
          maven-enforcer-plugin
          1.3.1
         
           
             
                [3.0.2,)
             
             
                1.7
             
           
         
 

注意红色部分,原来的值是1.6,即规定了使用jdk1.6,如果本机安装的jdk是1.7,这里相应改一下
b)maven-antrun-plugin各种报错

同样尝试修改pom.xml

 
          org.apache.maven.plugins
          maven-antrun-plugin
          1.7
        
           
                  org.codehaus.plexus
                  plexus-utils
                  2.0.5
             
             
                    org.apache.ant
                     ant
                     1.9.4
               
       
 

红色这一部分是原来没有的,可以尝试加上再试试,其中ant依赖项的版本号,调整成本机实际的ant版本号

c) org.slf4j系列jar包找不到的问题
hadoop所依赖的org.slf4j这一系列的Jar包版本都特别低,如果maven无法自动从互联网下载成功,可以手动根据出错信息,到网上下载这些jar包,然后放到本地仓库的相关目录

d) apache-tomcat-6.0.41.tar.gz 下载太卡的问题
 [get] Getting:  http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.41/bin/apache-tomcat-6.0.41.tar.gz 
 [get] To: /home/cargo/hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/apache-tomcat-6.0.41.tar.gz
到这一步时,如果下载失败,可以手动下载这个包,然后放到 hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/ 目录下

 

e)内存不足

export MAVEN_OPTS="Xms256m -Xmx512m"

把这一行加到最开始设置环境变量的文件最后即可


再次配置完了,需要将上次的操作clean掉

    1. cd hadoop2.5.2-src  
    2. mvn clean install –DskipTests  

 

调侃一下: 可能是不同机器网络等问题,别灰心,看看报的啥错误,一点点的解决 ,

上面这些招数用尽后,仍然各种报错,可以尝试把maven命令调整成

mvn compile -DskipTests -Pdist,native -Dtar

即先不打包,仅编译


补充一下:

1. Maven是一个软件项目管理和综合工具。基于项目对象模型(POM)的概念,Maven可以从一个中心资料片管理项目构建,报告和文件。

Maven是什么?

Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设,Maven使用标准的目录结构和默认构建生命周期。

在多个开发团队环境时,Maven可以设置按标准在非常短的时间里完成配置工作。由于大部分项目的设置都很简单,并且可重复使用,Maven让开发人员的工作更轻松,同时创建报表,检查,构建和测试自动化设置。

2. Protocol

Google Protocol Buffer 的使用和原理

Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

3.svn

SVN

SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS、CVS,它采用了分支管理系统,它的设计目标就是取代CVS。互联网上很多版本控制服务已从CVS迁移到Subversion。

( Subversion:颠覆;破坏)

 

4.cmake

cmake

CMake是一个跨平台的安装(编译)工具,可以用简单的语句来描述所有平台的安装(编译过程)。他能够输出各种各样的makefile或者project文件,能测试编译器所支持的C++特性,类似UNIX下的automake。只是 CMake 的组态档取名为 CmakeLists.txt。Cmake 并不直接建构出最终的软件,而是产生标准的建构档(如 Unix 的 Makefile 或 Windows Visual C++ 的 projects/workspaces),然后再依一般的建构方式使用。这使得熟悉某个集成开发环境(IDE)的开发者可以用标准的方式建构他的软件,这种可以使用各平台的原生建构系统的能力是 CMake 和 SCons 等其他类似系统的区别之处。

5.Any

Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。由Apache软件基金会所提供。

6.libtool

libtool

GNU libtool 是一个通用库支持脚本,将使用动态库的复杂性隐藏在统一、可移植的接口中。

可以利用libtool自动生成动态库的Makefile

libtool 提供通用的库编译支持。

libtoolize 提供了一种标准方式来将libtool支持加入到一个软件包。

libltdl 隐藏 dlopening 库的复杂细节。

以前,如果源代码包的开发者要利用共享库的优点,则必须为每个软件包可支持的平台编写 定制的支持代码。并且还需要设计配置接口,以便软件包的安装程序能够正确选择要建立的 库类型。利用 GNU Libtool,则可以简化开发者的这一工作。它在一个单独的脚本中同时封装 了与平台相关的依赖性以及用户界面。GNU Libtool 可使每个宿主类型的完整功能可通过 一般性的接口获得,同时为程序员隐藏了宿主的特殊性。GNU Libtool 一致性接口是可靠的, 用户不必阅读那些晦涩的文档,以便在每个平台上建立共享库。他们只需运行软件包的配置 脚本,而由 libtool 完成繁复的工作。 

 

参考:http://www.cnblogs.com/yjmyzz/p/compile-hadoop-2_6_0-source-code-in-centos_x64.html
http://jingyan.baidu.com/article/ce436649fea8533772afd365.html

转载于:https://www.cnblogs.com/nucdy/p/5694452.html

你可能感兴趣的:(自己动手编译hadoop-2.5.2源码)