Ubuntu 14.04 64位编译hadoop 2.7.3

1 下载解压

$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
$ tar -zxvf hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

2 安装依赖

在hadoop的根目录下有一个BUILDING.txt文件,该文件列出了当前hadoop版本所有的必选依赖包以及可选依赖包,以及安装这些依赖包的apt-get指令。其中jdk以及maven的安装,之前博客有介绍如何安装。现在只需使用如下指令安装其余的依赖包:

$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
$ sudo apt-get -y install libprotobuf-dev protobuf-compiler

3 编译hadoop

之前提到的BUILDING.txt文件中也有使用maven编译hadoop的指令建议,这里使用如下指令进行编译:

$ mvn package -Pdist,native -DskipTests -Dtar

需要注意的是:不要在-P选项中添加docs参数,添加之后,在我的机器上编译出错,具体原因不明,去掉docs参数可以编译成功。
编译时间较长15~30分钟左右,并且在第一次编译时,maven会下载很多相关包当本地~/.m2目录下,以后再次编译就不需要下载了。当最后出现如下内容时,表示编译成功:

[INFO] ————————————————————————
[INFO] BUILD SUCCESS
[INFO] ————————————————————————
[INFO] Total time: 14:59.240s
[INFO] Finished at: Fri Nov 11 15:04:44 CST 2016
[INFO] Final Memory: 168M/435M
[INFO] ————————————————————————

编译好的二进制包在如下目录:

hadoop-2.7.3-src/hadoop-dist/target/

你可能感兴趣的:(Ubuntu,linux,hadoop)