Hadoop 2.3.0编译

下载版本:
http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.3.0

安装maven和java
安装版本为:Apache Maven 3.0.4, 2.×版本会出现编译错误
安装java,设置path环境变量

安装protobuf
注意hadoop对protobuf有版本要求,需要安装2.5.0, 如果是其他版本,会在编译过程出现错(显示protoc版本不对)。该问题出现在2.4.1版本上
protobuf下载:https://code.google.com/p/protobuf/downloads/list
安装过程:./configure && make && make install
安装以后,执行protoc --version应该会输出“ error while loading shared libraries: libprotoc.so.8: cannot open shared”,
因为protobuf默认安装路径是在/usr/local/lib目录,而该目录不在ubuntu的 LD_LIBRARY_PATH 默认值里(默认值为:/lib和/usr/lib),所以就找不到该lib;
解决版本:1. 创建文件 /etc/ld.so.conf.d/libprotobuf.conf 包含内容:/usr/local/lib; 2. 输入命令:sudo ldconfig
然后运行上述命令显示"libprotoc 2.5.0". 表示done

安装gcc和g++
和上述一样,hadoop对gcc版本是有要求的,在3.4.5中编译过,有各种问题,所以建议直接安装最新版本的;我这边安装的是(gcc version 4.6.3)ok
版本不规范的时候胡出现: no such instruction: `crc32***错误

安装cmake
cmake版本使用的cmake version 2.8.7;如果安装后直接运行会出现 missing : ZLIB_INCLUDE_DIR ZLIB_LIBRARY和missing: OPENSSL_LIBRARIES错误,原因是需要安装sudo apt-get install zlib1g-dev和sudo apt-get install libssl-dev .
在安装zlib1g以后还是会出现missing : ZLIB_INCLUDE_DIR ZLIB_LIBRARY,此时需要设置该环境变量,如下:
export LD_LIBRARY_PATH=/usr/local/zlib/lib:$LD_LIBRARY_PATH
export C_INCLUDE_PATH=/usr/local/zlib/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=/usr/local/zlib/include:$CPLUS_INCLUDE_PATH

然后再执行下面命令编译就ok:
mvn package -Pdist,native -DskipTests -Dtar -e
-e是显示错误

编译后所有的文件都在:release-2.3.0/hadoop-dist/target/hadoop-2.3.0目录下

你可能感兴趣的:(hadoop)