Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译

Hadoop 2.x 源码编译

 编译 Hadoop 环境要求:

1、必须在 Linux 系统下进行编译;

2、编译使用的 JDK 版本必须是 1.6 以上;

3、编译需要使用 Maven(因为源码是由 Maven 管理的)版本 3.0 以上;

4、安装 Findbugs 插件工具,版本 1.3.9

5、安装 CMake 编译工具,版本 2.6 或最新版本

6、安装 zlib devel

7、安装 openssl devel

8、编译时必须连接互联网

〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓编译开始〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓

 第一步,解压 Hadoop 安装包,版本:2.5.0


 第二步,解压 JDK,版本:1.7


 第三步,配置环境变量,并使 profile 文件生效(在 root 用户下操作)




 第四步,配置 Maven,并使 profile 文件生效(在 root 用户下操作)





Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第1张图片

 第五步,安装 gcc/gcc-c++/make(在 root 用户下操作)


Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第2张图片

 第六步,解压安装 protobuf(切回普通用户)





 第七步,配置环境变量



 在普通用户下 source 生效 profile 文件,并查看安装是否成功


 第八步,下载安装 CMakeopensslncurses 依赖包

Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第3张图片

Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第4张图片

Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第5张图片

 第九步,开始编译 Hadoop 源码包,先移动到 hadoop 源码包安装目录下


由于后面要使用snappy压缩,所以编译方式修改如下:

http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz

tar zxvf snappy-1.1.1.tar.gz && cd snappy-1.1.1 && ./configure && make && make install

查看snappy安装情况:ls -lh /usr/local/lib |grep snappy

安装:

mvn package -Pdist,native -DskipTests -Drequire.snappy

 编译成功!整个编译过程大约需要等待 20~30 分钟,如下图:

Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第6张图片

 替换原来的 Native 目录,执行命令查看,不再提示警告

Hadoop 2.x 源码编译 一步步图文介绍,包含snappy编译_第7张图片

〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓编译完成!〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓

 

你可能感兴趣的:(大数据相关,环境搭建篇)