linux hadoop编译

1、解压hadoop源代码

tar -zxvf hadoop-2.8.1-src.tar.gz

2、进入hadoop-s.8.1-src

首先pom文件，pom是项目的依赖管理文件，jar包。大家可以简单看一下需要下载哪些jar包。

3、主要是查看BUILDING.txt文件

这是编译hadoop需要的一些软件版本要求，我，我们挨个看一下符不符合要求；

    3.1我使用的是centos6.x，符合“Unix System”要求。

    3.2    查看一下jdk版本

    jdk1.8.8_171符合要求“1.7+”。

    3.3查看maven版本

maven版本3.3.9符合“3.0 or later”。

3.4

findbugs未安装，安装一下（我已经事先把文件发送到服务器上）：

    解压 unzip findbugs-1.3.9.zip

    配置环境变量

    vi /etc/profile

      配置路径：

    生效：source /etc/profile

    findbugs版本1.3.9符合要求。

    3.5

    解压protobuf，用户组，跟创建用户有问题

            改变创建用户及用户组

看一下有些底层基础软件有没有安装，精简版的可能会没有，就会导致问题

yum install gcc gcc-c++ make cmake

    protobuf解压后并不能直接使用而是需要预编译：

    ./configure --prefix=/usr/local/protobuf

    make && make install

    预编译到“/usr/local/protobuf”目录下

    /usr/local 目录下创建了protobuf目录。

    配置环境变量：

    检验版本号：

    protoc --version

    符合要求。

3.6    others

使用yum统一安装

yum -y install openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

以上就是编译前的文件安装

====================================================================

4.编译

再次打开hadoop 文件夹中BUILDING.txt文件；

找到如下地方：

我们使用第二条然后去掉docs，clean一下

命令：mvn clean package -Pdist,native -DskipTests -Dtar

编译好的tar包

/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz;

至此编译完成！！！

注意：

1、有时候编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，

此时按ctrl+c，重新运行编译命令。

2、如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。