hadoop2.9.2源码编译

 

1、环境准备

       centos7 、maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0、 hadoop-2.9.2-src

        将maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0的压缩包下载好，解压到指定的目录其中protobuf-2.5.0需要重新 编译

      安装gcc编译器和make构建：

yum install glibc-headers
yum install gcc-c++
yum install make
yum install cmake

   编译protobuf

./configure 
make 
make check 
make install 
ldconfig 

    安装openssl库

yum install openssl-devel
yum install ncurses-devel

将上述编译工具添加到环境变量中

  解压hadoop源码，进入源码目录，执行编译命令

 mvn package -Pdist,native -DskipTests -Dtar

编译可能遇到的问题

解决：下载亚马逊jar包，安装到本地maven仓库

wget https://s3-us-west-2.amazonaws.com/dynamodb-local/release/com/amazonaws/DynamoDBLocal/1.11.86/DynamoDBLocal-1.11.86.jar


mvn install:install-file -Dfile=DynamoDBLocal-1.11.86.jar -DgroupId=com.amazonaws -DartifactId=DynamoDBLocal -Dversion=1.11.86 -Dpackaging=jar

编译后的hadoop压缩包位置