1、虚拟机为VM10
2、Linux系统为centos6.5
3、Hadoop为hadoop-2.8.1-src.tar.gz
4、JDK为jdk-8u45-linux-x64.gz
5、Maven为apache-maven-3.3.9-bin.zip
6、protobuf为protobuf-2.5.0.tar.gz
7、findbugs为findbugs-1.3.9.zip
Linux:链接:https://pan.baidu.com/s/1c2jinQC 密码:qvb4
Hadoop:链接:https://pan.baidu.com/s/1eSjex7k 密码:9d6l
JDK:链接:https://pan.baidu.com/s/1pLR10mR 密码:t2de
Maven:链接:https://pan.baidu.com/s/1dEMLRKt 密码:jvhb
protobuf:链接:https://pan.baidu.com/s/1qYups3E 密码:15di
findbugs:链接:https://pan.baidu.com/s/1nvMfOdN 密码:iiq8
maven资源库(.m2.tar.gz):链接:https://pan.baidu.com/s/1kUDMgWv 密码:pedi
VM10请自行下载,自己动手丰衣足食
申明:当前用户为root用户
创建文件夹/opt/sourcecode
mkdir -p /opt/sourcecode
上传文件到/opt/scourcecode目录
rz
进入目录解压tar
tar -zxvf hadoop-2.8.1-src.tar.gz
解压后查看用户和用户组是否变化
ll
若变化,手动更改用户和用户组权限 chown -R root:root hadoop-2.8.1-src
cat ./hadoop-2.8.1-src/BUILDING.txt
------以下----------
* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
------以上----------
声明:请使用Oracle jdk,可去Oracle官网下载最新
创建/usr/java目录
mkdir -p /usr/java
移动jdk到/usr/java目录下解压
tar -zxvf jdk-8u45-linux-x64.gz
解压后查看用户和用户组是否变化
ll
若变化,手动更改用户和用户组权限 chown -R root:root jdk1.8.0_45
编辑/etc/profile
vi /etc/profile
在最下面添加如下信息
-----以下------
#jdk存放的路径,根据自身情况可修改
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
-----以上-------
保存退出后生效配置文件
source /etc/profile
验证是否配置成功
java -version
若输出对应版本号,则成功
创建/opt/software目录
mkdir -p /opt/software
移动maven到/opt/software下解压
upzip apache-maven-3.3.9-bin.zip
解压后查看用户和用户组是否变化
ll
若变化,手动更改用户和用户组权限 chown -R root:root apache-maven-3.3.9
编辑/etc/profile
vi /etc/profile
在最下面添加如下信息
-----以下------
#软件存放的路径,根据自身情况可修改
export JAVA_HOME=/usr/java/jdk1.8.0_45
export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------
保存退出后生效配置文件
source /etc/profile
验证是否配置成功
mvn -version
若输出对应版本号,则成功
移动protobuf到/opt/software目录下解压
tar -zxvf protobuf-2.5.0.tar.gz
解压后查看用户和用户组是否变化
ll
若变化,手动更改用户和用户组权限 chown -R root:root protobuf-2.5.0
进入protobuf-2.5.0目录
cd protobuf-2.5.0
在当前目录下安装gcc、gcc-c++、make、cmake
yum install -y gcc gcc-c++ make cmake
执行protobuf的配置命令
./configure --prefix=/usr/local/protobuf
执行结束后确保/user/local目录下存在protobuf文件夹,若不存在创建该文件夹:mkdir -p /usr/local/protobuf
安装make
make && make install
编辑/etc/profile
vi /etc/profile
在最下面添加如下信息
-----以下------
#软件存放的路径,根据自身情况可修改
export JAVA_HOME=/usr/java/jdk1.8.0_45
export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PROTOC_HOME=/usr/local/protobuf
export PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------
保存退出后生效配置文件
source /etc/profile
验证是否配置成功
protoc-version
若输出对应版本号,则成功
移动findbugs到/opt/software下解压
upzip findbugs-1.3.9.zip
解压后查看用户和用户组是否变化
ll
若变化,手动更改用户和用户组权限 chown -R root:root findbugs-1.3.9
编辑/etc/profile
vi /etc/profile
在最下面添加如下信息
-----以下------
#软件存放的路径,根据自身情况可修改
export JAVA_HOME=/usr/java/jdk1.8.0_45
export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PROTOC_HOME=/usr/local/protobuf
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
-----以上-------
保存退出后生效配置文件
source /etc/profile
验证是否配置成功
findbugs-version
若输出对应版本号,则成功
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
进入adoop-2.8.1-src目录
cd /opt/sourcecode/hadoop-2.8.1-src
执行编译命令
mvn clean package -Pdist,native -DskipTests -Dtar
说明:
该过程第一次编译可能会花费几个小时,maven会下载相应的jar包消耗时间。
二次编译较快(半小时左右)。若不想下载,则参考步骤9。
若编译过程中出现网络假死,则按Ctrl+C结束,再次执行编译命令。
若多次都发生网络假死卡住,请参考步骤9。
若出现如下字样,表示编译成功
-----以下------
[INFO] Apache Hadoop Distribution ......................... SUCCESS [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 31:41 min
[INFO] Finished at: 2017-12-10T11:55:28+08:00
[INFO] Final Memory: 166M/494M
[INFO] ------------------------------------------------------------------------
-----以上------
进入./hadoop-dist/target目录查看编译好的tar包
cd opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target
hadoop-2.8.1.tar.gz 即为编译好的tar包
上传.m2.tar.gz到家目录/root下,.m2.tar.gz已经在软件包地址中给出
删除当前家目录/root下已经存在的.m2隐藏文件
rm -rf .m2
解压.m2.tar.gz到当前目录下
tar -zxvf .m2.tar.gz
确保用户用户组正常
ll -a
若变化,手动更改用户和用户组权限 chown -R root:root .m2
查看.m2文件大小,若为128M左右表示正常
du -sh .m2
进入/opt/sourcecode/hadoop-2.8.1-src目录重新执行编译命令
若泽数据: www.ruozedata.com
交流群: 707635769