1 Hadoop简介和编译 2018-05-11

1.Hadoop官网
http://hadoop.apache.org/
2.hadoop版本说明
①.hadoop1.x：
HDFS：分布式文件系统，存储
MapReduce：分布式计算+资源调度和作业调度
②.hadoop2.x：
HDFS：存储
MapReduce：计算
Yarn：YetAnother Resource Negotiator 资源调度和作业调度平台
3.hadoop编译要求

Github：https://github.com/apache/hadoop
        https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

打开BUILDING.txt查看hadoop-2.8.1-src需求
[root@rzdatahadoop002 hadoop-2.8.1-src]# more BUILDING.txt

Build instructions for Hadoop
--------------------------------------------------------------------------------
Requirements:

* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encry
ption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_d
fs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencie
s)
-------------------------------------------------------------------------------

4.Java安装
新建目录：mkdir /usr/java
上传安装包：rz jdk-8u45-linux-x64.gz
解压压缩包：tar -xzvf jdk-8u45-linux-x64.gz得到jdk1.8.0_45
修改用户、用户组：
chown -R root:root jdk1.8.0_45 或
chown -R root:root jdk1.8.0_45/*
配置环境变量：
vi /etc/profile
在最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH

执行生效：source /etc/profile
查看版本：java -version
5.maven 安装
新建目录：mkdir /opt/sodtware
上传安装包：rz apache-maven-3.3.9-bin.zip
解压压缩包：unzip jdk-8u45-linux-x64.gz得到apache-maven-3.3.9
配置环境变量：
vi /etc/profile
在最后添加

export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

执行生效：source /etc/profile
查看版本： mvn -version
6.protobuf安装
上传安装包到/opt/software：rz protobuf-2.5.0.tar.gz
解压：tar -xzvf protobuf-2.5.0.tar.gz得到protobuf-2.5.0
进入protobuf-2.5.0目录：cd protobuf-2.5.0
安装依赖包：
yum install -y gcc gcc-c++ make cmake
配置： ./configure --prefix=/usr/local/protobuf
安装：make && make install
配置环境变量：
vi /etc/profile
在最后添加

export PROTOC_HOME=/usr/local/protobuf
export PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

执行生效：source /etc/profile
查看版本： protoc --version
7.findbugs安装
上传安装包到/opt/software：rz findbugs-1.3.9.zip
解压：unzip findbugs-1.3.9.zip得到findbugs-1.3.9
配置环境变量：
vi /etc/profile
在最后添加

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

执行生效：source /etc/profile
查看版本：findbugs -version
8.hadoop编译
安装依赖包：
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
新建目录：mkdir /opt/sourcecdoe
上传源码包：rz hadoop-2.8.1-src.tar.gz
解压缩：tar -xzvf hadoop-2.8.1-src.tar.gz得到hadoop-2.8.1-src
进入目录：cd hadoop-2.8.1-src
编译：mvn clean package -Pdist,native -DskipTests -Dtar

download需要3.5h
不想download就使用.m2.tar.gz -->解压-->root家目录

编译好的tar包
/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

提醒：
1、有时候编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，
此时按ctrl+c，重新运行编译命令。
2、如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。
9.hadoop编译报错

经查，因使用虚拟机，Windows系统DNS发生变化，需更改CentOS的DNS。
在此特别感谢若泽数据的Jepson老师。
顺便给他们打个广告吧，真的很用心。 http://www.ruozedata.com