2018-06-14




【若泽大数据实战第九天】Hadoop 编译








Hadoop:

1.官网:
http://hadoop.apache.org/
2.Hadoop的狭义和褒义认识:
狭义:软件(HDFS、MapReduce、Yarn)
褒义:以Hadoop为主的生态圈
3.Hadoop版本
Hadoop1.x
HDFS:分布式文件系统,存储
MapReduce:分布式计算+资源调度和作业调度
Hadoop2.x
HDFS:存储
MapReduce:计算
YarnYetAnother Resource Negotiate 资源调度和作业调度
4.Maven 部署
官网: https://mvnrepository.com/Maven: 理解为是一个仓库,用来管理jar包

如果一个源代码工程里面有pom.xml,这个就是Maven工程需要用Maven来编译如:Maven根据pom.xml来下载jar包管理的 cat /opt/software/hadoop-2.8.1-src more pom.xml1.步骤 mkdir -p /opt/sowfware rz 电脑上以下软件 .m2.tar.gz
apache-maven-3.3.9-bin.zip
findbugs-1.3.9.zip
hadoop-2.8.1-src.tar.gz
hadoop-2.8.1.tar.gz
jdk-8u45-linux-x64.gz
protobuf-2.5.0.tar.gz
解压Maven压缩包:
unzip apache-maven-3.3.9-bin.zip
配置环境变量:
vi /etc/profile
export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效:
source /etc/profile
查看Maven是否安装:
mvn -version
我们CD进入家目录,把.m2.tar.gz移动到家目录里解压 cd /opt/software mv .m2.tar.gz ~ tar zxvf .m2.tar.gz
5.Hadoop编译环境准备(第一个编译的项目)
Github:https://github.com/apache/hadoop
https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

编译环境:

5.1解压 hadoop-2.8.1-src.tar.gz (看到src就是源码文件) cd /opt/software tar -zxvf hadoop-2.8.1-src.tar.gz
5.2如果一个源代码工程里面有pom.xml,这个就是Maven工程需要用Maven来编译如:Maven根据pom.xml来下载jar包管理的 cat /opt/software/hadoop-2.8.1-src more pom.xml
5.3 查看BUILDING.txt编译的需求 cat /hadoop-2.8.1-src/BUILDING.txt需求如下:
Requirements:

    * Unix System 
    * JDK 1.7+ 
    * Maven 3.0 or later 
    * Findbugs 1.3.9 (if running findbugs)   ---略
    * ProtocolBuffer 2.5.0
    * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
    * Zlib devel (if compiling native code)
    * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encry
    ption performance)
    * Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_d
    fs)
    * Internet connection for first build (to fetch all Maven and Hadoop dependencie
    s)


5.4 查看jdk1.7+ Maven 3.0 - 需求 # java -version java version "1.8.0_45" # mvn --version Apache Maven 3.3.9 

5.5 编译 Findbugs 1.3.9
cd /opt/software unzip findbugs-1.3.9.zip  添加一下内容vi /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9 export PATH=:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH生效: source /etc/profile查看Findbugs版本: # findbugs -version 1.3.9
5.6 解压 ProtocolBuffer 2.5.0解压: cd /opt/software    tar -zxvf protobuf-2.5.0.tar.gz 
修改权限:
    chown -R root:root /opt/software/protobuf-2.5.0
安装cmake:
    yum install -y gcc gcc-gcc+ make cmake
指定软件安装的目录:
    ./configure --prefix=/usr/local/protobuf
编译安装:
    make && make install
查看是否存在文件夹:
    cd /usr/local/protobuf
配置环境变量:
    vi /etc/profile
        export PROTOC_HOME=/usr/local/protobuf
        export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效:
    source /etc/profile
查看:
    protoc --version
libprotoc 2.5.0
5.7 其他依赖yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

6.JDK的安装&&全局环境变量
jdk文件必须放到:
/usr/java目录下
解压jdk的tar包:
tar -zxvf jdk-8u45-linux-x64.gz
注意点:
解压之后,修改jdk文件夹的权限
chown -R root:root jdk1.8.0_45 文件夹和文件夹里面的文件夹和文件
chown -R root:root jdk1.8.0_45/*

配置环境变量:
vi /etc/profile
#add JAVA_HOME
JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
生效:
source /etc/profile
查看是否成功:
java -version

7.Hadoop的编译步骤
cd /opt/software/hadoop-2.8.1-src

要求(more BUILDING.txt):
Building distributions:
mvn clean package -Pdist,native -DskipTests -Dtar
如果存在screen,则安装screen:
yum install -y screen

后台命令:
screen -S hadoop
之后退出ctrl + a + d
查看用户:
screen -list
进入:
screen -r 13814
第一次编译:清空打包跳过编译模式
mvn clean package -Pdist,native -DskipTests -Dtar
注意:
download需要3.5h
不想download就使用.m2.tar.gz -->解压-->root家目录

.m2在家目录下

8.编译好的tar包
/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz (解压就能使用)
9.配置本地Maven仓库:
window/linux:
cd /opt/software/apache-maven-3.3.9/conf
1.vi setting.xml
<localRepository>D:\software\apache-maven-3.3.9\repositorylocalRepository>
2.创建D:\software\apache-maven-3.3.9\repository

提醒:

1、有时候编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,
此时按ctrl+c,重新运行编译命令。
2、如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译。
大数据课程推荐:




    
版权声明: https://blog.csdn.net/qq_24073707/article/details/80306085









  • github_38034959
    烟波人2018-06-12 10:13:02#1楼
    楼主5.2命令敲错了:
    cat /opt/software/hadoop-2.8.1-src
    more pom.xml
    应该是:
    cd /opt/software/hadoop-2.8.1-src
    more pom.xml

  • 上一页
  • 1
  • 下一页










北京新政策:45岁以上中老年人可以申请极简种牙—每天限10名
海德堡口腔 · 顶新





                

Hadoop大数据分析与挖掘实战PDF

2017年11月23日 39.84MB 下载

课程目录:
第1章课程大纲介绍12分钟1节
1-1课程大纲介绍[免费观看]12:21
第2章大数据的基础介绍20分钟1节
2-1大数据的基础介绍[免费观看]20:52 ...





dg357442101
dg357442101



2018-01-27 17:30:56



阅读数:176









Hadoop大数据实战手册



2017年10月27日
2.65MB
下载











女性得了静脉曲张变成蚯蚓腿怎么办?用这方法坚持3个月全恢复!
水英电器 · 顶新












Hadoop大数据分析与挖掘实战



2017年11月11日
51.65MB
下载












Hadoop大数据处理 完整版 pdf



2017年10月21日
84.89MB
下载














没有更多推荐了,返回首页




你可能感兴趣的:(2018-06-14)