hadoop2.x安装maven SVN gcc等步骤

1、下载maven

http://mirror.bit.edu.cn/apache/maven/maven-3/ 到该地址下下载tar.gz文件

将该文件解压

tar -zxf .....tar.gz

mv apache-maven-3.3.9/ /app/lib/(或者/usr/lib/下,没有测试)

2、修改系统变量的配置文件profile

sudo /etc/profile

在JDK配置文件下方添加如下命令

export MAVEN_HOME=/app/lib/apache-maven-3.3.9

export PATH=$PATH:$MAVEN_HOME/bin

编译配置文件

source /etc/profile

测试是否安装成功

mvn -version

3、安装svn、 autoconf automake libtool cmake、ncurses-devel、openssl-devel、gcc*

使用yum 安装

sudo yum install svn

提示该命令已经被废除,

Yum command has been deprecated, redirecting to '/usr/bin/dnf install svn'.

See 'man dnf' and 'man yum2dnf' for more information.

To transfer transaction metadata from yum to DNF, run:

'dnf install python-dnf-plugins-extras-migrate && dnf-2 migrate'

使用man dnf命令发现,今后dnf将成为替代yum的新的API命令。可以直接使用 sudo dnf install svn 代替上述命令。

(实测,该命令没有显示被废除的提示)

4、安装 protobuf

因为是谷歌的部件,因此不能直接在官方网站下载,为大家找到一个百度云的连接

http://pan.baidu.com/s/1pJlZubT

该步骤是在上一步安装完gcc*后才能安装,下载后将该文件解压,移到目录下

tar -zxf ....gz

mv ... /app/lib

进入到运行目录

cd /app/lib/protobuf-2.5.0/

每一个都运行时间较长,耐心等待。

sudo ./configure

sudo make

sudo make check

sudo make install

成功后

使用protoc,会返回missing input file,表示运行成功。


下一步就是编译运行Hadoop了,上述命令中的具体含义,下次再进行分析和解释。


备注:对于protobuffer是谷歌的一种新的定义的传输数据结构,是使用二进制编码。类似对比是json、xml

接下来是使用svn进行Hadoop源码的下载和编译,用时较长,大概四十分钟

1、创建

cd /app

mkdir compile

svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0获取时间较长,大小约75.3M

2、因为据说hadoop-2.2.0有一个模块问题,需要修复

在第一步完成之后,进入到release-2.2.0/hadoop-common-project/hadoop-auth/pom.xml

添加独立包

直接修改hadoop-common-project/hadoop-auth/pom.xml,其实就是少了一个包,添加一个dependency:

org.mortbay.jetty

jetty-util

test

3、进入到release-2.2.0目录下,即Hadoop根部木下执行代码

mvn package -Pdist,native -DskipTests –Dtar(备注,据说不能拷贝进入,会报错误,需要手动输入)过程会比较长,约半个小时

你可能感兴趣的:(hadoop2.x安装maven SVN gcc等步骤)