centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群

cd /etc/yum.repos.d/
cp CentOS-Base.repo CentOS-Base.repo.bak（备份后，以免修改错误还可以进行还原）
vim CentOS-Base.repo

1 安装的主要环境

OS：Centos 7 64-bit

Hadoop version:2.6.0

Java:Jdk1.7.0_79

所有这些下载好的文件都放在/home/helloway/Downloads文件夹下，其对应的安装目录全放在/usr下

 

1.1    首先安装编译和安装过程所需要的所有依赖程序包：

l  在所有安装开始前，先从当前helloway用户切换到root用户，由root用户执行安装操作

sudo –s

l  更新前，进行源更换，换个镜像下载，先将原先的源备份为，再进行源的修改：

cd /etc/yum.repos.d/
cp CentOS-Base.repo CentOS-Base.repo.bak（备份后，以免修改错误还可以进行还原）
vim CentOS-Base.repo

按如下截图部分进行修改：

l  开始安装所需要的所有依赖程序包：

yum install cmake lzo-devel zlib-devel gccgcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

1.2 Java环境配置：

l  Jdk下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

l  在/home/helloway/Downloads下新建java文件夹，并将/home/helloway/Downloads/java的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /java/文件夹中，解压成功后，将/home/helloway/Downloads/java文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir java
chown helloway:helloway java
tar –zxvf jdk-7u79-linux-x64.tar.gz –C java/
mv java/ /usr

l  修改/etc/profile，配置java环境变量

vim /etc/profile
（文件末尾加入以下四行）
export JAVA_HOME=/usr /java/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

l  使环境变量生效

source /etc/profile

l  检查一下是否配置成功

java –version

1.3 protobuf安装配置

l  protobuf下载地址：

https://code.google.com/p/protobuf/downloads/list

l  在/home/helloway/Downloads下新建protobuf文件夹，并将/home/helloway/Downloads/protobuf的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /protobuf/文件夹中，解压成功后，将/home/helloway/Downloads/protobuf文件夹移动到/usr文件夹下：然后编译安装：

cd /home/helloway/Downloads
mkdir protobuf
chown helloway:helloway protobuf
tar –zxvf protobuf-2.5.0.tar.gz –C protobuf/
mv protobuf / /usr

l  进入到protobuf的安装目录/usr/protobuf/protobuf-2.5.0

cd /usr/protobuf/ protobuf-2.5.0
./configure --prefix=/usr/（--prefix=/usr/这部分可以不写，直接执行./configure即可）
make
make check
make install

l  检查是否安装成功：

protoc  --version

1.4 ant安装配置

l  在/home/helloway/Downloads下新建ant文件夹，并将/home/helloway/Downloads/ant的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /ant/文件夹中，解压成功后，将/home/helloway/Downloads/ant文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir ant
chown helloway:helloway ant
tar –zxvf apache-ant-1.9.6-bin.tar.gz –C ant/
mv ant / /usr

l  修改/etc/profile，配置ant环境变量

vim /etc/profile

（文件末尾加入一行）

expoet ANT_HOME= /usr/ant/apache-ant-1.9.5

1.5 findbugs安装配置

l  在/home/helloway/Downloads下新建findbugs文件夹，并将/home/helloway/Downloads/findbugs的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /findbugs/文件夹中，解压成功后，将/home/helloway/Downloads/findbugs文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir findbugs
chown helloway:helloway findbugs
tar –zxvf findbugs-3.0.1.tar.gz –C findbugs/
mv findbugs / /usr

l  修改/etc/profile，配置ant环境变量

vim /etc/profile

（文件末尾加入一行）

expoet FINDBUGS_HOME= /usr/findbugs/ findbugs-3.0.1

1.6 maven安装配置

l  在/home/helloway/Downloads下新建maven文件夹，并将/home/helloway/Downloads/maven的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /maven/文件夹中，解压成功后，将/home/helloway/Downloads/maven文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir maven
chown helloway:helloway maven
tar –zxvf apache-maven-3.3.3-bin.tar.gz –Cmaven /
mv maven / /usr

l  修改/usr/maven/apache-maven-3.3.3/conf目录下的settings.xml配置文件

vim / usr/maven /apache-maven-3.3.3/conf/settings.xml

更改maven资料库，在里添加如下内容：

  

  
    nexus-osc
    *
    Nexusosc
    http://maven.oschina.net/content/groups/public/
  

l  修改/etc/profile，配置java环境变量

vim /etc/profile

（文件末尾加入一行）

expoet MAVEN_HOME= /usr/maven/ apache-maven-3.3.3

l  最后在/etc/profile文件末尾加上一行

exportPATH=$JAVA_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$PATH

l  使环境变量生效

source /etc/profile

注：在 root 用户下修改的环境变量，当切换到 helloway 用户时，要想环境变量生效，在每开启一次终端窗口时，必须执行一次 source /etc/profile 命令，否则不生效，该命令只对当前终端生效。要想对 helloway 用户永久有效，则必须在执行一次 source /etc/profile 命令后，注销该用户或重启一次机器才行。

2配置网络环境及ssh免密安装配置

假设单台服务器设备如下：（可以连接外网，进行通信）

hostname	IP
helloway	125.216.243.130

2.1. 配置网络环境

l  修改hostname：

vim /etc/hostname

l  修改成对应的hostname后保存文件。

helloway

l  修改hosts：

vim /etc/hosts

将其中内容全部删掉，然后在文件中加入以下1行：

125.216.243.130 helloway

2.2. SSH免密安装配置

l  退出root用户，使用helloway用户进行操作

su helloway
ssh-keygen –t rsa –P ‘’

l  查看~/.ssh权限

ls –al ~

l  若为700，则不做任何操作，否则执行

chmod 700 ~/.ssh

l  进入到.ssh目录

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys

注：ssh免密登陆完成

3 hadoop-2.6.0安装配置

3.1安装并编译hadoop

l  进入/home/helloway/Downloads目录，将下载好的压缩文件hadoop-2.6.0-src.tar.gz进行解压

cd /home/helloway/Downloads
tar –zxvf hadoop-2.6.0-src.tar.gz

l  进入hadoop-2.6.0-src目录，然后进行编译：

cd hadoop-2.6.0-src
mvn package -DskipTests -Pdist,native（此编译过程比较久，至少1个小时）

l  修改~/.bashrc，配置hadoop环境变量

vim ~/.bashrc

（文件末尾加入以下2行）

export HADOOP_HOME=/home/helloway/hadoop-2.6.0
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

如下图：

l  使环境变量生效

source ~/.bashrc

3.2配置hadoop

l  进入hadoop的配置目录

cd ~/hadoop-2.6.0/etc/hadoop/    （其中~表示当前用户主目录，即：/home/hadoop）

l  修改上图中红色方框中的core-site.xml：

vim core-site.xml

内容如下：

 
   fs.defaultFS
   hdfs://helloway:9000
 
 
   hadoop.tmp.dir
   file:/home/helloway/hadoop-2.6.0/tmp
   

l  修改上图中红色方框中的hdfs-site.xml：

vim hdfs-site.xml

内容如下：

 
   dfs.namenode.name.dir
   file:/home/helloway /hadoop-2.6.0/dfs/name
 
 
 
   dfs.datanode.data.dir
   file:/home/helloway/hadoop-2.6.0/dfs/data
 
 
 
   dfs.replication
   1
 

l  将上图红色方框中mapred-site.xml.template文件一份复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml：

vim mapred-site.xml

内容如下：

 
   mapreduce.framework.name
   yarn
 

l  修改上图中红色方框中的yarn-site.xml：

vim yarn-site.xml

内容如下：

mapreduce.framework.name
yarn

 

yarn.nodemanager.aux-services
mapreduce_shuffle
  

l  修改上图中红色方框中的hadoop-env.sh：

vim vim yarn-env.sh

将其中的export JAVA_HOME改为export JAVA_HOME=/usr /java/jdk1.7.0_79

l  修改上图中红色方框中的yarn-env.sh：

vim yarn-env.sh

在文件开头添加如下一行内容：

export JAVA_HOME=/usr /java/jdk1.7.0_79

l  修改上图中红色方框中的slaves：

vim slaves

内容如下：

helloway

注意：必须手动创建临时目录（/home/helloway/hadoop-2.6.0/tmp/）、主节点目录（/home/helloway/hadoop-2.6.0/dfs/name/）和数据节点目录（/home/helloway/hadoop-2.6.0/dfs/data/）

4.启动hadoop

l  格式化主节点（只执行一次）

hadoop namenode -format

l  再执行：

start-dfs.sh
start-yarn.sh

l  用jps命令查看Java进程。

应有：

NameNode

SecondaryNameNode

ResourceManager

l  浏览器中查看集群状态：

查看HDFS：http://125.216.243.130:50070

 

查看YARN：http:// 125.216.243.130:8088