CentOS 7 集群部署 Hadoop 2.7.3

一、说明

学习过程中顺便记录下来，方便更多人使用，初学错误请指正。

二、安装虚拟机（本文采用CentOS 7）

1. 本文采用CetnOS7安装部署
2. jdk1.8
3. Hadoop 2.7.3

hostname	ip
master	10.10.1.3
slave1	10.10.1.4

三、安装jdk，配置防火墙，SSH

修改hostname
centos7 修改hostname 与centos6.5有较大差异。
将10.10.1.3作为master机器，10.10.1.4作为slave1机器。

[hadoop@slave1 .ssh]$ hostnamectl set-hostname slave1

修改hosts文件
[hadoop@master ~]$ vim /etc/hosts
如果没有vim命令请执行 yum install -y vim 安装

10.10.1.3   master
10.10.1.4   slave1
#追加到hosts文件最后，两台机器都要添加。

安装jdk
3.1 卸载系统自带openjdk
3.1.1. 卸载系统内置jdk命令如下：
```
rpm -qa | grep java
```
这时会列出系统中已经存在的jdk版本名称。
3.1.2. 使用卸载命令进行卸载：

rpm -e --nodeps jdk相关名称

3.2 jdk安装
3.2.1. 下载jdk版本到home目录
3.2.2. 解压安装,解压安装命令如下：

rpm -ivh rpm文件名称

3.2.3. 执行完成，代表安装成功，默认安装目录为：

/usr/java/jdk1.8.0_91

3.3 配置环境变量
3.3.1. rpm安装成功后使用 java -version 是可以查看出已经安装的版本：

3.3.2. 为了保险起见还是需要在root用户与hadoop 用户下配置profile文件，输入下面命令：

vim /etc/profile

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

切换用户：su hadoop,并执行命令：

vim ~/.bashrc

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

到此环境变量配置完成。

配置ssh免密登陆
4.1. 生成密钥
```
  [hadoop@master ~]$ ssh-keygen -t rsa
```

输上面命令后一路回车，可在当前用户目录下生成.ssh文件，每台机器都要设置。

4.2. 合并公钥到authorized_keys文件，在Master服务器，进入.ssh目录，通过SSH命令合并

[hadoop@master ~]$  cat id_rsa.pub>> authorized_keys

4.3. slave1节点增加master免密登陆

[hadoop@master ~]$  ssh-copy-id [email protected]

4.4. 测试ssh登陆

登陆成功，设置完成。

关闭防火墙
因为hadoop需要开放端口太多，这里暂时将防火墙关闭。关闭防火墙必须在root用户下，使用下面的命令：

#关闭防火墙
[root@master ~]$  systemctl stop firewalld.service
#关闭开机自启动
[root@master ~]$  systemctl disable firewalld.service

四、安装Hadoop

下载并解压到/usr/local/hadoop 目录下，并将hadoop目录赋权给hadoop用户。

[root@master ~]$  chown -R haddop:hadoop /usr/local/hadoop/

[hadoop@master ~]$  cd /usr/local/hadoop
[hadoop@master ~]$  mkdir tmp
[hadoop@master ~]$  mkdir -p hdfs/data hdfs/name

修改core-site.xml文件


    
      fs.default.name
      hdfs://master:9000
    
    
      io.file.buffer.size
      131072
    
    
      hadoop.tmp.dir
      file:/home/hadoop/tmp
      Abase for other temporary directories.

修改hdfs-site.xml文件


    
      dfs.namenode.secondary.http-address
      linux-node1:9001
      # 通过web界面来查看HDFS状态 
    
    
      dfs.namenode.name.dir 
      file:/home/hadoop/dfs/name
    
    
      dfs.datanode.data.dir  
      file:/home/hadoop/dfs/data
    
    
      dfs.replication
      2
      # 每个Block有2个备份
    
    
      dfs.webhdfs.enabled
      true

修改mapred-site.xml
这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数。


    
      mapreduce.framework.name
      yarn
    
    
      mapreduce.jobhistory.address
      master:10020
    
    
      mapreduce.jobhistory.webapp.address
      master:19888

配置节点yarn-site.xml


    
    
      yarn.nodemanager.aux-services
      mapreduce_shuffle
    
    
      yarn.nodemanager.aux-services.mapreduce.shuffle.class
      org.apache.hadoop.mapred.ShuffleHandler
    
    
      yarn.resourcemanager.address
      master:8032
    
    
      yarn.resourcemanager.scheduler.address
      master:8030
    
    
      yarn.resourcemanager.resource-tracker.address
      master:8031
    
    
      yarn.resourcemanager.admin.address
      master:8033
    
    
      yarn.resourcemanager.webapp.address
      master:8088
    
    
      yarn.nodemanager.resource.memory-mb
      8192

配置hadoop环境变量

[root@master ~]$  vim /etc/profile
#将之前修改的java 环境变量替换掉。
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[hadoop@master ~]$  vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

到此配置结束。

至于有些教程中写道要修改hadoop-env.sh、yarn-env.sh的JAVA_HOME，经过测试只要设置了root 跟 hadoop 用户的profile，与 .bashrc 文件就不存在此问题。

复制hadoop 配置文件到 slave1 节点。

[hadoop@master ~]$  scp -r /usr/local/hadoop/  slave1:/home/hadoop/

五、启动集群

在master节点使用hadoop用户初始化NameNode

[hadoop@master ~]$ hdfs namenode –format
#执行后控制台输出，看到 Exiting with status 0 表示格式化成功。

启动hadoop

#启动hdfs
[hadoop@master ~]$ start-dfs.sh
#启动yarn分布式计算框架
[hadoop@master ~]$ start-yarn.sh

启动jobhistory服务，查看mapreduce状态

[hadoop@master ~]$ mr-jobhistory-daemon.sh start historyserver

查看HDFS分布式文件系统状态
验证是否启动成功

[hadoop@master ~]$ jps

web页面查看hadoop集群状态

注意端口号不同

到此启动成功

CentOS 7 集群部署 Hadoop 2.7.3

一、 说明

二、 安装虚拟机（本文采用CentOS 7）

三、 安装jdk，配置防火墙，SSH

四、 安装Hadoop

五、 启动集群

你可能感兴趣的:(CentOS 7 集群部署 Hadoop 2.7.3)

一、说明

二、安装虚拟机（本文采用CentOS 7）

三、安装jdk，配置防火墙，SSH

四、安装Hadoop

五、启动集群