CentOS 7 集群部署 Hadoop 2.7.3

一、 说明

学习过程中顺便记录下来,方便更多人使用,初学错误请指正。

二、 安装虚拟机(本文采用CentOS 7)

1. 本文采用CetnOS7安装部署
  2. jdk1.8
  3. Hadoop 2.7.3

hostname ip
master 10.10.1.3
slave1 10.10.1.4
三、 安装jdk,配置防火墙,SSH
  1. 修改hostname
    centos7 修改hostname 与centos6.5有较大差异。
    10.10.1.3作为master机器,10.10.1.4作为slave1机器。
[hadoop@slave1 .ssh]$ hostnamectl set-hostname slave1
  1. 修改hosts文件
    [hadoop@master ~]$ vim /etc/hosts
    如果没有vim命令请执行 yum install -y vim 安装
10.10.1.3   master
10.10.1.4   slave1
#追加到hosts文件最后,两台机器都要添加。
  1. 安装jdk
    3.1 卸载系统自带openjdk
    3.1.1. 卸载系统内置jdk命令如下:
    rpm -qa | grep java
    
    这时会列出系统中已经存在的jdk版本名称。
    3.1.2. 使用卸载命令进行卸载:
rpm -e --nodeps jdk相关名称
CentOS 7 集群部署 Hadoop 2.7.3_第1张图片

3.2 jdk安装
3.2.1. 下载jdk版本到home目录
3.2.2. 解压安装,解压安装命令如下:

rpm -ivh rpm文件名称

3.2.3. 执行完成,代表安装成功,默认安装目录为:

/usr/java/jdk1.8.0_91 

3.3 配置环境变量
3.3.1. rpm安装成功后使用 java -version 是可以查看出已经安装的版本:



3.3.2. 为了保险起见还是需要在root用户与hadoop 用户下配置profile文件,输入下面命令:

vim /etc/profile

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

切换用户:su hadoop,并执行命令:

vim ~/.bashrc

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

到此环境变量配置完成。

  1. 配置ssh免密登陆
    4.1. 生成密钥
      [hadoop@master ~]$ ssh-keygen -t rsa
    

输上面命令后一路回车,可在当前用户目录下生成.ssh文件,每台机器都要设置。

CentOS 7 集群部署 Hadoop 2.7.3_第2张图片

4.2. 合并公钥到authorized_keys文件,在Master服务器,进入.ssh目录,通过SSH命令合并

[hadoop@master ~]$  cat id_rsa.pub>> authorized_keys

4.3. slave1节点增加master免密登陆

[hadoop@master ~]$  ssh-copy-id [email protected]

4.4. 测试ssh登陆


CentOS 7 集群部署 Hadoop 2.7.3_第3张图片

登陆成功,设置完成。

  1. 关闭防火墙
    因为hadoop需要开放端口太多,这里暂时将防火墙关闭。关闭防火墙必须在root用户下,使用下面的命令:
#关闭防火墙
[root@master ~]$  systemctl stop firewalld.service
#关闭开机自启动
[root@master ~]$  systemctl disable firewalld.service
四、 安装Hadoop
  1. 下载并解压到/usr/local/hadoop 目录下,并将hadoop目录赋权给hadoop用户。
[root@master ~]$  chown -R haddop:hadoop /usr/local/hadoop/
  1. 创建数据存放目录
[hadoop@master ~]$  cd /usr/local/hadoop
[hadoop@master ~]$  mkdir tmp
[hadoop@master ~]$  mkdir -p hdfs/data hdfs/name
  1. 修改core-site.xml文件

    
      fs.default.name
      hdfs://master:9000
    
    
      io.file.buffer.size
      131072
    
    
      hadoop.tmp.dir
      file:/home/hadoop/tmp
      Abase for other temporary directories.   
     

  1. 修改hdfs-site.xml文件

    
      dfs.namenode.secondary.http-address
      linux-node1:9001
      # 通过web界面来查看HDFS状态 
    
    
      dfs.namenode.name.dir 
      file:/home/hadoop/dfs/name
    
    
      dfs.datanode.data.dir  
      file:/home/hadoop/dfs/data
    
    
      dfs.replication
      2
      # 每个Block有2个备份
    
    
      dfs.webhdfs.enabled
      true
    

  1. 修改mapred-site.xml
      这个是mapreduce任务的配置,由于hadoop2.x使用了yarn框架,所以要实现分布式部署,必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数。

    
      mapreduce.framework.name
      yarn
    
    
      mapreduce.jobhistory.address
      master:10020
    
    
      mapreduce.jobhistory.webapp.address
      master:19888
    

  1. 配置节点yarn-site.xml

    
    
      yarn.nodemanager.aux-services
      mapreduce_shuffle
    
    
      yarn.nodemanager.aux-services.mapreduce.shuffle.class
      org.apache.hadoop.mapred.ShuffleHandler
    
    
      yarn.resourcemanager.address
      master:8032
    
    
      yarn.resourcemanager.scheduler.address
      master:8030
    
    
      yarn.resourcemanager.resource-tracker.address
      master:8031
    
    
      yarn.resourcemanager.admin.address
      master:8033
    
    
      yarn.resourcemanager.webapp.address
      master:8088
    
    
      yarn.nodemanager.resource.memory-mb
      8192
    

  1. 配置hadoop环境变量
[root@master ~]$  vim /etc/profile
#将之前修改的java 环境变量替换掉。
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@master ~]$  vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

到此配置结束。

至于有些教程中写道要修改hadoop-env.sh、yarn-env.sh的JAVA_HOME,经过测试只要设置了root 跟 hadoop 用户的profile,与 .bashrc 文件就不存在此问题。

  1. 复制hadoop 配置文件到 slave1 节点。
[hadoop@master ~]$  scp -r /usr/local/hadoop/  slave1:/home/hadoop/
五、 启动集群
  1. 在master节点使用hadoop用户初始化NameNode
[hadoop@master ~]$ hdfs namenode –format
#执行后控制台输出,看到 Exiting with status 0 表示格式化成功。
  1. 启动hadoop
#启动hdfs
[hadoop@master ~]$ start-dfs.sh
#启动yarn分布式计算框架
[hadoop@master ~]$ start-yarn.sh
  1. 启动jobhistory服务,查看mapreduce状态
[hadoop@master ~]$ mr-jobhistory-daemon.sh start historyserver
  1. 查看HDFS分布式文件系统状态


    CentOS 7 集群部署 Hadoop 2.7.3_第4张图片
  2. 验证是否启动成功

[hadoop@master ~]$ jps

  1. web页面查看hadoop集群状态


    CentOS 7 集群部署 Hadoop 2.7.3_第5张图片

    CentOS 7 集群部署 Hadoop 2.7.3_第6张图片

    注意端口号不同


    CentOS 7 集群部署 Hadoop 2.7.3_第7张图片

到此启动成功

你可能感兴趣的:(CentOS 7 集群部署 Hadoop 2.7.3)