Hadoop基础环境搭建完整版

Hadoop基础环境搭建（转载尚硅谷）

说明

• 个人学习记录
• 基于虚拟机搭建，需要提前准备虚拟机环境
• 搭建版本：hadoop-3.1.3
• 搭建HDFS和yarn
• 提前准备Hadoop安装包：hadoop-3.1.3.tar.gz
• Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
• 提前准备JDK安装包：jdk-8u212-linux-x64.tar.gz

环境准备

准备3台虚拟机，最低要求：内存4G，硬盘50G
这里准备的虚拟机是16G，硬盘100G的配置

机器配置如下：

hostname	ip	内存	cpu	磁盘
cdh01	192.168.43.12	16G	2c	100G
cdh02	192.168.43.135	16G	2c	100G
cdh03	192.168.43.75	16G	2c	100G

开始搭建

环境配置

创建用户

这里使用hsy用户

useradd hsy
passwd 123456

配置用户具有root权限

vim /etc/sudoers

## Allow root to run any commands anywhere
root  ALL=(ALL)     ALL
hsy   ALL=(ALL)     ALL

依赖下载

所有机器都下载依赖，或者使用其中一台下载好，在进行克隆

sudo yum install -y epel-release
sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static

时间同步启动（3台机都执行）

systemctl start ntpd

时间同步停止命令（不用执行）

systemctl stop ntpd

修改主机名

每台机器设置各自的hostname

sudo hostnamectl --static set-hostname cdh01
sudo hostnamectl --static set-hostname cdh02
sudo hostnamectl --static set-hostname cdh03

设置hosts文件

所有机器都设置

sudo vim /etc/hosts

192.168.43.12   cdh01
192.168.43.135  cdh02
192.168.43.75   cdh03

关闭防火墙

sudo systemctl stop firewalld
sudo systemctl disable firewalld

创建文件夹

在/opt目录下创建module、software文件夹

sudo mkdir module
sudo mkdir software

修改module、software文件夹的所有者cd

sudo chown hsy:hsy /opt/module/opt/software

安装JDK

上传JDK安装包到/opt/software/目录

解压到/opt/module目录下

tar vf jdk-8u212-linux-x64.tar.gz -C /opt/module/

设置环境变量

sudo vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

执行source使环境变量生效

sudo source /etc/profile

测试JDK

java -version

安装Hadoop

上传hadoop安装包到/opt/software/目录

解压到/opt/module目录下

tar vf hadoop-3.1.3.tar.gz -C /opt/module/

设置环境变量

sudo vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

执行source使环境变量生效

sudo source /etc/profile

Hadoop目录结构

drwxr-xr-x. 2 hsy hsy  4096 12月  22 2020 bin
drwxr-xr-x. 3 hsy hsy  4096 12月  22 2020 etc
drwxr-xr-x. 2 hsy hsy  4096 12月  22 2020 include
drwxr-xr-x. 3 hsy hsy  4096 12月  22 2020 lib
drwxr-xr-x. 2 hsy hsy  4096 12月  22 2020 libexec
-rw-r--r--. 1 hsy hsy 15429 12月  22 2020 LICENSE.txt
-rw-r--r--. 1 hsy hsy   101 12月  22 2020 NOTICE.txt
-rw-r--r--. 1 hsy hsy  1366 12月  22 2020 README.txt
drwxr-xr-x. 2 hsy hsy  4096 12月  22 2020 sbin
drwxr-xr-x. 4 hsy hsy  4096 12月  22 2020 share

• bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
• etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
• lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
• sbin目录：存放启动或停止Hadoop相关服务的脚本
• share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。(这里使用完全分布式模式)

SSH无密登录配置

生成公钥和私钥（cdh01操作）

ssh-keygen -t rsa

然后敲三个回车，就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上（cdh01操作）

ssh-copy-id cdh01
ssh-copy-id cdh02
ssh-copy-id cdh03

集群分发脚本xsync

编辑文件

cd /home/hsy
vim xsync

脚本内容

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in cdh01 cdh02 cdh03
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

修改脚本 xsync 具有执行权限

chmod +x xsync

将脚本移动到/bin中，以便全局调用

sudo mv xsync /bin/

测试脚本（将当前机器的/bin/xsync文件scp到cdh01 cdh02 cdh03的相同目录下，相同目录覆盖传输）

sudo xsync /bin/xsync

集群配置

集群部署规划

服务	cdh01	cdh02	cdh03
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

核心配置文件core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

配置内容

    
        fs.defaultFS
        hdfs://cdh01:8020
    
    
        hadoop.data.dir
        /opt/module/hadoop-3.1.3/data
    
    
        hadoop.proxyuser.hsy.hosts
        *
    
    
        hadoop.proxyuser.hsy.groups
        *
    

HDFS配置文件

cd $HADOOP_HOME/etc/hadoop
vim hdfs-site.xml

配置内容

  
    dfs.namenode.name.dir
    file://${hadoop.data.dir}/name
  
  
    dfs.datanode.data.dir
    file://${hadoop.data.dir}/data
  
    
    dfs.namenode.checkpoint.dir
    file://${hadoop.data.dir}/namesecondary
  
    
    dfs.client.datanode-restart.timeout
    30
  
  
    dfs.namenode.secondary.http-address
    cdh03:9868
  

  
    dfs.namenode.http-address
    cdh01:50070 
  

YARN配置文件

cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml

配置内容

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        cdh02
    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

MapReduce配置文件

vim mapred-site.xml

配置内容

  
    mapreduce.framework.name
    yarn
  

在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

集群单点启动

如果集群是第一次启动，需要格式化NameNode（cdh01执行）

hdfs namenode -format

在cdh01上启动NameNode

hdfs --daemon start namenode

完成后执行jps命令，查看进程

在cdh01、cdh02、cdh03上执行如下命令（三台都要执行）

hdfs --daemon start datanode

群起集群

配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

cdh01
cdh02
cdh03

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

启动集群

• 如果集群是第一次启动，需要在cdh01节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）：hdfs namenode -format
• 删除data和logs数据

cd /opt/module/hadoop-3.1.3
rm -rf data/*
rm -rf logs/*

• cdh01启动HDFS

cd /opt/module/hadoop-3.1.3
sh sbin/start-dfs.sh

• 在配置了ResourceManager的节点（cdh02）启动YARN

cd /opt/module/hadoop-3.1.3
sh sbin/start-yarn.sh

• Web端查看SecondaryNameNode

如果访问页面时，前端JS报错，导致页面显示不完整，参考解决方案：Hadoop查看Secondary Namenode Web端无信息的解决办法

http://cdh03:9868/

集群启动/停止方式总结

各个服务组件逐一启动/停止

nameNode启动

hdfs --daemon start namenode

nameNode停止

hdfs --daemon stop namenode

dataNode启动

hdfs --daemon start datanode

dataNode停止

hdfs --daemon stop datanode

secondaryNamenode启动

hdfs --daemon start secondarynamenode

secondaryNamenode停止

hdfs --daemon stop secondarynamenode

YARN-resourceManager启动停止

yarn --daemon start resourcemanager
yarn --daemon stop resourcemanager

YARN-nodeManager启动停止

yarn --daemon start nodemanager
yarn --daemon stop nodemanager

HDFS集群启动/停止（配置ssh是前提）cdh01执行

cd /opt/module/hadoop-3.1.3
sh sbin/start-dfs.sh
sh sbin/stop-dfs.sh

YARN集群启动/停止（配置ssh是前提）cdh02执行

cd /opt/module/hadoop-3.1.3
sh sbin/start-yarn.sh
sh sbin/stop-yarn.sh

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下

配置mapred-site.xml

vi mapred-site.xml
在该文件里面增加如下配置



    mapreduce.jobhistory.address
    cdh01:10020




    mapreduce.jobhistory.webapp.address
    cdh01:19888

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

启动停止历史服务器 cdh01执行

mapred –daemon start historyserver
mapred –daemon stop historyserver

查看JobHistory

http://cdh01:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下

配置yarn-site.xml

vim yarn-site.xml
在该文件里面增加如下配置。

    
        yarn.log-aggregation-enable
        true
    
      
        yarn.log.server.url  
        http://hadoop102:19888/jobhistory/logs  
    
    
        yarn.log-aggregation.retain-seconds
        604800

分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭NodeManager 、ResourceManager和HistoryServer 在cdh02上执行

cd /opt/module/hadoop-3.1.3
sh sbin/stop-yarn.sh

停止HistoryServer 在cdh01上执行

mapred --daemon stop historyserver

启动NodeManager 、ResourceManager和HistoryServer

在cdh02启动yarn

cd /opt/module/hadoop-3.1.3
sh sbin/start-yarn.sh

在cdh01启动historyserver

mapred --daemon start historyserver

hdfs界面设置操作文件

在Hadoop的配置文件core-site.xml中增加如下配置

  hadoop.http.staticuser.user
  hsy



  dfs.permissions.enabled
  false