[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式

1 大数据概论

概念:

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

需求:

大数据主要解决,海量数据的采集、存储和分析计算问题。

特点(4v):

  1. Volumn(大量)

  2. Velocity(高速)

    大数据区分于传统挖掘的最显著特征

  3. Variety(多样)

    多样性让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

  4. Value(低价值密度)

    价值密度的高低与数据总量的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

应用场景:

抖音,电商,零售,物流仓储,保险,金融,房产,人工智能,物联网,5G,虚拟现实

发展前景:

十九大,新基建,风口,紧缺,薪资

大数据部门间业务流程分析:

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第1张图片

部门内组织结构:

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第2张图片

2 Hadoop入门

2.1 Hadoop概述

定义:

  • Hadoop是一个由Apache基金会所开发的分布式系统基础架构
  • 主要解决,海量数据的存储和海量数据的分析计算问题。
  • 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第3张图片

2.2 优势

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第4张图片

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第5张图片

2.3 组成(重点)

Hadoop1.x ,2.x ,3.x区别

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第6张图片

  • 在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。
  • 在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce只负责运算。
  • Hadoop3.x在组成上没有变化。

2.4 HDFS架构概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

  • NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。(HDFS分布式的管理者)
  • DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。(存储)
  • Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。(辅助nn)

2.5 YARN架构概述

Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Hadoop的资源管理器

  • ResourceManager(RM):整个集群资源(内存、CPU等)的老大(永久角色:唯一的资源分配者)(yarn分布式的管理者)
  • NodeManager(NM):单个节点服务器资源老大(永久角色:结点的资源管理和收集,将结点资源信息汇报给RM再分配)
  • ApplicationMaster(AM):单个任务运行的老大(临时角色:YARN收到提交的任务才会启动,负责管理整个MR的运行和监控当前任务的错误)(MR分布式的管理者)
  • Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。(临时角色:资源限定)

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第7张图片

说明:

  • 客户端可以有多个
  • 集群上可以运行多个ApplicationMaster
  • 每个NodeManager上可以有多个Container

2.6 MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map(拆分)和Reduce(汇总)

  • Map阶段并行处理输入数据
  • Reduce阶段对Map结果进行汇总

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第8张图片

2.7 三者关系(流程)

HDFS、YARN、MapReduce三者关系

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第9张图片

  1. HDFS存储数据:nn管理HDFS,dn存储(一个结点只有一个),2nn辅助nn
  2. YARN分配资源
  3. 用户提交任务–>启动RM–>启动App Mstr–>启动MapTask在有数据的DN上寻找–>找到后通过Reduce Task汇总–>找回的结果存回到DN

2.8 大数据技术生态体系

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第10张图片

1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

2)Flume:Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;

3)Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统;

4)Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

5)Flink:Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6)Oozie:Oozie是一个管理Hadoop作业(job)的工作流程调度管理系统。

7)Hbase:HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。

8)Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

9)ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

2.9 推荐系统框架图

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第11张图片

用户发送请求–>Nginx做服务器请求的负载均衡,减小服务器压力,转接请求到服务器(轮询)–>收集日志(Flume)–>Spark计算–>结果返回数据库–>推荐系统推送前排的分析结果(因此说明推荐系统的底层是大数据)

3 Hadoop运行环境搭建(开发重点)

3.1 Hadoop目录结构

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

3.2 在hadoop102安装JDK&Hadoop

  1. /opt/下创建两个目录所属主,组均为zxk,module/,software/

  2. XShell传输工具将JDK导入到opt目录下面的software文件夹下面

  3. 解压JDK到/opt/module目录下

  4. 配置全用户的全局环境变量:(这里没有选择复制脚本目录到/bin目录下,而是在特定目录中写脚本文件以修改PATH的值并将修改暴露在全局的环境内,source方式执行脚本)

    方案一:

    /etc/profile 写环境变量 支持登录式shell 环境变量 但是在/etc/proflile.d 去执行一个.sh 结尾的文件

    方案二:

    ~/.bashrc 写环境变量 支持非登录式shell 但是在/etc/proflile.d 去执行一个.sh 结尾的文件

    结论:/etc/proflile.d/*.sh 中写环境变量 既对登录式 又对非登录式shell生效

    实现:

    (sudo)新建/etc/profile.d/my_env.sh文件–>添加如下内容:

    #!/bin/bash
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

    –>source一下/etc/profile文件,让新的环境变量PATH生效

4 Hadoop运行模式

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  • 本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。

  • 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。

  • 多台服务器组成分布式环境。生产环境使用。

4.1 本地运行模式

官方WordCount案例:

  1. 创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

    [atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  2. 在wcinput文件下创建一个word.txt文件

    [atguigu@hadoop102 hadoop-3.1.3]$ cd wcinput

  3. 编辑word.txt文件

    [atguigu@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn

    hadoop mapreduce

    atguigu

    atguigu

    保存退出::wq

  4. 回到Hadoop目录/opt/module/hadoop-3.1.3

  5. 执行程序

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  6. 查看结果

    [atguigu@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

    看到如下结果:

    atguigu 2

    hadoop 2

    mapreduce 1

    yarn 1

4.2 完全分布式运行模式(开发重点)

4.2.1 编写集群分发脚本xsync

1)scp(secure copy)安全拷贝

基本语法

scp -r pdir/fname user@host:pdir/fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

说明:

  • 执行该命令需要目的主机,用户,目的地路径(存放文件的目录),名称
  • 要拷贝文件可以是其他主机的文件
  • 访问几次非本机主机则输入几次密码

2)rsync远程同步工具

rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件(包括文件的差异内容)做更新。scp是把所有文件都复制过去。

基本语法

rsync -av pdir/fname user@host:pdir/fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

3)xsync集群分发脚本

循环复制文件到所有节点的相同目录下

  1. 在/home/atguigu/bin目录(已配置zxk用户的环境变量的目录下)下创建xsync脚本文件

    [atguigu@hadoop102 opt]$ cd /home/atguigu

    [atguigu@hadoop102 ~]$ mkdir bin

    [atguigu@hadoop102 ~]$ cd bin

    [atguigu@hadoop102 bin]$ vim xsync

    在该文件中编写如下代码

    #!/bin/bash//因为脚本没有.sh结尾,所以 没有颜色提示
    
    #1. 判断参数个数
    if [ $# -lt 1 ]
    then
        echo Not Enough Arguement!
        exit;
    fi
    #2. 遍历集群所有机器
    for host in hadoop102 hadoop103 hadoop104
    do
        echo ====================  $host  ====================
        #3. 遍历所有目录,挨个发送
    
        for file in $@
        do
            #4. 判断文件是否存在
            if [ -e $file ]
                then
                    #5. 获取父目录
                    pdir=$(cd -P $(dirname $file); pwd)//-P进入真实物理路径中,防止是软连接
    
                    #6. 获取当前文件的名称
                    fname=$(basename $file)
                    ssh $host "mkdir -p $pdir"//登录到别的主机上操作然后回来,创建父目录为了保证目的地目录路径存在,-p创建多层目录为了健壮性:无则创建,有则报错
                    rsync -av $pdir/$fname $host:$pdir//没有指定目的用户因为默认值为另一台机器上的相同用户:为了统一文件权限
                else
                    echo $file does not exists!
            fi
        done
    done
    
  2. 修改该脚本的可执行权限:

    [atguigu@hadoop102 bin]$ chmod +x xsync

  3. 使用脚本复制~/bin到集群:(每台连接输入2次密码:ssh,rsync各一次)

    [atguigu@hadoop102 ~]$ xsync xsync

  4. 将脚本复制到/bin中,以便全局调用(使用的是root的全局环境变量)

    sudo cp xsync /bin/

  5. 同步两个软件的环境变量配置(先发profile.d下的脚本所有者是root,再source)

    [atguigu@hadoop102 ~]$ sudo xsync /etc/profile.d/my_env.sh

    注意:如果没有执行第4步,使用sudo执行则不能在全局范围下

    执行该命令后每连接一台主机输入两次root用户的密码

  6. 全部会话里执行source /etc/profile命令

  7. 完成集群的两个软件的环境变量的配置

4.2.2 SSH无密登录配置

语法:ssh另一台电脑的IP地址 (yes连接,exit退出)

配置:hadoop作为分布式系统架构,要求节点之间必须配置无密登录

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第12张图片

  1. 生成公钥和私钥

    [atguigu@hadoop102 .ssh]$ pwd

    /home/atguigu/.ssh

    [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

    然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

  2. 将公钥拷贝到要免密登录的目标机器上

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103

    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

    注意:

    还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

    还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

    还需要在hadoop102上采用root账号,配置一下无密登录到hadoop102、hadoop103、hadoop104;

  3. .ssh文件夹下(~/.ssh)的文件功能解释

    known_hosts 记录ssh访问过计算机的公钥(public key)
    id_rsa 生成的私钥
    id_rsa.pub 生成的公钥
    authorized_keys 存放授权过的无密登录服务器公钥

4.2.3 集群配置(重点)

hadoop中有两种非常重要的配置文件:

位置:/opt/module/hadoop-3.1.3/etc/hadoop目录下

内容:4个default存放默认值,4个site修改默认值,1个workers

  1. read_only(只读):
    core-default.xml common
    hdfs-default.xml hdfs
    yarn-default.xml yarn
    mapred-default.xml mapreduce
  1. 修改以下文件来达成分布式目的:
    core-site.xml common(该文件里包含用户名,个人更改)
    hdfs-site.xml hdfs
    yarn-site.xml yarn
    mapred-site.xml mapreduce

  2. 在集群上分发配置好的Hadoop配置文件:

    [zxk@hadoop102 etc]$ xsync hadoop/

  3. 修改workers,即指定dn和nm的启动位置为每个节点:

    [zxk@hadoop102 etc]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

    文件内容修改为:

    hadoop102

    hadoop103

    hadoop104

    同步到集群:

    [zxk@hadoop102 etc]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/workers

说明:

以上为hadoop3.x版本

区别于hadoop2.x版本:workers–>slaves

4.2.4 群起集群

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第13张图片

  1. 如果集群是第一次启动,需要在hadoop102节点格式化NameNode

    [zxk@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

    hadoop目录下多了data,logs两个目录

    data/dfs/name存放nn数据文件(同级目录存放dn/nn的数据文件)

    logs存放框架的日志信息

  2. 启动HDFS

    [zxk@hadoop102 sbin]$ start-dfs.sh (在102上通过ssh和worker指定的节点启动另两台节点)
    Starting namenodes on [hadoop102]
    Starting datanodes
    hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
    hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
    Starting secondary namenodes [hadoop104]

  3. 查看三个结点进程:jps(java process status)

    [zxk@hadoop102 sbin]$ jps
    1348 NameNode
    1737 Jps
    1468 DataNode

    [zxk@hadoop103 ~]$ jps
    1176 DataNode
    1243 Jps

    [zxk@hadoop104 ~]$ jps
    1334 Jps
    1180 DataNode
    1245 SecondaryNameNode

  4. Web端查看HDFS的NameNode

    浏览器中输入:http://hadoop102:9870

    查看HDFS上存储的数据信息

    上传文件word.txt(因为core-site.xml修改静态用户为zxk,所以web界面使用的zxk的权限,这才可以操作linux来上传文件到集群)

    image-20220303155104859

    hadoop是zxk用户装的,所以相当于root权限,3个副本,块大小128M(上限)

    word.txt不是数据,是连接,可以点击下载

    文件存储的位置(DN):(3个副本:每个节点同一位置保存一个副本–>150/3集群只能保存50g数据,只有节点数大于副本数才算是扩容了)

    [zxk@hadoop102 subdir0]$ pwd
    /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1746858774-192.168.202.102-1646292927372/current/finalized/subdir0/subdir0
    [zxk@hadoop102 subdir0]$ ls
    blk_1073741825//数据文件  
    blk_1073741825_1001.meta//校验和文件
    [zxk@hadoop102 subdir0]$ cat blk_1073741825
    core-default.xml  common
    hdfs-default.xml  hdfs
    yarn-default.xml  yarn
    mapred-default.xml mapreduce
    

    linux里上传jdk压缩包:

    [zxk@hadoop102 software]$ hadoop fs -put jdk-8u212-linux-x64.tar.gz /  //上传到hadoop存储的根目录
    2022-03-03 16:08:31,842 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false//成功上传一块(128M)
    2022-03-03 16:09:54,072 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
    

    web端可以看到文件整体:

    [ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第14张图片

    [zxk@hadoop102 subdir0]$ ll
    总用量 191944
    -rw-rw-r--. 1 zxk zxk       102 33 15:49 blk_1073741825
    -rw-rw-r--. 1 zxk zxk        11 33 15:49 blk_1073741825_1001.meta
    -rw-rw-r--. 1 zxk zxk 134217728 33 16:09 blk_1073741826//第一块
    -rw-rw-r--. 1 zxk zxk   1048583 33 16:09 blk_1073741826_1002.meta
    -rw-rw-r--. 1 zxk zxk  60795424 33 16:10 blk_1073741827//第二块
    -rw-rw-r--. 1 zxk zxk    474975 33 16:10 blk_1073741827_1003.meta
    [zxk@hadoop102 subdir0]$ pwd
    /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1746858774-192.168.202.102-1646292927372/current/finalized/subdir0/subdir0
    

    通过id:826,827保证文件前后次序,拼接两块检验(文件完整)是否能解压后还原成jdk软件包:

    [zxk@hadoop102 subdir0]$ cd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1746858774-192.168.202.102-1646292927372/current/finalized/subdir0/subdir0//文件块存储位置
    [zxk@hadoop102 subdir0]$ cat blk_1073741826 >> 1.tar.gz
    [zxk@hadoop102 subdir0]$ cat blk_1073741827 >> 1.tar.gz//拼接文件
    [zxk@hadoop102 subdir0]$ mv 1.tar.gz /opt/software/
    [zxk@hadoop102 subdir0]$ cd /opt/software/
    [zxk@hadoop102 subdir0]$ tar -zxvf 1.tar.gz //解压拼接的文件
    
    [zxk@hadoop102 software]$ ll
    总用量 711052
    -rw-rw-r--. 1 zxk zxk 195013152 33 16:21 1.tar.gz
    -rw-rw-r--. 1 zxk zxk 338075860 31 17:57 hadoop-3.1.3.tar.gz
    drwxr-xr-x. 7 zxk zxk      4096 42 2019 jdk1.8.0_212//还原成完整的jdk
    -rw-rw-r--. 1 zxk zxk 195013152 31 17:57 jdk-8u212-linux-x64.tar.gz
    

    打开web界面可以正常下载已上传的文件(3个dn都在),102输入kill -9 pid(dn),依旧能下载dn里的数据,103输入kill -9 pid(dn),依旧能下载dn里的数据,104输入kill -9 pid(dn),不能访问dn数据了,102输入kill -9 pid(nn),web界面打不开了(说明nn存在单点故障问题).

  5. 启动yarn

    如果有hdfs的进程关闭了,重启集群的hdfs

    103上启动yarn:

    start-yarn.sh

    三台机器进程(每台三个进程):

    [zxk@hadoop102 software]$ jps
    1348 NameNode
    2087 Jps
    1468 DataNode
    1983 NodeManager
    [zxk@hadoop103 ~]$ jps
    1440 ResourceManager
    1557 NodeManager
    1176 DataNode
    1900 Jps
    [zxk@hadoop103 ~]$ jps
    1440 ResourceManager
    1557 NodeManager
    1176 DataNode
    1900 Jps
    
  6. Web端查看YARN的ResourceManager

    浏览器中输入:http://hadoop103:8088,查看YARN上运行的Job信息

  7. 跑任务:

    上传文件word.txxt到/input–>

    [zxk@hadoop102 software]$ cd /opt/module/hadoop-3.1.3/
    [zxk@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
    

    yarn的web端可以看到任务:(application)

    hdfs的web端可以看到统计结果:/output/part-r-0000

4.2.5 集群常见问题

  1. web界面打不开:

    使用谷歌/火狐浏览器,linux系统的防火墙关闭,windows里的ip映射:使用ip代替主机名,jps检查nn进程

  2. dn起不来:

    直接重新格式化nn导致,查看data/里的logs/下的datanode的日志:tail -2000 hadoop-zxk-datanode-hadoop102.log

    内容里有异常:DataNode的clusterID不等于集群ID

    原因:

    格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。

    集群id(clusterID)分别在nn和dn各自存放数据的目录的VERSION文件中.

    解决:

    先关闭hdfs,将dn中保存的数据文件(subdir0目录下)迁移备份,再删除所有机器的data和logs目录,然后再进行格式化.

4.2.6 进程的启动方式

  • 模块群起
    hdfs/nn所在节点 start-dfs.sh
    yarn/rm所在节点 start-yarn.sh

  • 服务单点起
    hdfs:
    nn hdfs --daemon start namenode(daemen:守护进程,即后台模式运行,不占用前台界面)
    dn hdfs --daemon start datnode
    2nn hdfs --dameon start secondrynamenode

    yarn :
    rm yarn --daemon start resourcemanager
    nm yarn --daemon start nodemanager

    先关进程(先开的后关)再关机

4.2.7 历史服务器的配置

重启yarn之后进程记录会丢失,为了查看(MR)程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:

1)配置mapred-site.xml

2)分发配置

3)在hadoop102启动历史服务器:mapred --daemon start historyserver

4)查看历史服务器是否启动

5)查看JobHistory:http://hadoop102:19888/jobhistory

通过yarn的进程的history也能查看历史运行情况:

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第15张图片

问题:点击logs没法查看(MR)日志

4.2.8 配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

[ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式_第16张图片

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。

步骤:配置yarn-site.xml(日志由默认的永久改为保存7天)–>分发配置–>重启雅恩和历史服务器–>自此以后执行成功的程序才可以查看到日志(除了mr的,其不运行在具体节点上,而是yarn上)

4.2.9 常用端口号总结

端口名称 Hadoop2.x Hadoop3.x
namenode 内部通信端口 8020 8020
namenode Web界面端口 50070 9870
ResourceManager通信端口 8032 8032
ResourceManager 查看执行任务端口 8088 8088
历史服务器端口 19888 19888

4.2.10 一键操作集群

  1. 一键群起/群关集群

    在102的~/bin目录下编写myhadoop.sh:

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出,然后赋予脚本执行权限,分发

  1. 一键查看集群所有节点java进程

在102的~/bin目录下编写jpsall.sh:

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo "=============== $host ==============="
        ssh $host jps $1 |grep -v Jps//-v过滤掉包含该信息的那行
done

保存后退出,然后赋予脚本执行权限,分发

说明:

jps:只打印main方法所在类名

jps -l :打印全类名,即附带包名

jpsall.sh -l:打印各节点的进程所在全类名

4.2.11 集群时间同步

打开ntpd服务和开启自启

sudo systemctl start ntpd

sudo systemctl enable ntpd

你可能感兴趣的:(hadoop,hadoop,架构,big,data)