yarn历史日志_配置文件

yarn历史日志

yarn配置文件

yarn执行任务

1.3. YARN的历史日志

1.3.1. 历史日志概述

我们在YARN运行MapReduce的程序的时候，任务会被分发到不同的节点，在不同的Container内去执行。如果一个程序执行结束后，我们想去查看这个程序的运行状态呢？每一个MapTask的执行细节？每一个ReduceTask的执行细节？这个时候我们是查看不到的，因此我们需要开启记录历史日志的服务。
​
历史日志服务开启之后，Container在运行任务的过程中，会将日志记录下来，保存到当前的节点。例如: 在qianfeng02节点上开启了一个Container去执行MapTask，那么此时就会在qianfeng02的$HADOOP_HOME/logs/userlogs中记录下来日志。我们可以到不同的节点上去查看日志。虽然这样可以查看，但是很不方便！因此，我们一般还会开启另外的一个服务: **日志聚合**。顾名思义，就是将不同节点的日志聚合到一起保存起来。

1.3.2. mr-historyserver

顾名思义，就是去记录MapReduce的历史日志的。接下来我们从配置开始、到日志聚合、运行任务去讲解。

1.3.2.1. 配置文件

1. mapred-site.xml

[root@qianfeng01 hadoop-3.3.1]# vi /usr/local/hadoop-3.3.1/etc/hadoop/mapred-site.xml

​


    MapReduce.jobhistory.address
    qianfeng01:10020

​


    MapReduce.jobhistory.webapp.address
    qianfeng01:19888

​

  yarn.app.mapreduce.am.env
  HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1


  mapreduce.map.env
  HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1


  mapreduce.reduce.env
  HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1

1. yarn-site.xml

[root@qianfeng01 hadoop-3.3.1]# vi /usr/local/hadoop-3.3.1/etc/hadoop/yarn-site.xml

​




    yarn.log-aggregation-enable
    true

​



    yarn.log-aggregation.retain-seconds
    604800

​

    yarn.log.server.url
    http://qianfeng01:19888/jobhistory/logs

1.3.2.2. 分发配置
[root@qianfeng01 hadoop-3.3.1]# scp -r /usr/local/hadoop-3.3.1/etc/hadoop/* qianfeng02:/usr/local/hadoop-3.3.1/etc/hadoop/
[root@qianfeng01 hadoop-3.3.1]# scp -r /usr/local/hadoop-3.3.1/etc/hadoop/* qianfeng03:/usr/local/hadoop-3.3.1/etc/hadoop/

1.3.2.3. 开启历史服务

# 重启YARN集群
[root@qianfeng01 ~]# stop-yarn.sh
[root@qianfeng01 ~]# start-yarn.sh
# 打开历史服务--->在规划的historyserver服务器上启动
[root@qianfeng01 ~]# mapred --daemon start historyserver
​
# 开启之后，通过jps可以查看到 JobHistoryServer 进程，表示开启成功

1.3.2.4. 执行任务

[root@qianfeng01 ~]# yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output/00

我们以官方案例wordcount为例，现在在运行完这个任务后，就会在WebUI上看到这个任务。我们可以点击任务的ID进入到任务的详情页，此时可以查看日志。

也可以在http://192.168.10.101:19888查看每一个MapTask、ReduceTask的日志

 Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客