MapReduce之扩展

目录

1. MapReduce任务日志查看

1.1 添加MapReduce日志聚合功能

1.2 查看日志

2. 停止MapReduce任务

3. MapReduce不使用Reduce聚合

---

1. MapReduce任务日志查看

1.1 添加MapReduce日志聚合功能

在yarn-site.xml中添加配置

        yarn.log-aggregation-enable
        true


        yarn.log-aggregation.retain-seconds
        604800

重启集群

补充： 

如果时分布式还需要添加下面的配置，然后将yarn-site.xml分发到其他节点，重启集群

	yarn.log.server.url
	http://linux01:19888/jobhistory/logs/

   

1.2 查看日志

• 在代码中添加输出以及日志打印代码，如下图所示

•  在页面中查看日志

http://192.168.21.101:8088/cluster

 

 

 说明：

        a. stderr : 错误日志

        b. stdout : 是 System.out.println 打印的日志

        c. syslog : 是logger打印的日志

使用命令查看日志

# 使用grep 过滤
yarn logs -applicationId application_1664661190678_0004 | grep k1
# 把日志重定向到文件
yarn logs -applicationId application_1664661190678_0004 | kk.log

 

2. 停止MapReduce任务

yarn application -kill application_1664661190678_0004

3. MapReduce不使用Reduce聚合

只是用Map阶段: 当不需要聚合功能只需要过滤和解析式

需要更改的地方：

（1）删除reduce相关代码

（2）设置reduce任务数为0