【异常】SparkStreaming长时间运行出现： Dropping SparkListenerEvent because no remaining room in event queue

问题描述

在SparkStreaming任务提交后，经过长时间的运行会在SparkUI的Jobs界面出现Job的执行时间出现几个小时的情况，点进去发现Stage已经处于unkown状态，如下图：

查看日志后发现下面ERROR异常：

2018-01-06 16:42:03  [ dag-scheduler-event-loop:600497 ] - [ ERROR ]  Dropping SparkListenerEvent because no remaining room in event queue. This likely means one of the SparkListeners is too slow and cannot keep up with the rate at which tasks are being started by the scheduler.

问题分析

搜了一些关于消息队列的文章，在spark的jira中也查找到了相关的bug，确实在2.x版本的spark中存在因为LiveListenerBus消息队列的消息数量设置不当造成的bug，这个bug会影响webui中的展示，也会影响任务状态的判断。

终其原因是：当消息队列中的消息数超过其spark.scheduler.listenerbus.eventqueue.size设置的数量(如果没有设置,默认为10000)时，会将最新的消息移除，这些消息本来是通知任务运行状态的，由于你移除了，状态无法得到更新，所以会出现上面描述的现象

解决方法

在spark-submit提交任务时，指定下面的参数：

--conf spark.scheduler.listenerbus.eventqueue.size=100000

然后继续提交任务，程序运行两天不再出现上面的问题。

在SparkStreaming的使用中，出现了各种各样的问题，所以最好输出日志，方便出现问题后定位，通过可以过滤掉INFO级别的日志，不然有非常大的日志。