ListenerBus

spark job hangs 20+ hour 的排查

社區的人說可能是spark.scheduler.listenerbus.eventqueue.capacity設置太小。
zhangliyun·2023-08-07 09:24

Spark消息总线实现

ListenerBus在Spark中，消息总线最顶
Sunnywade·2023-07-18 13:42

spark源码之SparkContext

SparkConf=_privatevar_eventLogDir:Option[URI]=Noneprivatevar_eventLogCodec:Option[String]=Noneprivatevar_listenerBus
cclucc·2021-05-03 04:25

Spark源码学习笔记3-LiveListenerBus

继2-JobProgressListener之后，我们再来看看SparkContext构造函数中的listenerBus:LiveListenerBus，JobProgressListener在SparkContext
lzy2014·2020-08-23 08:54

Spark事件总线接口ListenerBus

Spark事件总线接口ListenerBus介绍ListenerBus是事件总线接口。它是一个trait类，它定义了事件和处理事件的listener之间的接口。
一 铭·2020-08-23 08:05

【Spark】Spark 事件总线

本篇结构：事件总线介绍ListenerBus继承体系LiveListenerBus详解流程总结一、事件总线介绍Spark定义了一个特质ListenerBus，可以接受事件并且将事件提交到对应事件的监听器
w1992wishes·2020-08-23 07:25

Spark2.1.0事件总线分析——SparkListenerBus详解

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》和《Spark2.1.0事件总线分析——ListenerBus的继承体系》。
泰山不老生·2020-08-23 05:17

Spark2.1.0事件总线分析——LiveListenerBus详解

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》、《Spark2.1.0事件总线分析——ListenerBus的继承体系》及《Spark2.1.0事件总线分析——SparkListenerBus
泰山不老生·2020-08-23 05:17

Spark2.1.0事件总线分析——ListenerBus的继承体系

通过阅读《Spark2.1.0之源码分析——事件总线》一文，理解了ListenerBus的定义后，本小节一起来看看有哪些类继承了它。ListenerBus的类继承体系如图1所示。
泰山不老生·2020-08-23 05:16

Spark事件总线

Spark定义了一个特质ListenerBus，可以接收事件并且将事件提交到对应事件的监听器，其代码如下：private[spark]traitListenerBus[LlogError(s"Listener
拾荒路上的开拓者·2020-08-23 05:11

Spark2.1.0之源码分析——事件总线

Spark定义了一个特质[1]ListenerBus，可以接收事件并且将事件提交到对应事件的监听器。为了对ListenerBus有个直观的理解，我们先来看看它的代码实现，见代码清单1。
泰山不老生·2020-08-23 04:20

sparkstreaming的参数解读

spark.default.parallelism设置sparkstreaming程序的并行度:2：spark.sql.shuffle.partitions设置spark-sql程序的并行度3：spark.scheduler.listenerbus.eventqueue.size
csy_666·2020-08-22 16:33

Spark Core源码精读计划7 | Spark执行环境的初始化

SparkCore源码精读计划3|SparkContext辅助属性及后初始化》《SparkCore源码精读计划4|SparkContext提供的其他功能》《SparkCore源码精读计划5|事件总线及ListenerBus
大数据技术与架构·2020-08-01 02:42

Spark Core源码精读计划5 | 事件总线及ListenerBus

目录前言Spark事件总线概述ListenerBus特征addListener()与removeListener()方法doPostEvent()方法postToAll()方法SparkListenerBus
run_bigdata·2020-07-31 23:15

Spark ListenerBus 和 MetricsSystem 体系分析

Spark事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem则是一个为了衡量系统的各种指标的度量系统。
祝威廉·2020-07-30 05:26

Spark metrics实现KafkaSink

Spark的运行情况是由ListenerBus以及MetricsSystem来完成的。
大写的UFO·2020-07-15 19:37

spark内核揭秘-08-spark的Web监控页面

valui:Option[SparkUI]=if(conf.getBoolean("spark.ui.enabled",true)){Some(SparkUI.createLiveUI(this,conf,listenerBus
weixin_30376163·2020-07-10 06:50

【Spark】Spark 事件总线

本篇结构：事件总线介绍ListenerBus继承体系LiveListenerBus详解流程总结一、事件总线介绍Spark定义了一个特质ListenerBus，可以接受事件并且将事件提交到对应事件的监听器
w1992wishes·2019-12-28 19:35

Spark Core源码精读计划#5：事件总线及ListenerBus

目录前言Spark事件总线概述ListenerBus特征addListener()与removeListener()方法doPostEvent()方法postToAll()方法SparkListenerBus
LittleMagic·2019-12-08 02:57

Spark 2.3 源码分析之事件总线 ListenerBus

一、事件总线介绍Spark定义了一个特质ListenerBus，可以接受事件并且将事件提交到对应事件的监听器。
BlackTangerine·2019-02-01 13:27

Spark metrics实现KafkaSink

Spark的运行情况是由ListenerBus以及MetricsSystem来完成的。
BIGUFO·2018-05-19 14:20

Spark metrics实现KafkaSink

Spark的运行情况是由ListenerBus以及MetricsSystem来完成的。
BIGUFO·2018-05-19 14:20

事件总线--ListenerBus

前者解决远程通信问题，后者则是本地较为高效的通信方式定义ListenerBusSpark定义了一个trait的ListenerBus，可以接收事件并将事件提交给对应的事件监听器private[spark
炮灰向前冲啦·2018-05-04 17:10

Spark-1.6.0之Application运行信息记录器JobProgressListener

JobProgressListener类是Spark的ListenerBus中一个很重要的监听器，可以用于记录Spark任务的Job和Stage等信息，比如在SparkUI页面上Job和Stage运行状况以及运行进度的显示等数据
dabokele·2016-07-05 23:00

spark storage之SparkEnv

首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean, 4listenerBus
月影舞华·2016-02-16 10:00

spark storage之SparkEnv

首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean, 4listenerBus
月影舞华·2016-02-16 10:00

Spark ListenerBus 和 MetricsSystem 体系分析

Spark事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem则是一个为了衡量系统的各种指标的度量系统。
allwefantasy·2016-01-02 21:00

Apache Spark-1.0.0浅析（五）：资源调度——Task创建和分发

getPreferredLocs，实例化一个ShuffleMapTasks返回一组task集合，否则是final stage，getPreferredLocs，实例化Result Task返回一组tasks集合；向listenerBus
·2015-11-02 19:27

spark内核揭秘-08-spark的Web监控页面

valui:Option[SparkUI]=if(conf.getBoolean("spark.ui.enabled",true)){Some(SparkUI.createLiveUI(this,conf,listenerBus
Stark_Summer·2015-01-20 13:00

spark内核揭秘-08-spark的Web监控页面

valui:Option[SparkUI]=if(conf.getBoolean("spark.ui.enabled",true)){Some(SparkUI.createLiveUI(this,conf,listenerBus
Stark_Summer·2015-01-20 13:00

spark内核揭秘-08-spark的Web监控页面

SparkUI] =  if (conf.getBoolean("spark.ui.enabled", true)) {    Some(SparkUI.createLiveUI(this, conf, listenerBus
stark_summer·2015-01-20 13:00

spark内核揭秘-08-spark的Web监控页面

Option[SparkUI]= if(conf.getBoolean("spark.ui.enabled",true)){ Some(SparkUI.createLiveUI(this,conf,listenerBus
Stark_Summer·2015-01-20 13:00

spark内核揭秘-08-spark的Web监控页面

Option[SparkUI]= if(conf.getBoolean("spark.ui.enabled",true)){ Some(SparkUI.createLiveUI(this,conf,listenerBus
Stark_Summer·2015-01-20 13:00

spark内核揭秘-08-spark的Web监控页面

:Option[SparkUI]= if(conf.getBoolean("spark.ui.enabled",true)){ Some(SparkUI.createLiveUI(this,conf,listenerBus
stark_summer·2015-01-20 12:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他