Spark2.2.0源码分析第29页

Spark异步事件总线机制源码分析

收录于话题#大数据常用技术15#大数据17#spark2Spark事件总线贯彻整个应用，TaskScheduler、Executor、JobScheduler、SQLExecution等关键交互逻辑离不开event的传递，为了更好的发挥Spark性能，以及扩展Spark功能，掌握event传递机制显得尤其重要。总的来看，其流程相对清晰。基础过程如下图：在LiveListenerBus定义一个que

跃ge·2023-11-24 16:03

【Spark源码分析】事件总线机制分析

Spark事件总线机制采用Spark2.11源码，以下类或方法被@DeveloperApi注解额部分，可能出现不同版本不同实现的情况。Spark中的事件总线用于接受事件并提交到对应的监听器中。事件总线在Spark应用启动时，会在SparkContext中激活spark运行的事件总线（LiveListenerBus）。LiveListenerBus相关的部分类图如下：由于Spark使用scala语言

顧棟·2023-11-24 16:02

Kafka源码分析 Topic与Partition使用

文章目录主题与分区Topic的管理命令1.创建Topic2.查看Topic3.修改Topic4.删除Topickafka-topics.sh命令式创建Topic代码阅读分析主题与分区Topic的管理命令1.创建Topic创建主题的命令，创建一个名为test的拥有10个partition，副本因子是3的Topic。bin/kafka-topics.sh--zookeeperlocalhost:218

顧棟·2023-11-24 15:09

以太坊源码分析之 P2P网络（二、节点发现流程）

区块链特辑：https://blog.csdn.net/fusan2004/article/details/80879343，欢迎查阅，原创作品，转载请标明！上一篇文章简单介绍了下一些基础的类型定义，从这一篇开始我们将描述p2p网络的更多细节。从关于节点的定义来看，其实不同定义是有不同含义的，Node代表的是一个孤立的节点，这个节点不代表我们和他会建立连接，而Peer是肯定会去连接的，但是不代表一

还是要学会仰望·2023-11-24 15:23

Java集合(容器)框架 01 - ArrayList源码分析

说明:源码分析基于JDK1.8ArrayList简介ArrayList是基于数组实现的，支持快速随机访问。RandomAccess接口标识着该类支持快速随机访问。

L2先森·2023-11-24 14:41

SpringBoot-外部化配置原理分析

SpringBoot加载配置文件的源码分析publicstaticvoidmain(String[]args){SpringApplication.run(SpringBootConfigApplication.class

老夫撩发三千尺·2023-11-24 12:21

android基础09-rxjava线程切换与自定义操作符

---------------------------------------------------------------------------内容：1/***TODOsubscribeOn()源码分析

亢正·2023-11-24 12:36

sentinel源码分析第一篇一Sentinel概述

文章目录架构图限流原理图context与entry关系context与node关系node自身关系树维护从请求和资源维度看三者关系扩展点一官方原理图扩展点一node类图架构图整个源码部分以生产环境使用方式为准讲解1.1Sentinel包含控制台:配置限流规则[系统规则,权限等]1.2控制台将规则推送至数据源(zookeeper等)落地1.3用户进程安装sentinel模块监听zk配置2.1请求进入

岁月人·2023-11-24 12:17

sentinel源码分析第一篇一Sentinel概述(经典)

文章目录架构图限流原理图context与entry关系context与node关系node自身关系树维护从请求和资源维度看三者关系扩展点一官方原理图扩展点一node类图架构图整个源码部分以生产环境使用方式为准讲解1.1Sentinel包含控制台:配置限流规则[系统规则,权限等]1.2控制台将规则推送至数据源(zookeeper等)落地1.3用户进程安装sentinel模块监听zk配置2.1请求进入

gb4215287·2023-11-24 12:16

微服务实战SpringCloud之Feign源码分析

上一篇简单介绍了springcloud声明式服务调用Feign的使用，接下来分析下Feign的源码，具体实现及为什么如此实现。启动时Feign的处理启动类上使用了@EnableFeignClients注解，我们来看下这个注解在哪里使用了，使用idea只要在EnableFeignClients类上按住command同时点击类名就可以查看到这个类在哪里使用了，发现除了启动类，只在FeignClient

wangxiaowu241·2023-11-24 11:00

SpringBoot源码初学者（一）：SpringBoot功能扩展接口的使用与源码分析

ps: 在长期的源码学习中，我一直没有找到一个讲解SpringBoot源码的文章，适合刚开始阅读源码的新手，包括我之前的写的一些文章，说实话SpringBoot的源码的确不适合新手，跳转多、结构复杂混乱，很容易迷乱其中。长时间的学习当中，也总结出这些文章的部分问题：没有说明用法，直接讲解源码，其实很多新手对SpringBoot了解不够多，还不明白怎么用，更不要想能理解源码了源码阅读跳跃大，没有说

敲代码的旺财·2023-11-24 09:53

vue2源码分析-响应式原理

正文下面的OSL材质模拟了TonyReynolds制作的皮肤着色器，它采用了由红、绿、蓝波长调制的分层次表面散射（layeredsubsurfacescattering）。此外，着色器实现了一个DuallobeSpecular（two-lobespec，双叶瓣高光）来捕捉人类皮肤上高光的微妙变化。理论不同波长的光穿透皮肤的深度不同。如果我们将可见光谱简化为三种颜色(红、绿、蓝)，那么每一种颜色的平

web老猴子·2023-11-24 07:48

Vue 2.0源码分析-数据驱动

Vue.js一个核心思想是数据驱动。所谓数据驱动，是指视图是由数据驱动生成的，我们对视图的修改，不会直接操作DOM，而是通过修改数据。它相比我们传统的前端开发，如使用jQuery等前端库直接修改DOM，大大简化了代码量。特别是当交互复杂的时候，只关心数据的修改会让代码的逻辑变的非常清晰，因为DOM变成了数据的映射，我们所有的逻辑都是对数据的修改，而不用碰触DOM，这样的代码非常利于维护。在Vue.

aiguangyuan·2023-11-24 07:41

22. Spring源码篇之推断构造方法

源码分析源码在org.springframework.beans.factory

shura1014·2023-11-24 07:58

qml基础学习模型视图(一)

文章目录一、理解qml模型和视图二、效果展示三、源码分析1、GridView增删2、列表3、卡牌效果四、相关文章一、理解qml模型和视图qt的发展是迅速的，虽然在每一个release版本中或多或少都有bug

一窝蜂117·2023-11-24 06:58

vue2的响应式

结合源码分析一下vue的响应式之前对于响应式，只是简单，很表面上的认识，知道vue的响应式主要通过Object.defineProperty()方法来进行数据劫持以及发布者-订阅模式来实现的，但是如何进行数据劫持呢

Bwcx_lzp·2023-11-24 05:38

HTTP客户端警告：Going to buffer response body of large or unknown size

目录HTTP客户端警告：Goingtobufferresponsebodyoflargeorunknownsize原编码问题源码分析getResponseBod

最初的节奏·2023-11-24 04:26

ArrayList详解（线程不安全，源码分析）

finalArrayListarrayList=newArrayListlist=Collections.synchronizedList(newArrayList<>());使用其他安全的来代替ArrayList源码分析

Freeala·2023-11-24 04:12

kubeedge源码分析系列之整体架构

kubeedge源码分析系列之整体架构本系列的源码分析是在commitda92692baa660359bb314d89dfa3a80bffb1d26c之上进行的。

之江数字孪生与数据智能·2023-11-24 03:06

Java线程池策略

当提交一个新任务到线程池时：判断核心线程数是否已满，未满则创建一个新的线程来执行任务否则判断工作队列是否已满，未满则加入队列否则判断线程数是否以达到最大线程，没有则创建一个新的线程来执行任务否则交给饱和策略来处理源码分析就不展开了

whanice·2023-11-24 02:31

ArrayList 和 Vector 源码分析

前言基于JDK1.10。ArrayListArrayList实现了List接口、RandomAccess接口，可以插入空数据以及支持随机访问。ArrayList相当于动态数组，里面有两个重要属性，elementData以及size。transientObject[]elementData;//数据privateintsize;//数组大小首先看一下构造方法（只罗列其中一种）：publicArray

沐小晨曦·2023-11-24 00:53

面试官：来！聊聊线程池的实现原理以及使用时的问题

扫描下方二维码或者微信搜索公众号菜鸟飞呀飞，即可关注微信公众号，阅读更多Spring源码分析和Java并发编程文章。

天堂2013·2023-11-24 00:38

Python pd.concat函数详解

Pythonpd.concat函数详解本文将深入探讨Python中的pd.concat函数，包括其原理、用法、示例（含结果输出）、源码分析和官方链接。

wang2leee·2023-11-23 21:14

littlevgl_7.11源码分析(4)--Apple的学习笔记

二，应用主题源码分析关于apply_theme中调用theme_apply函数，那么就很容易理解了。

applecai·2023-11-23 20:28

Spring使用@Async注解

本文仅说明@Async注解的应用规则，对于原理，调用逻辑，源码分析，暂不介绍。对于异步方法调用，从Spring3开始提供了@Async注解，该注解可以被标注在方法上，以便异步地调用该方法。

啊里斯本丶·2023-11-23 18:31

Java集合-HashMap源码实现深入解析

3.put和get方法实现源码分析。4.hash值有什么作用？如何进行hash？equals和hashCode方法有什么作用?5.何谓负载因子，有什么作用?6.何时会触发扩容，以及如何扩容？

心晴伴旅·2023-11-23 14:10

HashMap 底层实现原理，看完面试不再懵逼。

这是我们通常在面试中会说的，但是有时候问到底层的源码分析的时候，为什么允许为Null，为什么不安全，这些问题的时候，如果没有分析过源码的话，好像很难回答，这样的话我们来研究一下这个源码。看看原因吧。

Java大蜗牛·2023-11-23 14:02

解决 CAP_IMAGES: can‘t find starting number (in the name of file)

解决CAP_IMAGES:can'tfindstartingnumber（inthenameoffile）1.解决方法2.报错代码3.报错Log4.错误分析5.opencv源码分析1.解决方法1.确认输出文件类型与

泡视界·2023-11-23 14:16

open3D源码分析第五篇

2021SC@SDUSC文章目录open3D点云应用计算点云的表面曲率算法原理代码实现体素随机下采样算法原理代码实现小结open3D点云应用本篇结合之前对源码的分析，外加与小组成员讨论open3D中python方面关于点云的源码，我们结合最近所学的算法和计算机图形学方面的知识，用python完成了对open3D的两个应用。计算点云的表面曲率算法原理若P点的特征值满足λ0≤λ1≤λ2\lambda_

purposewyt·2023-11-23 13:23

【ROS】RViz2源码分析（三）：核心类VisualizerApp

【ROS】郭老二博文之：ROS目录1、简述VisualizerApp包含了三个主要的功能：QApplication：程序中主要调用app_->processEvents()来处理刷新界面，处理闪屏VisualizationFrame：窗口类都在此；RosClientAbstractionIface包含rclcpp::Node：代表ROS节点2、VisualizationFrame2.1布局Visu

郭老二·2023-11-23 13:22

flask框架的使用

Flask0.Flask简介wsgiref1.安装2.werkzeug简介3.flask快速使用案例：登录，显示用户信息作业：登录认证装饰器4配置文件方式一方式二5路由系统典型写法默认转换器路由系统本质CBV(源码分析

skyoceanchen·2023-11-23 13:17

一份c/c++Linux后台服务器开发者的技术拓展书单

1.源码分析2.中间件开发3.集群4.Linux系统（进阶）5.性能与测试6.运维统计7.分布式架构学习详情路线书籍分享：Linux：KaliLinux渗透测试的艺术linux+c++编程LinuxC编程一站式学习

面试题小能手·2023-11-23 10:58

从源码分析 RecyclerView 的分割线原理

先来看RecyclerView中的measureChild从这个方法中开始看：publicvoidmeasureChild(@NonNullViewchild,intwidthUsed,intheightUsed){finalLayoutParamslp=(LayoutParams)child.getLayoutParams();finalRectinsets=mRecyclerView.getI

cao苗子·2023-11-23 10:12

源码分析 Kafka 消息发送流程

温馨提示：本文基于Kafka2.2.1版本。本文主要是以源码的手段一步一步探究消息发送流程，如果对源码不感兴趣，可以直接跳到文末查看消息发送流程图与消息发送本地缓存存储结构图。从上文初识KafkaProducer生产者，可以通过KafkaProducer的send方法发送消息，send方法的声明如下：Future send(ProducerRecord record)Future send(Pro

Java面试那些事阿·2023-11-23 09:32

09-10-Alibaba Nacos注册中心CP架构Raft源码剖析

Nacos源码剖析-集群数据一致性(持久化实例CP模式Raft协议实现)注册中心CAP架构剖析Feign源码分析Ribbon调用流程总图Ribbon源码分析

一路向北·重庆分伦·2023-11-23 08:07

Nacos注册中心CP架构Raft源码分析

@toc[]一、CAP介绍二、Nacos如何设置CP、AP模式我们使用nacos的时候，有一个关于节点类型的配置：cloud:nacos:discovery:server-addr:192.168.131.172:8848ephemeral:trueephemeral：true：临时节点，写在内存中，效率较高，这种是AP架构；ephemeral：false：持久化节点，会写在文件中（不会写到mys

萧炎·2023-11-23 08:03

ReentrantLock源码分析(一)基于ConditionObject实现线程挂起和唤醒

一、ConditionObject的介绍&应用synchronized提供了wait和notify的方法实现线程在持有锁时，可以实现挂起，唤醒的操作。同样我们在ReentrantLock也拥有类似的功能，ReentrantLock提供了await和signal方法去实现类似wait和notify的功能。想执行await或者是signal就必须先持有lock锁的资源，ReentrantLock实现等

张声录1·2023-11-23 08:20

AQS源码分析二

上一篇讲解了从ReentrantLock公平锁源码了解AQS主要实现原理本文关注以下几点内容①深入理解ReentrantLock公平与非公平锁区别②深入分析AQS的内部类ConditionObject③深入理解Java线程中断和InterruptedException异常公平锁和非公平锁//默认采用非公平锁publicReentrantLock(){sync=newNonfairSync();}/

黑洞刺客·2023-11-23 08:38

[消息队列]beanstalkd源码详解

目录1.消息队列简介2.beanstalkd基本知识2.1beanstalkd简介2.2beanstalkd命令3.beanstalkd源码分析3.1数据结构3.1.1基础结构体3.1.2管道tube3.1.3

艾尼路·2023-11-23 07:07

java stringbuffer原理_Java中String、StringBuilder和StringBuffer源码分析及区别详解

String、StringBuilder和StringBuffer是我们在写代码的过程中经常使用到，之前只是使用，没有深入的了解这三个的底层原理以及区别，以下是自己在学习jdk源码过程对这三个理解。一.String、StringBuilder和StringBuffer三者的区别1.String字符串常量：在Java中字符串属于对象，Java提供了String类来创建和操作字符串，String的值是

安娜的小岛·2023-11-23 02:37

领略Quartz源码架构之美——源码实弹之Scheduler(五)

部分源码继上一节内容上一节内容我们讲到了instantiate初始化方法中的数据库连接相关操作，本节内容将结束整个schedule初始化操作，让我们继续耐心往下看~~~~instantiate初始化过程源码分析在数据库相关操作之后

向光奔跑_·2023-11-23 02:01

Zookeeper-数据同步源码分析

zookeeper集群在选举结束之后，leader节点将进入LEADING状态，follower节点将进入FOLLOWING状态；此时集群中节点将进行数据同步操作，以保证数据一致。只有数据同步完成之后zookeeper集群才具备对外提供服务的能力。LEADING当节点在选举后角色确认为leader后将会进入LEADING状态，源码如下：publicvoidrun(){try{/**Mainloop

taj3991·2023-11-23 00:43

golang map源码分析

1.前言map是CS中非常基础的数据结构，关于golangmap的基本使用，这里不再赘述，可以参考官方文档。golang的map实现是基于hash查找表，并且基于链表来解决hash碰撞问题。2.环境信息go版本：go1.15.4darwin/amd643.gomap数据结构分析map的基础结构体是hmap，该结构体存在文件runtime/map.go中hmap源码：//AheaderforaGom

周琥_fc69·2023-11-23 00:43

pikachu靶场PHP反序列化漏洞

pikachu靶场PHP反序列化漏洞源码分析查看源代码classS{var$test="pikachu";function__construct(){echo$this->test;}}// O:1:"

ZS_zsx·2023-11-22 23:20

一行一行源码分析清楚 AbstractQueuedSynchronizer (三)

有前两篇文章的铺垫，剩下的源码分析将会简单很多。本文先用CountDownLatch将共享模式说清楚，然后顺着把其他AQS相关的类Cyclic

懒癌正患者·2023-11-22 20:05

Django DRF 视图集

文章目录1.ViewSet2.GenericViewSet3.ModelViewSet4.ReadOnlyModelViewSet5.ViewSetMixin源码分析6.视图集中定义附加action动作

XWenXiang·2023-11-22 17:51

XSLVGL2.0 开发手册

XSLVGL2.0开发手册一、说明二、XSLVGL2.0开发手册目录列表三、XSLVGL2.0项目案例参考四、LVGL基础文档五、LVGL常见样例六、LVGL疑难杂症七、其它文档八、联系方式一、说明原LVGL源码分析大全中大部分定制接口文档为

Bigan(安)·2023-11-22 17:56

Redis Sentinel 源码分析 - Sentinel 的主时间事件函数

作者：WenHui转载：中间件小哥Sentinel使用和Redis服务器相同的事件处理机制：分为文件事件和时间事件。文件事件处理机制使用I/O多路复用来处理服务器端的网络I/O请求，例如客户端连接，读写等操作。时间处理机制则在主循环中周期性调用时间函数来处理定时操作，例如服务器端的维护，定时更新，删除等操作。Redis服务器主时间函数是在server.c中定义的serverCron函数,在默认情况

中间件小哥·2023-11-22 14:06

Flink 源码之 Side Output 踩坑

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录问题背景Flink的sideoutput为我们提供了数据分类输出的方式，根据条件将一个流分为多个数据流。

AlienPaul·2023-11-22 12:57

深入理解Java AQS：从原理到源码分析

目录AQS的设计原理1、队列节点Node和FIFO队列结构2、state的作用3、公平锁与非公平锁AQS源码解析1、Node节点2、acquire(int)3、release(int)4、自旋（Spin）5、公平性与FIFO基于AQS实现的几种同步器1、ReentrantLock：可重入独占锁2、ReentrantReadWriteLock：可重入读写锁3、Semaphore：信号量4、Count

一个搬砖的农民工·2023-11-22 08:22

推荐频道

Spark2.2.0源码分析