excutor

Spark数据倾斜的问题

Spark数据倾斜表现Spark的数据倾斜，包括SparkStreaming和SparkSQL，表现主要有下面几种：1、Excutorlost，OOM，Shuffle过程出错2、DriverOOM3、单个Excutor
冰火同学·2025-03-11 20:58

Spark架构都有那些组件

Spark组件架构主要采用主从结构，分别是driver驱动器，Excutor执行器,和clusterManager集群管理器这个三个架构组件其中driver驱动器主要负责spark执行Excutor的任务分配
冰火同学·2025-03-04 11:37

如何部署docker excutor gitlab runner

前提:安装dockerapt-getinstalldocker-ce设置runnerdockerrun-d--namegitlab-runner--restartalways\-v/srv/gitlab-runner/config:/etc/gitlab-runner\-v/var/run/docker.sock:/var/run/docker.sock\gitlab/gitlab-runner:
东2011·2024-02-13 12:00

Promise教程（一）

new函数产生的对象，称为实例对象，简称为对象函数对象：将函数作为对象使用时，简称为函数对象同步回调理解：立即执行，完全执行完了才会结束，不会放入回调队列中例子：数组遍历相关的回调函数、Promise的excutor
神秘的帅哥·2023-12-28 08:16

诚之和:Promise的介绍及基本用法是什么

Promise构造函数:Promise(excutor){}Promise.prototype.then方法Pro
诚之和·2023-12-16 05:08

[源码]手写Promise

PromiseA+规范：https://promisesaplus.com/promise功能罗列阅读PromiseA+规范后，罗列下大致需要实现的功能1.excutor在构造函数执行时执行2.
_royalpioneer·2023-12-05 09:50

Spark---SparkCore(五)

MapOutputTrackerWorker是从对象，存在于Excutor中。2）、BlockManagerBlockMan
30岁老阿姨·2023-11-30 13:52

promise原理:代码实现

function(window){constPENDING='pending'constRESOLVED='resolved'constREJECTED='rejected'functionPromise(excutor
ziazan·2023-11-29 16:31

Linux线程同步实例

生产者消费者模型的应用场景有很多，例如Excutor任务执行框架、消息中间件activeMQ、任务的处理时间比较长的情况下等。生产者消费者模型
ly@눈_눈·2023-10-14 21:20

spark调优指南 面试专用

1、性能调优一、分配哪些资源executor的数量每个excutor所能分配地cpu数量每个excutor所分配的内存量driver端分配的内存数量二、在哪里分配这些资源在生产环凌晨中，提交spark作业时
半_调_子·2023-10-12 07:42

Spark调优

Spark参数调优：num-executors建议：一般设置50~100左右executors-memory建议:4G8G，不超过整个集群资源的1/31/2executor-cores每个Excutor
你值得拥有更好的12138·2023-10-01 00:20

MyBatis-执行流程简介

目录一、获取SqlSessionFactory二、获取SqlSession三、生成代理对象四、执行Excutor五、匹配执行SQL语句一、获取SqlSessionFactorySqlSessionFactory
UndefinedException·2023-09-26 16:21

xxl-job源码解读：执行器Excutor调用链路

本文基于xxl-job的2.3.1版本执行器，即任务逻辑代码所在的服务，也就是你的业务项目，由调度中心的触发器通过网络请求，调用执行的任务执行1.执行器客户端加载在获取执行器客户端时，会根据指定的地址获取执行器客户端，如果执行器未初始化，会初始化一个执行器com.xxl.job.admin.core.scheduler.XxlJobSchedulerpublicstaticExecutorBizg
咕了个咕·2023-09-19 17:32

java并发编程实战笔记：线程池的使用

任务与策咯之间的耦合上文中说了java通过excutor框架把任务的执行和提交解耦了，实际上对于任务和执行策咯，有时候是有一定的耦合的，并不是所有的任务都能用任意的执行策略。
xuefeiliuyuxiu·2023-09-12 19:42

并发编程必须要知道的几个基本问题

主要内容包括：并发编程的基本概念：并发和并行的区别多线程优点多线程的三个基本问题并发编程实践J.U.C框架Excutor框架Fork/Join框架并发编程两个基本问题讨论并发编程基本概念并发编程的产生并发编程是伴随
非典型理科男·2023-08-16 08:47

【ES6】Promise—异步编程解决方案

Promise是啥在语法上，Promise是一个构造函数，用于封装异步操作，并获取其成功或失败的结果构造函数：Promise(excutor){}Promise.prototype.then方法Promise.prototype.catch
WebbTang·2023-08-15 21:51

PySpark 之 SparkSQL 编程

相同点是，他们都是为了支持分布式计算而设计注意：rdd在Excutor上跑的大部分是Python代码，只有少部分是ja
风老魔·2023-08-04 18:33

用jina快速构建搜索服务

神经搜索工具特定语法excutor编写自己的flow；classMyExecutor(Executor):@requestsdeffoo(self,docs:DocumentArray,**kwargs
飘涯·2023-07-18 01:57

开发中常用多线程异步操作场景解决方案

场景一:批量操作，事务控制部分回滚第一步:创建现场池，注意不同业务场景线程池队列等参数不一样，根据实际业务场景来packageorg.jeecg.modules.pUser.excutor;importlombok.extern.slf4j.Slf4j
BACKWASH2038·2023-06-17 09:45

spark的task分布不均匀，某些executor没有领取任务

有些excutor只执行了1个任务。经查资料与spark数据本地化有关。
Me丶kang·2023-04-17 06:33

spark 调度优化

1.问题在做spark-streaming的时候最近遇到个特别的问题：每个batch的任务调度执行的时候，某些excutor上调度的任务特别多，其他的excutor上只调度一个image.png甚至200
skyjunjun·2023-04-17 06:45

spark分布式计算框架

它是默认倾向于抢占资源的，他会在sparkContext（）这个函数执行的时候，直接根据下面textFile（）代码逻辑抢占所有资源，任务以JVM线程的级别泡在Excutor里面目前已知的：每一个Exc
代码健身摩托gucci上海·2023-04-15 20:23

自定义的Promise

同步回调：立即执行，完全执行完才结束，不会放到回调队列中例子：数组遍历的forEach()还有promise的excutor异步回调：不会被立即执行，会被放到回调函数中将来执行例子：定时器回调、ajax
Shy啊·2023-04-12 18:38

详解Spark Sql在UDF中如何引用外部数据

目录前言场景介绍方法一Driver端加载方法二Excutor端加载小结前言SparkSql可以通过UDF来对DataFrame的Column进行自定义操作。
·2023-04-08 01:06

四, Spark运行架构

master:负责管理整个集群中的作业任务调度Executor是slave:负责实际执行任务SparkApllication的运行架构由两部分组成:Driverprogram(SparkContext)和Excutor
菜菜的大数据开发之路·2023-04-05 19:23

spark任务执行流程

提交application，master生成一个applicationMaster2、applicationMaster根据每个worker发送到master心跳，决定在哪个worker节点上启动一个excutor
临界爵迹·2023-04-05 09:30

MyBatis之手写简易MyBatis

MyBatis之手写简易MyBatis前言设计思路项目准备代码实现SqlSessionFactory开发SqlSession开发Excutor开发测试附件前言现在市面上有很多成熟的ORM框架，每一种框架都有其优势和不足
RubinChu·2023-04-04 01:59

函数传递（序列化）

初始化工作是在Driver端进行的，而实际运行程序是在Excutor端进行的。
比格肖·2023-03-17 04:31

java线程之四（线程池）

Excutor（接口）线程池执行器，只有一个方法excute（Runablecommand）ExcutorService继承了Excutor，并且拓展了线程池的生命周期`（shutdown结束方法，submit
大可不必的我·2023-03-13 18:26

并发编程必须要知道的几个基本问题

主要内容包括：并发编程的基本概念：并发和并行的区别多线程优点多线程的三个基本问题并发编程实践J.U.C框架Excutor框架Fork/Join框架并发编程两个基本问题讨论并发编程基本概念并发编程的产生并发编程是伴随
非典型理科男·2023-03-09 12:17

Mybatis源码解析【一二级缓存】

属于Mapper级别的缓存ExcutorSQL执行器是缓存挂钩的，如果配置二级缓存开启，还有mapper中指定,那么Excutor实例化的就是CacheExcut
骚包杨·2023-02-19 19:55

spark运行架构和基础

Excutor就是一个容器，就像Hadoop的node一样，用来运行的应用顾名思义来编写spark程序的任务运行的excutor单元架构设计如图整个图一目了然，spark的架构，
加林so cool·2022-11-27 11:38

Spark Submit --files 添加文件

一.引言当一个分布式任务中一个文件需要在全局使用时，最常见的方法就是使用广播的形式，在dirver端读取随后分发到excutor，这里需要的时间是1)dirver端读取文件时间2)广播分发到各excutor
BIT_666·2022-11-15 09:59

ES6学习24~47

Promise构造函数:Promise(excutor){}Promise.prototype.then方法Promise.prototype.catch方法2.14.2promise的好处1.可以避免多层异步调用
是风呀呀·2022-11-09 11:36

Mybatis源码分析(二)SqlSession和Excutor

导读上一篇文章介绍了Mybatis是怎样读取并解析mybatis-config.xml和xxxMapper.xml等xml信息并封装到Configuration对象中。这一篇文章主要介绍Mybatis的主要对象SqlSession和事务是怎样管理和执行的。带着两个疑问：1.构造好的Configuration对象是在哪里用的？2.SqlSession又是怎样创建的？一、使用Configuration
小尾巴1024·2022-10-09 20:46

MyBatis插件原理。使用mybtais插件如何数据脱敏?

在mybtis中对外提供了4大对象供开发者拦截，分别是Excutor:查看mybatis的sql执行过程，ParameterHandler修改他的参数,ResultSetHandler拦截返回值，StatementHandler
小~小怪兽·2022-08-11 18:58

spark参数调整调优

1.1--num-executors100参数解释：任务可以申请的Excutor最大数量，并不是一次性分配100个Excutor；Excutor数量会在任务的运行过程中动态调整，有job处于pending
格格巫 MMQ!!·2022-07-25 16:00

es6-promise学习与使用【含真实接口】

介绍与基本使用promise是ES6引入的异步编程的新解决方案，语法上市promise是一个构造函数，用来封装异步操作并可以获取奇成功或失败的结果【解决回调地狱问题】Promise构造函数：Promise{excutor
秋田君·2022-06-02 13:56

Promise

/*1、同步回调理解：立即执行，完全执行完了才结束，不会放入回调队列中例子：数组遍历相关的回调函数/Promise的excutor函数2、异步回调理解：不会立即执行，会放入回调队列中将来执行例子：定时器回调
关耳木南·2022-04-12 18:26

spark rdd分区与任务的关系

task会在excutor中执行。
程序猿不加班·2022-02-28 10:27

线程池管理的工具类，封装类

线程池涉及的类:1.Excutor--java里面线程池的接口2.Excut
清枫浦上·2022-02-20 15:00

Promise深入 + 自定义Promise

将函数作为对象使用时,简称为函数对象2.实例对象:new函数产生的对象,简称为对象1.2.回调函数的分类1.同步回调:理解:立即执行,完全执行完了才结束,不会放入回调队列中例子:数组遍历相关的回调函数/Promise的excutor
song854601134·2022-02-19 14:54

MyBatis加强（4）~mybatis 插件开发

Excutor(update,query,flushStatements
一乐乐·2022-02-15 20:00

java多线程-05-Excutor家族

1Excutor家族概览上一篇http://blog.csdn.net/hylexus/article/detail
hylexus·2022-02-15 00:35

pyspark 学习

driver与exector(应用层级)driver是资源管理和调度器，拥有sparkcontext，可以申请资源和进行资源管理，executor负责任务的具体执行，由于spark主要是靠内存计算，对于excutor
Aerio_不要坐井观天·2022-02-03 01:38

Spark常见面试题

Spark常见面试题SparkonYarn两种方式的区别以及工作流程Spark内存管理官网优化这块查看Spark作业资源的设置情况excutor个数memorycoredriverShuffle机制DataFrame
·2021-11-08 21:53

浅析Promise的介绍及基本用法

Promise构造函数:Promise(excutor){}Promise.prototype.then方法Promise.prototype.catch方法Promise的基本使用实例化PromisenewPromise
·2021-10-20 17:29

五、持久层框架设计实现及MyBatis源码分析-自定义持久层框架(五)

在前面章节，我们在自定义持久层框架当中，实现了查询方法，本章节对增、删、改方法进行实现，首先先来说说实现增、删、改方法的基本思路1、在Excutor接口中增加update方法，因为之前写的都是查询方法，
Love为何·2021-07-22 19:49

jstorm QA

1、topology和nimbus以及worker的关系，如何进行通信，nimbus如何高HA2、Worker，Excutor以及task之间的关系3、Acker如何工作？
topwqp·2021-06-25 07:28

ES6学习手册（8）

PromiseES6引入的异步编程的解决方案，Promise是一个构造函数，用来封装异步操作并可以获取其成功或者失败的结果Promise构造函数：Promise（excutor）{}Promise.prototype.then
designbyly·2021-05-11 16:28
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他