E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
JDK8源码分析
Spark Task执行流程
源码分析
系列之二: 任务构建&调度&资源分配
上一节我们介绍了Task各个环节用到的主要数据结构,本节我们来看看Spark中一个Task是如何构建起来的,又是如何获取到资源,然后提交给集群相应的资源进行启动的。任务构建&提交Sparkjob内部是通过DAG来维护血缘关系的,通过shuffle算子进行stage的划分,上游stage计算完成后,下游stage才能进行,在一个stage中有多个任务需要执行,划分完stage后就会对同一个stage
小白数据猿
·
2023-11-24 16:04
Spark
大数据
spark
Spark异步事件总线机制
源码分析
收录于话题#大数据常用技术15#大数据17#spark2Spark事件总线贯彻整个应用,TaskScheduler、Executor、JobScheduler、SQLExecution等关键交互逻辑离不开event的传递,为了更好的发挥Spark性能,以及扩展Spark功能,掌握event传递机制显得尤其重要。总的来看,其流程相对清晰。基础过程如下图:在LiveListenerBus定义一个que
跃ge
·
2023-11-24 16:03
spark
【Spark
源码分析
】事件总线机制分析
Spark事件总线机制采用Spark2.11源码,以下类或方法被@DeveloperApi注解额部分,可能出现不同版本不同实现的情况。Spark中的事件总线用于接受事件并提交到对应的监听器中。事件总线在Spark应用启动时,会在SparkContext中激活spark运行的事件总线(LiveListenerBus)。LiveListenerBus相关的部分类图如下:由于Spark使用scala语言
顧棟
·
2023-11-24 16:02
Spark
spark
大数据
java.security.InvalidKeyException: Illegal key size or default parameters AES加密报错的解决办法
查了下说
JDK8
默认的加密长度是128位的,超过这个长度就需要自己安装扩展。安装扩展比较麻烦,后来在stackoverflow上找到了比较简单的方法,只需要加代码就可以,不用安装扩展文件。
↘"LYong
·
2023-11-24 16:40
java
python
开发语言
Kafka
源码分析
Topic与Partition使用
文章目录主题与分区Topic的管理命令1.创建Topic2.查看Topic3.修改Topic4.删除Topickafka-topics.sh命令式创建Topic代码阅读分析主题与分区Topic的管理命令1.创建Topic创建主题的命令,创建一个名为test的拥有10个partition,副本因子是3的Topic。bin/kafka-topics.sh--zookeeperlocalhost:218
顧棟
·
2023-11-24 15:09
Kafka源码分析
kafka
以太坊
源码分析
之 P2P网络(二、节点发现流程)
区块链特辑:https://blog.csdn.net/fusan2004/article/details/80879343,欢迎查阅,原创作品,转载请标明!上一篇文章简单介绍了下一些基础的类型定义,从这一篇开始我们将描述p2p网络的更多细节。从关于节点的定义来看,其实不同定义是有不同含义的,Node代表的是一个孤立的节点,这个节点不代表我们和他会建立连接,而Peer是肯定会去连接的,但是不代表一
还是要学会仰望
·
2023-11-24 15:23
区块链
区块链
p2p
节点发现
Java集合(容器)框架 01 - ArrayList
源码分析
说明:
源码分析
基于JDK1.8ArrayList简介ArrayList是基于数组实现的,支持快速随机访问。RandomAccess接口标识着该类支持快速随机访问。
L2先森
·
2023-11-24 14:41
HashMap的实现原理以及扩容机制
当发生哈希冲突时,HashMap在JDK7时,采用(单向)链表的形式解决冲突;在
JDK8
时,采用(单向)链表+红黑树的形式解决
imH9
·
2023-11-24 14:09
哈希算法
算法
java
散列表
开发语言
SpringBoot-外部化配置原理分析
SpringBoot加载配置文件的
源码分析
publicstaticvoidmain(String[]args){SpringApplication.run(SpringBootConfigApplication.class
老夫撩发三千尺
·
2023-11-24 12:21
SpringBoot
android基础09-rxjava线程切换与自定义操作符
---------------------------------------------------------------------------内容:1/***TODOsubscribeOn()
源码分析
亢正
·
2023-11-24 12:36
sentinel
源码分析
第一篇一Sentinel概述
文章目录架构图限流原理图context与entry关系context与node关系node自身关系树维护从请求和资源维度看三者关系扩展点一官方原理图扩展点一node类图架构图整个源码部分以生产环境使用方式为准讲解1.1Sentinel包含控制台:配置限流规则[系统规则,权限等]1.2控制台将规则推送至数据源(zookeeper等)落地1.3用户进程安装sentinel模块监听zk配置2.1请求进入
岁月人
·
2023-11-24 12:17
sentinel源码分析
sentinel
限流
sentinel
源码分析
第一篇一Sentinel概述(经典)
文章目录架构图限流原理图context与entry关系context与node关系node自身关系树维护从请求和资源维度看三者关系扩展点一官方原理图扩展点一node类图架构图整个源码部分以生产环境使用方式为准讲解1.1Sentinel包含控制台:配置限流规则[系统规则,权限等]1.2控制台将规则推送至数据源(zookeeper等)落地1.3用户进程安装sentinel模块监听zk配置2.1请求进入
gb4215287
·
2023-11-24 12:16
sentinel
java
运维
微服务实战SpringCloud之Feign
源码分析
上一篇简单介绍了springcloud声明式服务调用Feign的使用,接下来分析下Feign的源码,具体实现及为什么如此实现。启动时Feign的处理启动类上使用了@EnableFeignClients注解,我们来看下这个注解在哪里使用了,使用idea只要在EnableFeignClients类上按住command同时点击类名就可以查看到这个类在哪里使用了,发现除了启动类,只在FeignClient
wangxiaowu241
·
2023-11-24 11:00
java
springcloud
feign
微服务
java
微服务
springcloud
feign
源码
Trino Docker 部署
TrinoDocker部署Trino需要JDK17+,所以常用
JDK8
的在Docker上体验一把也未尝不可Docker基本体验#启动Trinodockerrun-d-p8080:8080--nametrinodbtrinodb
yoshubom
·
2023-11-24 11:54
docker
hive
容器
trino
presto
JDK8
的安装和下载以及配置环境
JDK8
下载
JDK8
虽然是Oracle基于JavaSE8的标准发布的开发工具包,但Oracle毕竟是个商业公司,在2019年1月就针对8这个版本停止了免费更新,也就是说这个版本往后的更新都需要付费。
码农K
·
2023-11-24 11:12
01-linux环境下,下载并安装jdk 和 tomcat8
1.安装tomcat之前须安装
jdk8
java-version[查询版本号]如果未安装,则安装,执行这条命令:yuminstalljava-1.8.0-openjdk*-y2.先从官网下载一个安装包第一步去官网找到对应的版本
刘小刀tina
·
2023-11-24 10:41
SpringBoot源码初学者(一):SpringBoot功能扩展接口的使用与
源码分析
ps: 在长期的源码学习中,我一直没有找到一个讲解SpringBoot源码的文章,适合刚开始阅读源码的新手,包括我之前的写的一些文章,说实话SpringBoot的源码的确不适合新手,跳转多、结构复杂混乱,很容易迷乱其中。长时间的学习当中,也总结出这些文章的部分问题:没有说明用法,直接讲解源码,其实很多新手对SpringBoot了解不够多,还不明白怎么用,更不要想能理解源码了源码阅读跳跃大,没有说
敲代码的旺财
·
2023-11-24 09:53
jdk11新特性,是否有必要从
JDK8
切换到JDK11
文章目录1.完全支持Linux容器(包括docker)2.ZGC3.全新的HTTP客户端API4.模块化(Module)5.其他6.是否切换到JDK11随着2022年jdk11的使用率首次超过
jdk8
,
程小明的coding
·
2023-11-24 09:30
docker
java
容器
阿里云快速下载
JDK8
-12
上链接:|jdk-11.0.10_windows-x64_bin.zip|https://code.aliyun.com/kar/ojdk-11.0.10/raw/master/jdk-11.0.10_windows-x64_bin.zip||jdk-11.0.10_osx-x64_bin.tar.gz|https://code.aliyun.com/kar/ojdk-11.0.10/raw/ma
我爱张智容
·
2023-11-24 08:53
vue2
源码分析
-响应式原理
正文下面的OSL材质模拟了TonyReynolds制作的皮肤着色器,它采用了由红、绿、蓝波长调制的分层次表面散射(layeredsubsurfacescattering)。此外,着色器实现了一个DuallobeSpecular(two-lobespec,双叶瓣高光)来捕捉人类皮肤上高光的微妙变化。理论不同波长的光穿透皮肤的深度不同。如果我们将可见光谱简化为三种颜色(红、绿、蓝),那么每一种颜色的平
web老猴子
·
2023-11-24 07:48
人工智能
python
开发语言
Vue 2.0
源码分析
-数据驱动
Vue.js一个核心思想是数据驱动。所谓数据驱动,是指视图是由数据驱动生成的,我们对视图的修改,不会直接操作DOM,而是通过修改数据。它相比我们传统的前端开发,如使用jQuery等前端库直接修改DOM,大大简化了代码量。特别是当交互复杂的时候,只关心数据的修改会让代码的逻辑变的非常清晰,因为DOM变成了数据的映射,我们所有的逻辑都是对数据的修改,而不用碰触DOM,这样的代码非常利于维护。在Vue.
aiguangyuan
·
2023-11-24 07:41
Vue
2.0
核心源码解析
前端开发
JavaScript
Vue
22. Spring源码篇之推断构造方法
源码分析
源码在org.springframework.beans.factory
shura1014
·
2023-11-24 07:58
spring
framework
spring
java
后端
qml基础学习 模型视图(一)
文章目录一、理解qml模型和视图二、效果展示三、
源码分析
1、GridView增删2、列表3、卡牌效果四、相关文章一、理解qml模型和视图qt的发展是迅速的,虽然在每一个release版本中或多或少都有bug
一窝蜂117
·
2023-11-24 06:58
qml学习
qml
mvc
模型视图
vue2的响应式
结合
源码分析
一下vue的响应式之前对于响应式,只是简单,很表面上的认识,知道vue的响应式主要通过Object.defineProperty()方法来进行数据劫持以及发布者-订阅模式来实现的,但是如何进行数据劫持呢
Bwcx_lzp
·
2023-11-24 05:38
源码笔记
vue.js
HTTP客户端警告:Going to buffer response body of large or unknown size
目录HTTP客户端警告:Goingtobufferresponsebodyoflargeorunknownsize原编码问题
源码分析
getResponseBod
最初的节奏
·
2023-11-24 04:26
网络通信
http
网络协议
网络
ArrayList详解(线程不安全,
源码分析
)
finalArrayListarrayList=newArrayListlist=Collections.synchronizedList(newArrayList<>());使用其他安全的来代替ArrayList
源码分析
Freeala
·
2023-11-24 04:12
kubeedge
源码分析
系列之整体架构
kubeedge
源码分析
系列之整体架构本系列的
源码分析
是在commitda92692baa660359bb314d89dfa3a80bffb1d26c之上进行的。
之江数字孪生与数据智能
·
2023-11-24 03:06
Java线程池策略
当提交一个新任务到线程池时:判断核心线程数是否已满,未满则创建一个新的线程来执行任务否则判断工作队列是否已满,未满则加入队列否则判断线程数是否以达到最大线程,没有则创建一个新的线程来执行任务否则交给饱和策略来处理
源码分析
就不展开了
whanice
·
2023-11-24 02:31
ArrayList 和 Vector
源码分析
前言基于JDK1.10。ArrayListArrayList实现了List接口、RandomAccess接口,可以插入空数据以及支持随机访问。ArrayList相当于动态数组,里面有两个重要属性,elementData以及size。transientObject[]elementData;//数据privateintsize;//数组大小首先看一下构造方法(只罗列其中一种):publicArray
沐小晨曦
·
2023-11-24 00:53
面试官:来!聊聊线程池的实现原理以及使用时的问题
扫描下方二维码或者微信搜索公众号菜鸟飞呀飞,即可关注微信公众号,阅读更多Spring
源码分析
和Java并发编程文章。
天堂2013
·
2023-11-24 00:38
多线程
Java
线程池
并发
CentOS7环境下安装jdk
1.下载jdk:在官网上下载对应版本的jdk(https://www.oracle.com/technetwork/cn/java/javase/downloads/
jdk8
-downloads-2133151
chunhua666
·
2023-11-23 23:09
Zookeeper+kafka搭建+验证
一、JDK配置1.Zookeeper和kafka都依赖于JDK因此首先需要在服务器上安装JDK,在官网下载或者百度下载
JDK8
.linux版本的压缩包。
笨小鬼
·
2023-11-23 23:50
zookeeper
kafka
big
data
IDEA控制台中文乱码问题的解决
问题:IDEA控制台中文乱码(非tomcat导致)问题描述解决方法问题描述IDEA版本:2021.1.2JDK版本:
JDK8
问题:IDEA安装之后Fileencoding设置的默认编码为GBK,projectsdk
路口山水画
·
2023-11-23 21:39
中文乱码
intellij-idea
java
intellij
idea
K8S部署jenkins
3、编写jenkinsyaml文件注意:jenkins2.372默认安装jdk11版本,没有mvn和
jdk8
,如果有需求就
笑一笑--十年少
·
2023-11-23 21:29
jenkins
kubernetes
运维
服务器搭建系列之9:k8s安装jenkins实现自动化部署(包含全流程配置),2022最新版本
准备工作:下载jenkins安装包,地址:jenkins的rpm安装包下载maven安装包,地址:maven下载地址下载
jdk8
和jdk17的tar包,地址:jdk下载地址下载publish-over-ssh
赤兮丷
·
2023-11-23 21:55
jenkins
服务器
自动化
Python pd.concat函数详解
Pythonpd.concat函数详解本文将深入探讨Python中的pd.concat函数,包括其原理、用法、示例(含结果输出)、
源码分析
和官方链接。
wang2leee
·
2023-11-23 21:14
web
python
pandas
开发语言
littlevgl_7.11
源码分析
(4)--Apple的学习笔记
二,应用主题
源码分析
关于apply_theme中调用theme_apply函数,那么就很容易理解了。
applecai
·
2023-11-23 20:28
【Java】哈希表的基本使用(附 vscode重写hashCode和equals方法)
前言
JDK8
之前,底层采用“数组+链表”实现哈希表。而在
JDK8
之后,底层做了优化。
GalaxyerKw
·
2023-11-23 19:06
Java
java
数据结构
哈希表
Spring使用@Async注解
本文仅说明@Async注解的应用规则,对于原理,调用逻辑,
源码分析
,暂不介绍。对于异步方法调用,从Spring3开始提供了@Async注解,该注解可以被标注在方法上,以便异步地调用该方法。
啊里斯本丶
·
2023-11-23 18:31
spring
本地canal安装和使用
1、组件版本canal.deployer-1.1.7kafka_2.13-2.6.0
jdk8
apache-zookeeper-3.6.0-binmysql5.72、解压canal.deployer-1.1.72.1
燕少༒江湖
·
2023-11-23 16:48
笔记
JAVA基础篇--JVM--7对象的垃圾回收器
本文以
JDK8
为基础通过以下几点来探讨:1jvm中垃圾回收器及其特点;2怎么选择一款
拽着尾巴的鱼儿
·
2023-11-23 15:08
java基础篇
java
后端
开发语言
Java集合-HashMap源码实现深入解析
3.put和get方法实现
源码分析
。4.hash值有什么作用?如何进行hash?equals和hashCode方法有什么作用?5.何谓负载因子,有什么作用?6.何时会触发扩容,以及如何扩容?
心晴伴旅
·
2023-11-23 14:10
Java
java
hashmap
HashMap 底层实现原理,看完面试不再懵逼。
这是我们通常在面试中会说的,但是有时候问到底层的
源码分析
的时候,为什么允许为Null,为什么不安全,这些问题的时候,如果没有分析过源码的话,好像很难回答,这样的话我们来研究一下这个源码。看看原因吧。
Java大蜗牛
·
2023-11-23 14:02
后端
编程语言
JDK
红黑树
HashMap
后端
面试
解决 CAP_IMAGES: can‘t find starting number (in the name of file)
解决CAP_IMAGES:can'tfindstartingnumber(inthenameoffile)1.解决方法2.报错代码3.报错Log4.错误分析5.opencv
源码分析
1.解决方法1.确认输出文件类型与
泡视界
·
2023-11-23 14:16
opencv
c++
open3D
源码分析
第五篇
2021SC@SDUSC文章目录open3D点云应用计算点云的表面曲率算法原理代码实现体素随机下采样算法原理代码实现小结open3D点云应用本篇结合之前对源码的分析,外加与小组成员讨论open3D中python方面关于点云的源码,我们结合最近所学的算法和计算机图形学方面的知识,用python完成了对open3D的两个应用。计算点云的表面曲率算法原理若P点的特征值满足λ0≤λ1≤λ2\lambda_
purposewyt
·
2023-11-23 13:23
python
算法
c++
【ROS】RViz2
源码分析
(三):核心类VisualizerApp
【ROS】郭老二博文之:ROS目录1、简述VisualizerApp包含了三个主要的功能:QApplication:程序中主要调用app_->processEvents()来处理刷新界面,处理闪屏VisualizationFrame:窗口类都在此;RosClientAbstractionIface包含rclcpp::Node:代表ROS节点2、VisualizationFrame2.1布局Visu
郭老二
·
2023-11-23 13:22
ROS
RViz2
ROS
flask框架的使用
Flask0.Flask简介wsgiref1.安装2.werkzeug简介3.flask快速使用案例:登录,显示用户信息作业:登录认证装饰器4配置文件方式一方式二5路由系统典型写法默认转换器路由系统本质CBV(
源码分析
skyoceanchen
·
2023-11-23 13:17
flask
python
后端
【JavaSE】-4-单层循环结构
-"+i++)//13选择结构if(){}if(){}else{}if(){}elseif(){}elseif(){}else{}//支持byte、short、int//支持char//支持枚举//从
jdk8
柒月玖.
·
2023-11-23 13:29
JavaSE学习阶段
开发语言
java
log4net+elasticsearch日志使用部署说明
二、部署elasticsearch1、先安装JDK(
jdk8
u202x64),并且配置环境变量;如下图所示:
驾驭人生
·
2023-11-23 12:18
系统架构
elasticsearch
大数据
一份c/c++Linux后台服务器开发者的技术拓展书单
1.
源码分析
2.中间件开发3.集群4.Linux系统(进阶)5.性能与测试6.运维统计7.分布式架构学习详情路线书籍分享:Linux:KaliLinux渗透测试的艺术linux+c++编程LinuxC编程一站式学习
面试题小能手
·
2023-11-23 10:58
上一页
40
41
42
43
44
45
46
47
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他