E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark源码解析
retrofit
源码解析
一、简介retrofit是square开发的一个网络加载库,主要用于Android和Java。Retrofit对OKHttp进行了封装,加入了各种设计模式,注解,反射,使用起来更加方便。二、使用方法retrofit的使用大致分为三个部分:定义网络接口、创建retrofit对象、创建网络接口的动态代理、调用网络接口2.1定义网络接口publicinterfaceGitHubService{@GET(
小怪兽大作战
·
2024-02-12 15:10
Spark
MLlib
目录一、
Spark
MLlib简介(一)什么是机器学习(二)基于大数据的机器学习(三)
Spark
机器学习库MLlib二、机器学习流水线(一)机器学习流水线概念(二)流水线工作过程(三)构建一个机器学习流水线三
Francek Chen
·
2024-02-12 11:15
Spark编程基础
spark-ml
spark
mllib
机器学习
Structured Streaming
目录一、概述(一)基本概念(二)两种处理模型(三)StructuredStreaming和
Spark
SQL、
Spark
Streaming关系二、编写StructuredStreaming程序的基本步骤(
Francek Chen
·
2024-02-12 11:44
Spark编程基础
spark
zookeeper
kafka
Structured
Streaming
浅谈Java集合丨底层
源码解析
在Java中,我们经常会使用到一些处理缓存数据的集合类,这些集合类都有自己的特点,今天主要分享下Java集合中几种经常用的Map、List、Set。1、Map一、背景二、Map家族三、HashMap、Hashtable等四、HashMap底层数据结构2、List一、List包括的子类二、ArrayList三、ArrayList源码分析四、LinkedList五、LinkedList源码分析3、Se
Java__JJ
·
2024-02-12 10:08
入门篇 -
Spark
简介
Spark
核心模块image.png
Spark
Core:提供了
Spark
最基础与最核心的功能,
Spark
其他的功能如:
Spark
SQL,
Spark
Streaming,GraphX,MLlib都是在
Spark
Core
君子何为
·
2024-02-12 10:22
Java1.8-LinkedList
源码解析
概述 LinkedList底层采用的是双向链表结构,有一个头节点first,一个尾节点last,双向链表意味着我们可以从头开始正向遍历,或者是从尾开始逆向遍历,并且可以针对头部和尾部进行相应的操作。双向链表结构.png继承关系publicclassLinkedListextendsAbstractSequentialListimplementsList,Deque,Cloneable,java.
骑着乌龟去看海
·
2024-02-12 10:44
Spark
作业执行
Spark
基本组件,Master和Worker,负责运行Client和Driver作业执行框架每个
Spark
Application由主控节点Master、集群资源管理节点ClusterManager、执行任务节点
Alex90
·
2024-02-12 05:04
读书笔记之《运动改造大脑》:运动是最佳的健脑丸
《运动改造大脑》的作者是约翰•瑞迪(JohnRatey)/埃里克•哈格曼(EricHagerman),原著名称为:
Spark
:therevolutionarynewscienceofexerciseandthebrain
AIGCTribe
·
2024-02-12 04:15
人工智能
Spring是怎样处理循环依赖的?
前置说明
源码解析
addSingletonFactorygetSingletongetEarlyBeanReference总结环境SpringFrameworkVersion:5.3.
后端开发萌新
·
2024-02-12 04:39
死磕Spring源码系列
spring
java
SpringBean生命周期之初始化篇
文章目录注意事项环境
源码解析
AbstractAutowireCapableBeanFactoryinitializeBeaninvokeAwareMethodsinvokeInitMethodsinvokeCustomInitMethodapplyBeanPostProcessorsAfterInitialization
后端开发萌新
·
2024-02-12 04:09
死磕Spring源码系列
spring
java
SpringBean生命周期之实例化篇
文章目录注意事项环境
源码解析
AbstractAutowireCapableBeanFactorycreateBeanInstance假如我们使用的是构造器注入AbstractBeanFactorydetermineConstructorsFromBeanPostProcessorsAutowiredAnnotationBeanPostProcessordetermineCandidateConst
后端开发萌新
·
2024-02-12 04:08
死磕Spring源码系列
spring
java
SpringBean生命周期之属性注入篇
文章目录注意事项环境前言
源码解析
AbstractAutowireCapableBeanFactorypopulateBean@Resource注入CommonAnnotationBeanPostProcessorpostProcessPropertiesfindResourceMetadatabuildResourceMetadatainjectinject
后端开发萌新
·
2024-02-12 04:08
死磕Spring源码系列
spring
java
Spark
共享变量
翻译
Spark
共享变量部分的官方文档(
Spark
2.4.3)。通常,当传递给
Spark
操作(如map或reduce)的函数在远程集群节点上执行时,在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu
·
2024-02-12 03:02
STM32F1 -
源码解析
SystemInit()
SystemInit1>SystemInit()调用位置2>SystemInit()函数3>SetSysClock()函数4>SetSysClockTo72()函数1>SystemInit()调用位置startup_stm32f10x_hd.s文件中:;ResethandlerReset_HandlerPROCEXPORTReset_Handler[WEAK]IMPORT__mainIMPORTS
零号-轩工
·
2024-02-12 02:37
STM32F1-外设驱动
stm32
单片机
嵌入式硬件
领导:谁再用 Redis 实现过期订单关闭,立马滚蛋!
每天10:33更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo
源码解析
网络应用框架Netty
源码解析
消息中间件RocketMQ
公众号-芋道源码
·
2024-02-11 22:24
redis
java
数据库
缓存
开发语言
hive 和
spark
环境同时部署linux环境变量后beeline命令冲突
由于两个应用都有相同的beelineshell文件所以在同时配置/etc/profile文件中环境变量时会导致先执行前面的环境变量指向的beeline,导致beeline命令报版本不一致错误。hivebeeline客户端报错,hive-jdbc版本不一致。
朱晔_74d3
·
2024-02-11 21:21
AbstractApplicationContext
源码解析
(2)
prepareBeanFactory方法大概理解一下prepareBeanFactory方法的作用,源码如下:/***配置工厂的标准上下文特征,例如上下文的ClassLoader和后处理器。*@parambeanFactory要配置的BeanFactory*Configurethefactory'sstandardcontextcharacteristics,*suchasthecontext's
嘘寒问暖
·
2024-02-11 20:44
SpringBoot 接入讯飞星火大模型实现对话
申请地址https://xinghuo.xfyun.cn/
spark
api?
生产队的驴.
·
2024-02-11 20:17
Spring
Boot
spring
boot
后端
java
spring
maven
servlet
tomcat
【Spring源码分析】推断构造方法
推断构造方法
源码解析
一、确认候选构造——AutowireAnnotationBeanPostProcessor#determineCandidateConstructors二、autowireConstructor
假正经的小柴
·
2024-02-11 20:38
Java源码分析
spring
java
数据库
【Spring源码分析】@Resource注入的
源码解析
@Resource注入的
源码解析
一、绪论二、CommonAnnotationBeanPostProcessor源码分析postProcessMergedBeanDefinition
源码解析
postProcessProperties
假正经的小柴
·
2024-02-11 20:37
Java源码分析
spring
java
数据库
【Spring源码分析】Spring的启动流程
源码解析
】执行流程之非懒加载单例Bean的实例化逻辑【Spring源码分析】从源码角度去熟悉依赖注入(一)【Spring源码分析】从源码角度去熟悉依赖注入(二)【Spring源码分析】@Resource注入的
源码解析
假正经的小柴
·
2024-02-11 20:07
Java源码分析
spring
数据库
java
学成网html+css案例
商业预测>云计算&大数据>运维&测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuery
Spark
MySQLJavaWebMyS
倒霉娃不要倒霉
·
2024-02-11 15:33
案例
html
css
Spark
使用之操作Hudi表
Hudi
Spark
使用本篇为大家带来通过
Spark
shell和
Spark
SQL操作Hudi表的方式。
AlienPaul
·
2024-02-11 14:52
Java并发集合之LinkedBlockingDeque使用与原理,附
源码解析
LinkedBlockingDeque简介LinkedBlockingDeque是一个线程安全的双向并发阻塞队列,同时支持FIFO(先进先出)和FILO(先进后出)两种模式,并且为防止数据无限膨胀,可以设置阻塞队列的容量,默认不设置的话容量大小为Integer.MAX_VALUELinkedBlockingDeque特性继承AbstractQueue,是一个同时支持FIFO和FILO的双向队列线程
不烦来了
·
2024-02-11 14:08
Java并发集合JUC
java
数据结构
链表
Java线程池队列LinkedBlockingDeque的详细原理分析-刘宇
二、LinkedBlockingDeque类的关系图三、BlockingDeque介绍四、LinkedBlockingDeque
源码解析
1、字段解析2、入队操作2.1、putFirst方法2.2、offerFirst
Brycen Liu
·
2024-02-11 14:07
Java
java
Deque
LinkedBlocking
并发编程
ThreadPool
Java并发包源码学习系列:阻塞队列实现之LinkedBlockingDeque
源码解析
文章目录LinkedBlockingDeque概述类图结构及重要字段linkFirstlinkLastunlinkFirstunlinkLastunlink总结参考阅读系列传送门:Java并发包源码学习系列:AbstractQueuedSynchronizerJava并发包源码学习系列:CLH同步队列及同步资源获取与释放Java并发包源码学习系列:AQS共享式与独占式获取与释放资源的区别Java并
天乔巴夏丶
·
2024-02-11 14:37
Java并发编程
离线数仓(一)【数仓概念、需求架构】
前言今天开始学习数仓的内容,之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、
Spark
、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
Hive与ClickHouse的区别
Hive的存储引擎使用HDFS,计算引擎使用MapReduce或
Spark
。Hive本质上是一个元数据管理平台,通过对存储于HDFS上的数据文件附加元数据,赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
【flink脚本系列】pyflink-shell.sh 功能用法示例
源码解析
pyflink-shell.sh文章目录pyflink-shell.sh脚本主要功能脚本加上中文注释该脚本多种用法及其代码示例flink中其他类似脚本脚本主要功能该脚本用于启动PyFlink的交互式Shell。它设置必要的环境变量,并调用pyflink.shell模块来执行PyFlinkShell。脚本加上中文注释bin=`dirname"$0"`bin=`cd"$bin";pwd`."$bin"
BigDataMLApplication
·
2024-02-11 07:25
flink
flink
python
大数据
Spark
编程题
数据格式如下:张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求:1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案:package
spark
08importorg.apache.
spark
.rdd.RDDimportorg.apache.spa
不愿透露姓名的李某某
·
2024-02-11 07:09
RocketMQ 源码分析 —— 集成 Spring Boot
源码精品专栏原创|Java2020超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo
源码解析
网络应用框架Netty
源码解析
消息中间件RocketMQ
源码解析
数据库中间件Sharding-JDBC
公众号-芋道源码
·
2024-02-11 06:33
Tiny Http
源码解析
相关概念源码HTTPCGIgetsockname()函数说明accept_request:处理从套接字上监听到的一个HTTP请求,在这里可以很大一部分地体现服务器处理请求流程。bad_request:返回给客户端这是个错误请求,HTTP状态吗400BADREQUEST.cat:读取服务器上某个文件写到socket套接字。cannot_execute:主要处理发生在执行cgi程序时出现的错误。err
一天开始了
·
2024-02-11 06:26
http
网络协议
网络
c语言
死磕
spark
中的job、stage、task
写在前面台风夜的电话面试里被问到了
spark
运行任务的过程中stage的划分依据。一下子就给整懵了,支支吾吾答非所问。从事大数据的开发也有一年半光景,
spark
任务的运行原理依旧知之甚少。
NikolasNull
·
2024-02-11 06:11
国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming
这是与计算物理最相关的CS课程,计算物理方向很容易吃透作为项目写到简历上这部分主要包括多核计算OpenMPSIMD集群计算MPIGPU计算CUDA分布式计算MapReduce
Spark
互联网主要重视分布式计算
wwxy261
·
2024-02-11 05:03
算法
并发编程--线程池
源码解析
文章目录一、背景与介绍1)何为线程池?2)什么时候使用?3)优点二、executor1)继承与实现UML图2)源码三、ExecutorService1)execute:履行Ruannable类型的任务2)submit:可用来提交Callable或Runnable任务,并返回代表此任务的Future对象3)shutdown:在完成已提交的任务后封闭办事,不再接管新任务4)shutdownNow:停止
心心念念的小鼠标
·
2024-02-11 01:01
并发编程
JAVA进阶
java
线程池源码解析
使用docker搭建
spark
(2.3.1)集群
使用Docker快速搭建
Spark
集群。
zealscott
·
2024-02-11 01:12
大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop
spark
58同城租房爬虫 房源推荐系统 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。文章包含:项目选题+项目展示图片(必看)计算机毕业设计吊
B站计算机毕业设计超人
·
2024-02-10 20:52
大数据毕业设计
大数据
课程设计
scrapy
hadoop
大数据毕业设计
计算机毕业设计
爬虫
报表任务治理计划
先给大家介绍我们我们公司的报表产出组件图:报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、
Spark
任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc
·
2024-02-10 12:46
vue3
源码解析
之Reactive实现的原理
第一节:vue3响应式的API;reactive(响应):shallowReactive(浅响应):readonly(只读):shallowReadonly(浅的只读),浅相当于第一层。import{reactive,readonly,shallowReactive,shallowReadonly}from'vue'constobj=reactive({name:'张三',list:;[{like
h960822
·
2024-02-10 12:49
vue.js
javascript
前端
计算机毕业设计Python+
Spark
+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台
开发技术前端:vue.jsechartswebsocket后端API:springboot+
spark
+mybatis爬虫/算法:python、lstm情感分析(python实现)数据库:mysql创新点
计算机毕业设计大神
·
2024-02-10 12:42
spark
键值对的链接
join连接frompy
spark
import
Spark
Contextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada
·
2024-02-10 09:27
横扫
Spark
之 - 9个常见的行动算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect() 收集RDD每个分区的数据以数组封装之后发给Driver 如果RDD数据量比较大,Driver内存默
阿年、嗯啊
·
2024-02-10 06:04
Spark
spark
大数据
分布式
行动算子
横扫
Spark
之 - 22个常见的转换算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z
阿年、嗯啊
·
2024-02-10 06:01
Spark
spark
大数据
转换算子
NSGA-II
源码解析
ifyouwanttounderstandthesourcecode,youcouldreferto多目标遗传算法——NSGA-II(部分
源码解析
)介绍thecorecodeofnsga2isfor(i
谭树杰的博客
·
2024-02-10 05:09
多目标优化
NSGA-II
(十八)springboot实战——spring securtity注解方式的授权流程
源码解析
前言在上一节内容中,我们介绍了如何在FilterSecurityInterceptor过滤器中处理用户的授权流程,并分析了其源码,springsecurity还提供了方法级别的授权方式,通过@EnableMethodSecurity注解启用权限认证流程,只需要在方法名上使用@PreAuthorize、@PostAuthorize、@Secured等注解就可以实现具体方法请求的权限配置,是一种更加灵
厉害哥哥吖
·
2024-02-10 02:43
#
springboot
spring
boot
spring
java
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在Hadoop生态下做开发,但对于一些有特殊要求的团队,
Spark
和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
毕业设计:基于python的反爬虫系统
目录前言设计思路一、课题背景与意义二、算法理论技术2.1
spark
技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT
·
2024-02-09 22:54
毕业设计
毕设
python
网络爬虫
ClickHouse-简谈OLAP与ClickHouse
在第一届易观OLAP大赛中,在用户行为分析转化漏斗场景里,ClickHouse比
Spark
快了近10倍。在随后几年的
adson1987
·
2024-02-09 18:00
Database
ClickHouse
OLAP
海量数据分析
Excel百万级数据导入导出,EasyExcel 才是 yyds
每天14:00更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo
源码解析
网络应用框架Netty
源码解析
消息中间件RocketMQ
Java基基
·
2024-02-09 16:28
excel
初识kafka
目前越来越多的开源分布式处理系统如Cloudera、Storm、
Spark
、Flink等都支持与Kafka集成。
tracy_668
·
2024-02-09 14:07
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他