spark源码解析

Spark常用Transformations算子(二)

joincogroupcartesianpiperepartitionAndSortWithinPartitionsglomrandomSplitzipzipWithIndexzipWithUniqueId(2)joinobjectJoinTest{defmain(args:Array[String]):Unit={valconf=newSparkCon
数据萌新·2024-02-03 20:03

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习·2024-02-03 20:42

【Spark】Spark作业执行原理--提交任务

本篇结构：创建Task创建TaskSetManager并向DriverEndpoint发送消息分配资源发送消息告诉Executor去执行Task一、创建Task当调度阶段运行后，在DAGScheduler的submitMissingTasks方法中会根据调度阶段Partition数量拆分对应个数任务。对于ResultStage，生成ResultTask，对于ShuffleMapStage生成Shu
w1992wishes·2024-02-03 19:17

spark WordCount

SparkWC.scalapackageday06importorg.apache.spark.rdd.RDDimportorg.apache.spark.
lehuai·2024-02-03 16:27

volatile源码解析【解决可见性（依据happened-befor）有序性（依据内存屏障）】

volatile源码解析解决内存可见性问题volatile实现原理-源码分析转自极客时间解决内存可见性问题volatile实现原理-源码分析
_蓝天IT_·2024-02-03 16:43

EventBus源码解读文档

顺序前后有些乱，请见谅：###EventBus源码解析先看一个使用的例子：publicclassMainActivityextendsAppCompatActivity{privateTextViewtvShow
Davisxy·2024-02-03 15:57

阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格

2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择，
阿里云最新优惠和活动汇总·2024-02-03 15:07

大数据组件笔记 -- Spark 入门

文章目录一、简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用
L小Ray想有腮·2024-02-03 15:53

Spark大数据分与实践笔记（Scala语言基础-1）

目录1.1Scala概述1.1.1Scala的下载安装1.1.2在IDEA开发工具中下载安装Scala插件1.1.3开发第一个Scala程序Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由
妉妉师姐·2024-02-03 15:49

(Note) Android-SparseArray

ThanksEmptyArray.javaArrayUtils.java面试必备：SparseArray源码解析SparseArray.javaGrowingArrayUtils.javaAndroid
CokeNello·2024-02-03 15:40

SpringBoot或Jeecg 配置SSL实现https，http和https端口都要，http转发到https

如果没有阿里云腾讯云只是本地测试，可以参考https://www.cnblogs.com/SparkMore/p/14067340.html有阿里云购买域名域名备案购买服务器宽带收费和流量收费都可以域名绑定服务器
天海华兮·2024-02-03 12:05

初识Apache Paimon

第0章前言0.1主流数据湖工具Delta：由Spark背后商业公司Databricks出品，因此很多功能强兼容Spark，对其他计算引擎不是很友好。
Racin_01·2024-02-03 12:30

最新AI系统ChatGPT网站H5系统源码，支持Midjourney绘画局部编辑重绘，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-02-03 12:28

数据结构+算法（第13篇）：精通二叉树的“独门忍术”——线索二叉树（上）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:13

数据结构+算法（第14篇）：精通二叉树的“独门忍术”——线索二叉树（中）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:13

数据结构+算法（第12篇）：玩平衡二叉树就像跷跷板一样简单！

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:12

数据解构+算法（第07篇）：动态编程！黄袍加身！

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:10

Docker容器中的Docker-compose的学习安装

本来今天想写下实战的教程的，但是下载spark的内容太慢了。
胖琪的升级之路·2024-02-03 10:42

PySpark笔记(三)：DataFrame

DataFrame是在Spark1.3中正式引入的一种以RDD为基础的不可变的分布式数据集，类似于传统数据库的二维表格，数据在其中以列的形式被组织存储。
Daisy丶·2024-02-03 10:31

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
kikiki2·2024-02-03 10:05

AI+数据库——梳理Snowflake 和 Databricks 在峰会上的重要发布，快来看市值数百亿美金的数据巨头的贴身肉搏！

他们原本定位略有不同，Databricks是一个用于数据工程、数据科学和分析的集成环境，它构建在ApacheSpark之上，提供实
小猿姐·2024-02-03 10:51

【机器学习】3万字长文，PySpark入门级学习教程，框架思维

为什么要学习Spark？
风度78·2024-02-03 08:00

【数据开发】pyspark入门与RDD编程

【数据开发】pyspark入门与RDD编程文章目录1、pyspark介绍2、RDD与基础概念3、RDD编程3.1Transformation/Action3.2数据开发流程与环节1、pyspark介绍pyspark
小哈里·2024-02-03 08:58

Spark如何用repartition来提升执行效率

Spark如何用repartition来提升执行效率repartition是Spark中的一个转换操作，它可以用来增加或减少分区的数量。
HanhahnaH·2024-02-03 08:28

【Redis】--RedissonClient的Lock锁详解

目录一、前言二、Lock源码解析2.1、lock()源码2.2、lock(longleaseTime,TimeUnitunit)源码2.3、trylock()源码2.4、trylock(longwaitTime
DreamBoy_W.W.Y·2024-02-03 07:21

Queue集合之PriorityBlockingQueue详解

2、查看类图接口3.源码解析3.1构造器3.2offer操作3.2.1扩容3.2.2建堆算法3.2.3图文解释3.3poll操作3.3.1dequeue出队源码3.3.2siftDownComparable
乐乐Java路漫漫·2024-02-03 03:32

2019-03-16 Spark基本架构及运行原理

SparkCore:包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。
做一只乐观的小猴子·2024-02-03 02:04

RocketMQ源码解析(五)-Broker架构及服务启动

之前几篇文章讲了Producer如何发送消息，Consumer如何收消息。后面会用更多的几篇来讲Broker，其实也就是消息队列的核心-分布式Queue的实现。Broker的功能主要包含如下几点：接收Producer发送的消息存储消息回复consumer的消息拉取请求master-slave之间的数据同步提供查询消息的接口首先看下Broker主要的类的关系Broker核心类Broker核心类数据管
空挡·2024-02-03 01:01

数据结构+算法（第05篇）：数组和链表

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 01:33

.NET Core实战项目之CMS 第七章 设计篇-用户权限极简设计全过程

首先很感谢大家的阅读，前面六章我带着大家快速入门了ASP.NETCore、ASP.NETCore的启动过程源码解析及配置文件的加载过程源码解析并引入依赖注入的概念、Git的快速入门、Dapper的快速入门
依乐祝·2024-02-02 21:48

深度学习的开源分布式框架Deeplearning4j

该框架基本上是由Hadoop和Spark集成的分布式深度学习库组成的。在Hadoop和Spark的帮助下，我们可以轻松地分发模型和大数据集，并运行
weixin_43106248·2024-02-02 19:13

golang实现简单的流式处理

实现一个最简单的类似spark的流式处理流程包含map和filter数据typeStreamstruct{data[]int}map函数func(sStream)Map(ffunc(int)int)Stream
nil_ddea·2024-02-02 18:24

数据结构+算法（第02篇）：玩扫雷就是优化算法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 18:25

从源码角度透视QTcpServer：解构QTcpServer的底层原理与技术细节

深入了解QTcpServer的底层原理和技术细节一、背景二、QTcpServer的基本原理2.1、TCP协议简介2.2、QTcpServer的概念三、QTcpServer源码解析3.1、QTcpServer
Lion Long·2024-02-02 18:16

数据结构+算法（第11篇) ：无死角“盘”它！二分查找树

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 15:20

数据结构+算法（第08篇）：史上最猛之递归屠龙奥义

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 15:19

数据结构+算法（第10篇）：叉堆“功夫熊猫”的速成之路

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 15:19

vue3.0源码解析，patch&diff过程

什么是patch在浏览器中，每次操作dom，都会引起一次重绘重排过程，如果短时间进行多次操作，对性能损耗很大，容易引起卡顿。在vue中，使用虚拟dom(Virtualdom)，来对真实dom的一种抽象化处理的树结构，模拟真实dom，提升性能。而在更新dom节点时，通过对虚拟dom的对比diff（如果是更新操作）来进行对虚拟dom结构的增删改的一系列操作流程，就是patch过程。前置了解在解读源码之
柯闪电·2024-02-02 15:47

vue3 源码解析（6）— lifecycle 生命周期的实现

前言对于vue3的生命周期，我们经常性会去疑问，生命周期有哪些呢，它是怎么去实现的，又是什么时候调用的。vue3生命周期有哪些下面这个表格列出了所有选项式api生命周期钩子和组合式api生命周期钩子，以及他们的对应关系和执行的时机。compositionapioptionsapi执行时机—beforeCreate初始化组件内的属性（如：data，props，watch，computed等）之前—c
Avicli·2024-02-02 15:46

数据结构+算法（第09篇）：菜鸟也能“种”好二叉树！

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-02 15:43

vue3 源码解析（5）— patch 函数源码的实现

什么是patch在vue中patch函数的作用是在渲染的过程中，比较新旧节点的变化，通过打补丁的形式，进行新增、删除、移动或替换操作，此过程避免了大量的dom操作，提升了运行的性能。patch执行流程patch函数整体流程比较长，函数内部包含很多分支用于处理不同的节点（Text、ELEMENT、COMPONENT）。为了便于理解，文章中的代码皆为简化之后的代码：/****@paramn1上一次渲染
Avicli·2024-02-02 15:43

不学无数——Gson源码解析

Gson在用Gson解析时传过来的Json串时，如果将其解析为对象A，而这个对象A继承了对象B。这两个对象都有属性名为name的值，那么在进行解析的时候就会报如下错误。Exceptioninthread"main"java.lang.IllegalArgumentException:classPractice.Day12.Student2declaresmultipleJSONfieldsname
不学无数的程序员·2024-02-02 15:26

史上最全的spark面试题

1.spark中的RDD是什么，有哪些特性？
@毛毛·2024-02-02 13:12

livy使用样例_livy提交spark应用

spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClientclient
阿里聚安全·2024-02-02 13:11

PySpark（一）Spark原理介绍、PySpark初体验及原理

Spark简介ApacheSpark是用于大规模数据（large-scaladata）处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。
独憩·2024-02-02 13:11

生产环境_Spark找出两DataFrame之间的差集（技巧）

在生产作业中，经常在工作流中遇到前后两DataFrame的数据缺失，比如df1为410条，下一个节点的df2就变成409条了，用眼睛看很费劲，因此不得不做一个差集。代码：/假设df1和df2是你的两个DataFramevaldf1=xxxvaldf2=ccc//使用except操作找出df1中存在但df2中不存在的数据valonlyInDf1=df1.except(df2)//使用except操作
Matrix70·2024-02-02 13:10

浅谈Spark Livy

SparkLivy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1.什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案
浅汐yt·2024-02-02 13:40

【Spark实践6】特征转换FeatureTransformers实践Scala版--补充算子

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。FeatureTransformersIndexToStri
周润发的弟弟·2024-02-02 13:39

spark相关面试题总结

1.spark中的RDD是什么，有哪些特性？
专注于大数据技术栈·2024-02-02 13:39

[Scala学习笔记] Spark开发小笔记

Spark开发小笔记：从0开始的Spark建图生活持续更新中……0.开发平台Zeppelin支持多种语言，默认是scala(背后是sparkshell)，SparkSQL,Markdown和Shell。
Rinnki·2024-02-02 13:39
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他