spark源码解析

用docker 配置scala spark环境

要使用Docker配置Scala和Spark环境，您可以按照以下步骤进行操作。以下是一个基本的示例，您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver·2024-02-08 01:14

cesium系列篇:Entity vs Primitive 源码解析（从Entity到Primitive）01

Entity和Primitive的关系官方教材中提到，PrimitiveAPI主要适用于图形渲染开发者，EntityAPI则适用于数据驱动的可视化，而EntityAPI的底层则使用了PrimitiveAPI。下面我们将通过cesium的源码探究当添加entity对象时，是如何在底层调用对应的PrimitiveAPI，创建相应的primitive对象。这篇文章中，我们将先从viewer初始化开始，探
游无穷·2024-02-08 00:35

cesium系列篇:Entity vs Primitive 源码解析（从Entity到Primitive）02

上篇文章中，我们介绍了使用viewer.entities.add添加entity之后的信号传递以及最后entity对象被传递到GeometryVisualizer；这篇文章，我们则介绍如何在逐帧渲染的过程中根据GeometryVisualizer中的entity对象创建相应的primitive这是下文中涉及到的类的类图，从中可以清晰的了解各个对象之间的关系，下面我们结合代码来仔细讲解。循环的一帧我
游无穷·2024-02-08 00:03

Spark Standalone 集群配置

集群管理类型Spark支持三种集群管理类型：Standalone-Spark附带的一个简单的集群管理器，可以轻松地设置集群。
董可伦·2024-02-07 23:01

RDD vs DataFrame vs Dataset

RDD是Spark最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算，这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生·2024-02-07 22:20

vue源码浅解析（一）

提供一份详细的Vue源码解析在这种格式下是挑战性的，因为Vue的源码非常庞大和复杂，涉及到众多的细节和高级JavaScript特性。
编代码的小王·2024-02-07 22:27

Three.js蒙皮骨骼变化原理 | 逆推蒙皮网格的世界位置

文章目录关于蒙皮的GPU计算：源码解析转换成CPU可执行的代码:法线部分蒙皮骨骼的变化是在GPU中进行的，所以像获取静态物体一样获取geometry.position是不行的查看当前版本（r160）的shader
Jedi Hongbin·2024-02-07 21:48

黑猴子的家：Spark SQL 的性能

1、内存列存储（In-MemoryColumnarStorage）内存列存储来说，将所有原生数据类型的列采用原生数组来存储，将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储。额外的，还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会
黑猴子的家·2024-02-07 18:48

简单使用Spark、Scala完成对天气数据的指标统计

目录一、前言&什么是Spark？
db_lcz_2014·2024-02-07 18:33

OkHttp源码解析

应用拦截器和网络拦截器以前其实就有一直在使用okhttp,也有听说过拦截器这东西,但是一直没有去深入了解。最近看《安卓进阶之光》刚好看到okhttp拦截器的内容,然后自己也去挖了下源码,才发现其巧妙之处。拦截器有两种,应用拦截器和网络拦截器。用法可以看下面的代码:classLogInterceptorimplementsInterceptor{privateStringmName;LogInter
嘉伟咯·2024-02-07 14:57

MxNet源码解析(1) KVStore，pslite源码解析

1.前言从毕业开始工作已经两个多月，这期间相当一部分的时间都用在了对MxNet的学习上，而在MxNet的众多部分中，又是pslite这一部分接触最多。因此，今天将我一直以来的学习过程中的心得和收获总结在这里，也为以后对MxNet的继续学习做一个铺垫2.MxNet构成MxNet作为一个深度学习框架，它最大的特点应该是分布式训练的支持了。从初次接触MxNet到现在的两个多月里，我认为MxNet主要有以
Junr_0926·2024-02-07 11:37

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。
周润发的弟弟·2024-02-07 10:56

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action
大数据左右手·2024-02-07 09:34

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

NCCL源码解析: 共享内存连接的建立

文章目录前言概括详解1.shmCanConnect()2.shmSendSetup3.shmRecvSetup前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用，建议先不要投入到函数内部实现
Happy_Enger·2024-02-07 08:25

NCCL源码解析: proxy 线程

2.2proxyProgressAsync()4.ncclProxyConnect()4.1ncclProxyCallBlocking()4.2ncclPollProxyResponse()前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用
Happy_Enger·2024-02-07 08:24

NCCL源码解析: P2P 连接的建立

文章目录前言概括详解ncclTransportP2pSetup()前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用，建议先不要投入到函数内部实现，先把函数作用搞清楚，有了整体框架，再回归到细节
Happy_Enger·2024-02-07 08:18

android下自定义相机com.otaliastudios.cameraview源码解析(二)

目录android下自定义相机com.otaliastudios.cameraview源码解析(一)android下自定义相机com.otaliastudios.cameraview源码解析(二)这里要分析是
快乐前进·2024-02-07 07:50

android下自定义相机com.otaliastudios.cameraview源码解析(一)

目录android下自定义相机com.otaliastudios.cameraview源码解析(一)android下自定义相机com.otaliastudios.cameraview源码解析(二)前言最近在
快乐前进·2024-02-07 07:20

Hive Sql优化记录

日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveonspark要快70%，与正常的认知正好相反，所以对该sql进行了详细分析。
风筝flying·2024-02-07 07:40

SparkJDBC读写数据库实战

默认的操作代码valdf=spark.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers·2024-02-07 07:41

IDEA 本地运行Spark

IDEA本地运行Spark1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读Spark源码，
fir_dameng·2024-02-07 06:41

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有
一直de不完的bug·2024-02-07 06:38

win10 spark scala 本地运行wordcount

hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin，特别注意，hadoopcommon的版本要和spark
疯琴·2024-02-07 06:06

Flink cdc debug调试动态变更表结构

Cannotfindfactorywithidentifier"mysql"intheclasspath.2.JsonFactory异常3.NoSuchMethodError异常其他结尾前言接着上一篇Flinkcdc3.0动态变更表结构——源码解析
yyoc97·2024-02-07 06:05

Scala与java

目录Scala简介Scala和java的区别Spark选择Scala的原因Scala：Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob·2024-02-07 06:05

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算
HanhahnaH·2024-02-07 06:03

架构学习(五)：scrapy实现自定义代理中间件

scrapy实现自定义代理中间件前言关卡：实现自定义代理中间件代理中间件源码解析代理池自定义代理中间件结束前言ip检测是比较常规的反爬手段，一般站点会限制ip的访问频率，或者根据ip的访问规律和频率来识别异常访问
九月镇灵将·2024-02-07 06:46

Zeppelin结合Flink查询hudi数据

目前ApacheZeppelin支持ApacheSpark、ApacheFlink、Python、R、JDBC、
BigDataToAI·2024-02-07 05:38

Apache Zeppelin 整合 Spark 和 Hudi

一环境信息1.1组件版本组件版本Spark3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合Spark参考：ApacheZeppelin一文打尽
大数据AI·2024-02-07 05:03

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12
zhixingheyi_tian·2024-02-07 03:02

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

libevent源码解析--evconnlistener, evconnlistener_event

1.概述前面我们分析了libevent中event，event_callback及event_base，有了这些设施，我们便可利用event_base的实现事件循环。基于实现循环实现事件监听，自动分发，手动分发处理。最基础的网络库由服务端，客户端组成。服务端需要通过监听套接字监听，并通过监听套接字的可读事件，取出新的被动连接，用于和客户端进行后续通信。这里，我们分析libevent中如何处理服务端
raindayinrain·2024-02-07 01:49

libevent源码解析--event，event_callback，event_base

1.概述实现一个基础tcp网络库，以基于tcp网络库构建服务端应用，客户端应用为起点，我们的核心诉求有：a.tcp网络库管理工作线程。b.tcp网络库产生服务端对象，通过启动接口，开启服务端监听。进一步，对于服务端对象我们希望：b.1.网络库内部帮助我们监控监听描述符可读事件，自动帮我们处理此事件，产生被动连接。b.2.可以在被动连接产生，被动连接关闭时触发我们提供得事件回调函数，通知应用层执行必
raindayinrain·2024-02-07 01:16

Redis实现分布式锁的原理：常见问题解析及解决方案、源码解析Redisson的使用

0、引言：分布式锁的引出锁常常用于多线程并发的场景下保证数据的一致性，例如防止超卖、一人一单等场景需求。通过加锁可以解决在单机情况下安全问题，但是在集群模式下就不行了。集群模式，即部署了多个服务器、并配置了负载均衡后，原来加的锁会失效，具体原因如下：由于现在我们部署了多个tomcat，每个tomcat都有一个属于自己的jvm，那么假设在服务器A的tomcat内部，有两个线程，这两个线程由于使用的是
好奇的7号·2024-02-06 22:43

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

spark的数据倾斜和解决方案

#数据倾斜##4.1.什么是数据倾斜，现象是什么？所谓数据倾斜(dataskew)，其实说白了，由于数据分布不均匀造成计算时间差异很大，产生了一些列异常现象。常见的现象有两种：1.个别task作业运行缓慢大多数的task运行都很快速，但是极个别的task运行非常缓慢，甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象，正常运行的task作业，突发发生了一个OOM异常。
XLMN·2024-02-06 18:32

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

Spark编程实现简例

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
哲子带你学编程·2024-02-06 16:34

OkHttp3.6.0源码解析

前言OkHttp是一个非常流行的框架，已经被谷歌加入开源库中，Retrofit目前也是采用OkHttp实现的，此文章纯属个人笔记。github地址https://github.com/square/okhttp基本使用valhttpClient=OkHttpClient()valrequest=Request.Builder().url("www.baidu.com").build()//同步请求
Wocus·2024-02-06 14:54

Spring事务源码解析

Spring的事务属于逻辑事务。不是物理事务。Spring并不直接管理事务，而是提供了多种事务管理器，它们将事务管理的职责委托给JDBC或者JTA等持久化机制所提供的相关平台框架的事务来实现。例如JDBC的事物管理器就是DataSourceTransactionManager。Spring事务管理器的接口是org.springframework.transaction.PlatformTransa
zero__007·2024-02-06 14:05

React 错误边界组件 react-error-boundary 源码解析

文章目录捕获错误hook创建错误边界组件Provider定义错误边界组件定义边界组件状态捕捉错误渲染备份组件重置组件通过useHook控制边界组件捕获错误hookgetDerivedStateFromError返回值会作为组件的state用于展示错误时的内容componentDidCatch创建错误边界组件Provider错误边界组件其实是一个通过Context.Provider包裹的组件，这样使
神奇大叔·2024-02-06 13:20

大数据TensorFlow深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统(完整系统源码+PPT+详细开发文档+论文+源码解析)

文章目录大数据TensorFlow深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统(完整系统源码+PPT+详细开发文档+论文+源码解析)获取项目资料方式在文章末尾获取项目资料方式在文章末尾一
谁不学习揍谁！·2024-02-06 12:32

大话图解gin源码

前言最近在网上搜了一下，对于gin框架用的人还是比较多的，我自己之前也在使用，但是对于源码解析这块，我没有看到自己想看到的那种从框架入手的解析图，所以嘿嘿嘿，我的机会就来了，今天就带来最完整的gin源码图解
LinkinStar·2024-02-06 12:47

libevent源码解析--evbuffer_chain，evbuffer，bufferevent，bufferevent_private

1.概述前面我们已经分析了event，event_callback，event_base及监听套接字处理。有了event_base我们便可实现事件监控，事件分发处理。有了监听套接字处理，我们便可实现服务端监听，通过accept得到服务端通信套接字。一个网络库核心功能由客户端，服务端组成。我们要实现网络库，除了上述设施，还需通信对象，客户端。围绕通信对象主要有以下功能：(1).创建通信对象并对其初始
raindayinrain·2024-02-06 12:05

Java设计模式-责任链模式

责任链模式一、概述二、结构三、案例实现四、优缺点五、源码解析一、概述在现实生活中，常常会出现这样的事例：一个请求有多个对象可以处理，但每个对象的处理条件或权限不同。
zoeil·2024-02-06 11:06

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他