E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据处理Spark
Spark
作业执行流程
一、
Spark
组件
Spark
的基本组件,包括负责集群运行的Master和Worker,负责作业运行的Client和Driver,以及负责集群资源管理器(如YARN)和执行单元Executor等。
晓之以理的喵~~
·
2024-01-28 23:13
Hadoop
Spark
大数据
spark
大数据
分布式
【
Spark
】
Spark
作业执行原理--获取执行结果
一、执行结果并序列化任务执行完成后,是在TaskRunner的run方法的后半部分返回结果给Driver的:overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
勤言不勤语
·
2024-01-28 23:43
Spark
spark
Spark
作业基本运行原理
Spark
作业基本运行原理:我们使用
spark
-submit提交一个
spark
作业之后,这个作业就会启动一个对应的Driver进程。
wybdt
·
2024-01-28 23:42
Spark
spark
大数据
【
Spark
系列2】
Spark
编程模型RDD
RDD概述RDD最初的概述来源于一片论文-伯克利实验室的ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing。这篇论文奠定了RDD基本功能的思想RDD实际为ResilientDistributionDatasets的简称,意为弹性分布式数据集RDD的基本属性1、分区RDD的中文含义是弹
周润发的弟弟
·
2024-01-28 23:12
spark
大数据
分布式
【
Spark
系列3】RDD源码解析实战
本文主要讲1、什么是RDD2、RDD是如何从数据中构建一、什么是RDD?RDD:弹性分布式数据集,ResillientDistributedDataset的缩写。个人理解:RDD是一个容错的、并行的数据结构,可以让用户显式的将数据存储到磁盘和内存中,并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上,RDD是一个只读的分区集合,一个RDD可以包含多个分区,每个分区就是一个data
周润发的弟弟
·
2024-01-28 23:12
spark
大数据
分布式
Spark
作业执行原理
Spark
的作业和任务调度系统是
Spark
的核心,它能够有效地进行调度根本原因是对任务划分DAG和容错,使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头
·
2024-01-28 23:12
spark
Spark
工作原理
1)
Spark
工作原理:首先看中间是一个
Spark
集群,可以理解为是
Spark
的standalone集群,集群中有6个节点左边是
Spark
的客户端节点,这个节点主要负责向
Spark
集群提交任务,假设在这里我们向
小崔的技术博客
·
2024-01-28 23:12
大数据学习
spark
大数据
hadoop
Spark
详解(五):
Spark
作业执行原理
Spark
的作业和任务调度系统是其核心,它能够有效地进行调度的根本原因是对任务的划分DGG和容错。
MasterT-J
·
2024-01-28 23:42
Spark框架
Spark框架
Spark框架
Spark
运行原理
Spark
的这种学术基因,使得它从一开始就在大数据领域建立了一定优势。无论是性能,还是方案的统一性,对比传统的Hadoop,优势都非常明显。
hellozhxy
·
2024-01-28 23:41
spark
spark
Spark
| 记录下
Spark
作业执行时常见的参数属性配置
理解作业基本原理,是进行
Spark
作业资源参数调优的基本前提。
点滴笔记
·
2024-01-28 23:11
Spark
spark
【
Spark
系列1】
Spark
作业执行原理
本文字数在7800字左右,预计时间在15分钟一、整体流程每个Aciton操作会创建一个JOB,JOB会提交给DAGScheduler,DAGScheduler根据RDD依赖的关系划分为多个Stage,每个Stage又会创建多个TaskSet,每个TaskSet包含多个Task,这个Task就是每个分区的并行计算的任务。DAGScheduler将TaskSet按照顺序提交给TaskScheduler
周润发的弟弟
·
2024-01-28 23:40
从零开始搞大数据
servlet
人工智能对国内教育的影响
在过去,学子们还能通过寒窗苦读换来“金榜题名”,但是与人工智能相比,人工智能的学习方式本身就是“大数据训练”,在算力和
大数据处理
上,人工智能简直是“逆天”的存在,人类与之相比完全没有竞争
栖雲社区
·
2024-01-28 23:44
数仓治理-小文件治理
:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-
Spark
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
事件驱动架构的性能优化技巧:提高系统性能与响应速度
1.背景介绍事件驱动架构是一种异步、高度可扩展的架构模式,它在各种应用场景中得到了广泛应用,如微服务架构、
大数据处理
、实时数据流处理等。
OpenChat
·
2024-01-28 21:58
架构
性能优化
数据湖技术之发展现状篇
一.
大数据处理
架构:
大数据处理
架构的发展过程具体可以分为三个主要阶段:批处理架构、混合处理架构(Lambda、Kappa架构)、湖仓一体。
风筝Lee
·
2024-01-28 18:56
数据湖
hive
hadoop
spark
spark
内核源码剖析七:Work工作原理
driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")valdriver=newDriverRunner(conf,driverId,workDir,
spark
Home
雪飘千里
·
2024-01-28 18:08
极简py
spark
Py
Spark
简要介绍Py
Spark
是一个基于
Spark
的Python接口,它允许你在Python中使用
Spark
的强大功能,如
大数据处理
、实时数据处理等。
吉小雨
·
2024-01-28 18:13
python
事件驱动架构的实践:如何在现有系统中进行逐步转换
这种架构在许多现代软件系统中广泛应用,包括
大数据处理
、实时通信、金融交易等领域。在传统的命令式架构中,系统通过顺序执行一系列的命令来完成任务。而在事件驱动架构中,系统通过监听和响应事件来实现功能。
OpenChat
·
2024-01-28 15:30
架构
py
spark
在windows下java.net.SocketException: Connection reset by peer 错误
py
spark
在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk
·
2024-01-28 15:49
数据挖掘
python
spark
java
java
大数据
python
大数据处理
系统的架构
大数据处理
系统的架构介绍Lamdba架构Lambda架构是一种用于处理大规模数据的设计模式,旨在结合批处理和实时处理,以应对对大量数据进行高效处理的需求。
demo123567
·
2024-01-28 14:58
大数据
架构
spark
-streaming与kafka的整合
1.概述在2.x中,
spark
有两个用来与kafka整合的代码,版本代号为0.8和0.10,由于在0.8,kafka有两套消费者api,根据高级api得到了Receiver-basedApproach,
王大为学习笔记
·
2024-01-28 14:47
[
Spark
SQL] Rdd转化DataFrame 通过StructType为字段添加Schema
1、开发环境
spark
-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame,为字段添加列信息参数nullable说明:Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森
·
2024-01-28 13:51
[AIGC大数据基础]
Spark
入门
大数据处理
已成为当代数据领域的重要课题之一。为了高效地处理和分析大规模数据集,许多
大数据处理
引擎应运而生。其中,
Spark
作为一个快速、通用的
大数据处理
引擎备受关注。
程序员三木
·
2024-01-28 12:32
大后端
大数据
AIGC
spark
Impala-shell卡顿分析——记一次曲折的Debug经历
Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持,以修正跟Hive、
Spark
等基于Java的系统在UTF-8字符串上的不兼容表现(如
stiga-huang
·
2024-01-28 12:06
Impala
大数据
impala
debug
Impala元数据简介
Impala元数据简介背景Impala是一个高性能的OLAP查询引擎,与其它SQL-on-Hadoop的ROLAP解决方案如Presto、
Spark
SQL等不同的是,Impala对元数据(Metadata
stiga-huang
·
2024-01-28 12:05
Impala
Spark
:Task Locality参考
Datalocalitycanhaveamajorimpactontheperformanceof
Spark
jobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32
·
2024-01-28 12:38
Spark
的宽依赖和窄依赖
Apache
Spark
中的依赖关系指的是转换操作(transformations)之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西
·
2024-01-28 08:52
Spark
spark
大数据
分布式
Spark
——
Spark
SQL逻辑计划(Logical Plan)、物理计划(Physical Plan)和Catalyst优化器(Catalyst Optimizer)
文章目录TreesRules
Spark
SQL中使用CatalystAnalysis逻辑优化(LogicalOptimizations)物理计划(PhysicalPlanning)代码生成(CodeGeneration
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
覆盖分区表中指定的分区
问题描述
Spark
中向分区表写数据的时候,如果写入模式为“overwrite”,那会将整个表覆盖掉;如果写入模式为“ap
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
OOM Error问题汇总分析
.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考
Spark
Southwest-
·
2024-01-28 08:17
Spark
Spark
Spark
——
Spark
写MySQL太慢、很慢、非常慢的原因分析及优化方法
文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景:需要将通过
Spark
处理之后的数据写入MySQL,并在在网页端进行可视化输出。
Southwest-
·
2024-01-28 08:17
Spark
Spark
MySQL
Spark
——
Spark
/Hive向量化查询执行原理分析(Vectorization Query Execution)
文章目录什么是向量化查询执行列式存储
Spark
向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中,每次只处理一行数据,每次处理都要走过较长的代码路径和元数据解释,从而导致
Southwest-
·
2024-01-28 08:47
Spark
Spark
Hive
向量化
Spark
——
Spark
缓存临时视图(View)
文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发
Spark
应用程序的时候,如果要缓存某个RDD或Dataset来进行复用
Southwest-
·
2024-01-28 08:47
Spark
Spark
Spark
——
Spark
DataFrame导出为Excel文件
文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后,会生成一些指标,需要导出来给其它同事用,虽说可以将DataFrame直接写成表,然后通过工具(比如Hue)导出为Excel,但是步骤就多了,而且如果要导出的表比较多的话,就更浪费时间了,那么这时候调用第三方插件就
Southwest-
·
2024-01-28 08:17
Spark
spark
Spark
—— JSON对象/数组转成
Spark
Dataset/DataFrame
JSON转DataFrame在日常使用
Spark
处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构,那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-
·
2024-01-28 08:16
Spark
spark
json
Spark
——
Spark
读写MongoDB
文章目录
Spark
直连MongoDB1.通过
Spark
Conf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过
Spark
Southwest-
·
2024-01-28 08:46
Spark
Spark
MongoDB
超流与
大数据处理
:架构与实践
1.背景介绍
大数据处理
是现代计算机科学和信息技术的一个重要领域。
OpenChat
·
2024-01-28 08:43
架构
java
数据库
前端
mysql
Spark
——
Spark
读写Greenplum/Greenplum-
Spark
Connector高速写Greenplum
文章目录问题背景解决方式代码实现
Spark
写Greenplum
Spark
读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum(因为DataX原生不支持GreenplumWriter
Southwest-
·
2024-01-28 08:42
Spark
spark
大数据
分布式
Hive之set参数大全-18
指定在执行
Spark
上的动态分区裁剪时,用于评估分区数据大小的最大限制在Hive中,hive.
spark
.dynamic.partition.pruning.max.data.size是一个配置参数,用于指定在执行
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
hive面试题
本质上是将SQL转换为MapReduce或者
spark
来进行计算,数据是存储在hdfs上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
大数据——Flink 知识点整理
目录1.Flink的特点2.Flink和
Spark
Streaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang
·
2024-01-28 06:17
Flink
flink
面试
big
data
大数据
大数据处理
神器datatable库安装及使用(远超pandas效率)
#一、datatable安装pipinstalldatatable#二、datatable引入importdatatableasdt#三、读取文件#读取单个文件:fread#读取123.csv,各列以|分隔frame_a=dt.fread("123.csv",sep="|")#frame_a内容id|name|age1|a|112|b|123|c|13#读取文件列表并合并file_list=["1
lytcreatee
·
2024-01-28 03:41
Python
大数据
windows
python
java
大数据处理
需要用到的九种编程语言
R若要列出所有程序语言,你能忘记其他的没关系,但最不能忘的就是R。从1997年悄悄地出现,最大的优势就是它免费,为昂贵的统计软件像是Matlab或SAS的另一种选择。但是在过去几年来,它的身价大翻转,变成了资料科学界眼中的宝。不只是木讷的统计学家熟知它,包括WallStreet交易员、生物学家,以及硅谷开发者,他们都相当熟悉R。多元化的公司像是Google、Facebook、美国银行以及NewYo
kuntoria
·
2024-01-28 01:08
Apache
Spark
架构与特点
1.背景介绍Apache
Spark
是一个开源的
大数据处理
框架,由AMLLabs公司开发,后被Apache软件基金会所支持。
OpenChat
·
2024-01-27 23:35
apache
spark
架构
大数据
分布式
Spark
-core
什么是
Spark
Spark
是基于内存的快速,通用,可扩展的大数据分析引擎
Spark
的内置模块
Spark
Core是
Spark
可以离线处理的部分,实现了
spark
的基本功能,包含任务调度,错误恢复,与存储系统交互等模块
luckboy0000
·
2024-01-27 23:12
学习笔记
DataWhale
大数据处理
技术组队学习task1
DataWhale
大数据处理
技术组队学习task1一、大数据概述1.大数据时代(详细内容参考参考文章)2.大数据的概念(又或者是特点)4V数据量大(Volume)数据来源:可以是计算机、手机,也可以是其他联网设备
Y_fulture
·
2024-01-27 19:33
大数据处理技术
学习
大数据
数据分析
独家解读 | 滴滴机器学习平台架构演进之路
所谓大同是指大家所要处理的问题都相似,技术架构和选型也差不太多,比如都会使用GPU集群、采用
Spark
或K8s平台等。
csdn产品小助手
·
2024-01-27 19:18
人工智能
运维
大数据
apache 前30个开源项目
1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架
大数据处理
非常活跃
临水逸
·
2024-01-27 17:35
apache
开源
如何使用irsa将火花提交给亚马逊eks集群
Inpreviousarticle,Ihaveintroducedhowwesubmita
Spark
jobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331
·
2024-01-27 15:26
java
Py
spark
分类--LogisticRegression
LogisticRegression:逻辑回归分类classpy
spark
.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite
·
2024-01-27 14:53
ML基础
分类
机器学习
人工智能
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他