spark性能优化

Spark作业基本运行原理

Spark作业基本运行原理：我们使用spark-submit提交一个spark作业之后，这个作业就会启动一个对应的Driver进程。
wybdt·2024-01-28 23:42

【Spark系列2】Spark编程模型RDD

RDD概述RDD最初的概述来源于一片论文-伯克利实验室的ResilientDistributedDatasets：AFault-TolerantAbstractionforIn-MemoryClusterComputing。这篇论文奠定了RDD基本功能的思想RDD实际为ResilientDistributionDatasets的简称，意为弹性分布式数据集RDD的基本属性1、分区RDD的中文含义是弹
周润发的弟弟·2024-01-28 23:12

【Spark系列3】RDD源码解析实战

本文主要讲1、什么是RDD2、RDD是如何从数据中构建一、什么是RDD？RDD：弹性分布式数据集，ResillientDistributedDataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上，RDD是一个只读的分区集合，一个RDD可以包含多个分区，每个分区就是一个data
周润发的弟弟·2024-01-28 23:12

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Spark工作原理

1）Spark工作原理：首先看中间是一个Spark集群，可以理解为是Spark的standalone集群，集群中有6个节点左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向
小崔的技术博客·2024-01-28 23:12

Spark详解（五）：Spark作业执行原理

Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。
MasterT-J·2024-01-28 23:42

Spark运行原理

Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。
hellozhxy·2024-01-28 23:41

Spark | 记录下Spark作业执行时常见的参数属性配置

理解作业基本原理，是进行Spark作业资源参数调优的基本前提。
点滴笔记·2024-01-28 23:11

【Spark系列1】Spark作业执行原理

本文字数在7800字左右，预计时间在15分钟一、整体流程每个Aciton操作会创建一个JOB，JOB会提交给DAGScheduler，DAGScheduler根据RDD依赖的关系划分为多个Stage，每个Stage又会创建多个TaskSet，每个TaskSet包含多个Task，这个Task就是每个分区的并行计算的任务。DAGScheduler将TaskSet按照顺序提交给TaskScheduler
周润发的弟弟·2024-01-28 23:40

数仓治理-小文件治理

:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark
爱吃辣条byte·2024-01-28 23:40

提升用户体验的艺术：前端性能优化详解

因此，前端性能优化不仅是技术挑战，更是商业需求。本文将深入探讨前端性能的重要性，介绍提高性能的策略，并通过案例分析展示这些策略的实际应用效果。
tester Jeffky·2024-01-28 22:18

事件驱动架构的性能优化技巧：提高系统性能与响应速度

因此，在设计和实现事件驱动架构时，需要关注性能优化的问题，以提高系统性能和响应速度。本文
OpenChat·2024-01-28 21:58

Nginx配置和性能优化

1.解释Nginx的事件处理机制是如何工作的？Nginx的事件处理机制基于事件驱动模型，它能够高效地处理大量并发连接。以下是Nginx事件处理机制的工作原理：事件收集：Nginx通过事件收集器从操作系统中获取等待处理的事件。这些事件通常包括网络事件（如接受新的连接、读写数据等）、信号和定时器。I/O模型选择：Nginx会根据不同的操作系统选择最合适的I/O模型。例如，在Linux系统上，Nginx
编织幻境的妖·2024-01-28 19:10

阿里云云数据库RDS

阿里云云数据库RDS的主要特点和优势包括高可用性、强大的扩展性、性能优化、灵活的备份与恢复功能以及专业的技术支持等。
编织幻境的妖·2024-01-28 19:06

spark 内核源码剖析七：Work工作原理

driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")valdriver=newDriverRunner(conf,driverId,workDir,sparkHome
雪飘千里·2024-01-28 18:08

极简pyspark

PySpark简要介绍PySpark是一个基于Spark的Python接口，它允许你在Python中使用Spark的强大功能，如大数据处理、实时数据处理等。
吉小雨·2024-01-28 18:13

iOS系统优化——03启动性能优化

App启动过程iOS应用的启动可分为pre-main阶段和main()阶段，其中系统做的事情依次是：image.png无论对于系统的动态链接库还是对于App本身的可执行文件而言，他们都算是image（镜像），而每个App都是以image(镜像)为单位进行加载的image：1.Executable：应用的主要二进制（比如.o文件）2.Dylib：[动态链接库]（dynamiclibrary，又称DS
Foxhoundsun·2024-01-28 17:17

pyspark在windows下java.net.SocketException: Connection reset by peer 错误

pyspark在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk·2024-01-28 15:49

SpringMVC:企业级解读（二）

目录八.构建卓越JavaWeb应用：最佳实践与性能优化1.代码组织与规范2.全局异常处理与日志记录3.性能优化与安全性考虑4.分布式应用5.提高SpringMVC的开发效率和代码质量九.构建卓越用户体验
星光闪闪k·2024-01-28 14:19

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

[AIGC大数据基础] Spark 入门

其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。
程序员三木·2024-01-28 12:32

Impala-shell卡顿分析——记一次曲折的Debug经历

Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持，以修正跟Hive、Spark等基于Java的系统在UTF-8字符串上的不兼容表现（如
stiga-huang·2024-01-28 12:06

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Spark:Task Locality参考

DatalocalitycanhaveamajorimpactontheperformanceofSparkjobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32·2024-01-28 12:38

Unity性能优化

Statistics窗口获取基本信息Level声音强度，单位是分贝（dB）DSPload数字信号处理器的负载。播放的声音越多、声音的采样率越高、声音效果越复杂，数值就越大Clipping音频的裁剪情况。当音频信号超过设备支持的最大范围时，该音频信号会被裁剪。应避免这项数据过大Streamload音频流的负载情况。流式加载就是边加载边播放，而不是一次性加载全部数据。应避免这项数据过大FPS帧率，也就
北海6516·2024-01-28 11:13

Redis缓存设计与性能优化

文章目录多级缓存架构缓存设计缓存穿透缓存失效(击穿)缓存雪崩热点缓存key重建优化缓存与数据库双写不一致开发规范与性能优化一、键值设计1.key名设计2.value设计bigkey的危害：bigkey的产生
野心与梦·2024-01-28 11:42

52 条 SQL 语句性能优化策略（摘抄）

对查询进行优化，应尽量避免全表扫描，首先应考虑在where及orderby涉及的列上建立索引。应尽量避免在where子句中对字段进行null值判断，创建表时NULL是默认值，但大多数时候应该使用NOTNULL，或者使用一个特殊的值，如0，-1作为默认值。应尽量避免在where子句中使用!=或，>=，BETWEEN，IN，以及某些时候的LIKE。应尽量避免在where子句中使用or来连接条件，否则将
立0911·2024-01-28 11:58

netty性能调优

netty高性能优化点最近参加了阿里中间价性能比赛，为了提升netty写的servivemesh的网络通信的性能，最近几天查了书、博客（这里强力推荐netty作者的博客，干货
tinysakurac·2024-01-28 11:54

79.Go 中如何对性能进行度量与分析（Benchmark）

对Golang程序进行性能优化，可以在提升业务收益的同时，起到降低成本的作用。
百里守约学编程·2024-01-28 08:55

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

uniapp微信小程序-请求二次封装（直接可用）

当需要添加新的功能、处理错误或者进行性能优化时，只需修改封装的请求逻辑而无需深入到每个组件或页面中。错误处理：封装的请求可以
bug总结·2024-01-28 07:01

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

Vue3 Suspense 优雅地处理异步组件加载

在本专栏中，我们将深入学习Vue.js的核心概念、组件开发、状态管理、路由和性能优化等方面的知识。无论你是初学者还
俊刚、·2024-01-28 05:53

剖析Elasticsearch的IndexSorting:一种查询性能优化利器

剖析Elasticsearch的IndexSorting:一种查询性能优化利器-知乎前言前两周写过一篇《基于Lucene查询原理分析Elasticsearch的性能》，在最后留了一个彩蛋，说下一篇会介绍一种可以极大的优化查询性能的技术
大叶子不小·2024-01-28 04:48

【数据库】MySQL索引，存储引擎

一、前提正确地创建合适的索引是数据库性能优化的基础数据库索引是一种为了加速数据表中行记录检索的数据结构索引存储于磁盘当中数据量巨大时O(n)级别的查询实在是太慢了，所以有了索引二、索引的数据结构延申致工作机制索引中存储数据库的一个属性
luckyzda·2024-01-28 03:02

Vue3笔记

一.前端工程化webpack代码压缩、解决js的浏览器兼容性问题、性能优化webpack.config.js文件下：mode节点：1.development开发时用，不代码压缩和性能优化，打包速度块2.
nknmn_·2024-01-28 03:21

HarmonyOS 鸿蒙应用开发( 八、线程模型及线程间通信 Emitter、Worker和TaskPool介绍）

示例注意事项TaskPool和Worker的对比选择实现特点对比适用场景对比TaskPool注意事项Worker注意事项写在最后其他资源前言HarmonyOS（鸿蒙系统）应用的线程模型设计考虑了系统的性能优化和用户体验
特立独行的猫a·2024-01-28 00:23
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他