Spark调优

ID Mapping技术解析：从Redis到Spark GraphX的演进与应用

目录一、IDMapping的背景二、IDMapping的重要性三、IDMapping的方案3.1基于Redis的IDMapping(效率不行)
数据与后端架构提升之路·2024-01-29 10:48

Redis学习——高级篇②

==========Redis7高级之BigKey（二）==========1.MoreKey案例2.BigKey案例2.1多大算BigKey以及它的危害2.2如何产生、发现、删除3.bigKey生产调优
_Matthew·2024-01-29 08:22

Spark常用Transformations算子(一)

介绍以下Transformations算子：mapflatMapmapPartitionsmapPartitionsWithIndexfiltersampleunionintersectionsortBysortByKeygroupByKeyreduceByKeydistinctcoalescerepartition(1)map、mapPartitions、mapPartitionsWithInd
数据萌新·2024-01-29 07:12

Hadoop, HIve, Spark关系简述

大数据∈数据管理系统的范畴数据管理系统：数据怎么存？数据怎么算？单机数据管理时代下，数据处理的任务：IO密集型；数据存不下？HDFS用于存放多机器的数据并提供相关Api接口。HDFS中引入了一个模块：MapReduce（基于磁盘计算）。MapReduce：提供了一个任务并行的框架，通过它的Api抽象让用户把这个并行程序分成两个阶段，即Map阶段（分工），Reduce阶段（汇总）。Hive：在Had
小白兔奶糖ovo·2024-01-29 07:22

最新AI创作系统ChatGPT网站系统源码，Midjourney绘画V6 ALPHA绘画模型，ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-29 06:01

BAT面试需要什么样的程序员？阿里七年经验面试官现身说法；

一、性能调优几乎每个JAVA后端开发程序员，都会在面试时碰到诸如如何性能调优的问题，如何回答好这个问题，不
风平浪静如码·2024-01-29 05:16

基于Spark个性化图书推荐系统

介绍该系统基于Spark，结合了协同过滤算法和个性化推荐技术，实现了一款个性化的书籍推荐系统。
沐知全栈开发·2024-01-29 04:48

spark shuffle

spark的shuffle过程分为：1：map2:shufflewrite3:shuffleread4:reduce一般来说机器的性能好的话，shuffle过程之中，数据不写入磁盘。
流砂月歌·2024-01-29 01:13

java spark 运行原理_SPARK：作业基本运行原理

Spark作业基本运行原理：我们使用spark-submit提交一个spark作业之后，这个作业就会启动一个对应的Driver进程。
长野君·2024-01-28 23:44

spark作业调度原理

概述spark有多种方式调度各个计算所需的资源.首先，每个application（即sparkContext实例）有一组独立的Executor进程。
Deegue·2024-01-28 23:14

Spark 作业执行流程

一、Spark组件Spark的基本组件，包括负责集群运行的Master和Worker，负责作业运行的Client和Driver，以及负责集群资源管理器（如YARN）和执行单元Executor等。
晓之以理的喵~~·2024-01-28 23:13

【Spark】 Spark作业执行原理--获取执行结果

一、执行结果并序列化任务执行完成后，是在TaskRunner的run方法的后半部分返回结果给Driver的：overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
勤言不勤语·2024-01-28 23:43

Spark作业基本运行原理

Spark作业基本运行原理：我们使用spark-submit提交一个spark作业之后，这个作业就会启动一个对应的Driver进程。
wybdt·2024-01-28 23:42

【Spark系列2】Spark编程模型RDD

RDD概述RDD最初的概述来源于一片论文-伯克利实验室的ResilientDistributedDatasets：AFault-TolerantAbstractionforIn-MemoryClusterComputing。这篇论文奠定了RDD基本功能的思想RDD实际为ResilientDistributionDatasets的简称，意为弹性分布式数据集RDD的基本属性1、分区RDD的中文含义是弹
周润发的弟弟·2024-01-28 23:12

【Spark系列3】RDD源码解析实战

本文主要讲1、什么是RDD2、RDD是如何从数据中构建一、什么是RDD？RDD：弹性分布式数据集，ResillientDistributedDataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上，RDD是一个只读的分区集合，一个RDD可以包含多个分区，每个分区就是一个data
周润发的弟弟·2024-01-28 23:12

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Spark工作原理

1）Spark工作原理：首先看中间是一个Spark集群，可以理解为是Spark的standalone集群，集群中有6个节点左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向
小崔的技术博客·2024-01-28 23:12

Spark详解（五）：Spark作业执行原理

Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。
MasterT-J·2024-01-28 23:42

Spark运行原理

Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。
hellozhxy·2024-01-28 23:41

Spark | 记录下Spark作业执行时常见的参数属性配置

理解作业基本原理，是进行Spark作业资源参数调优的基本前提。
点滴笔记·2024-01-28 23:11

【Spark系列1】Spark作业执行原理

本文字数在7800字左右，预计时间在15分钟一、整体流程每个Aciton操作会创建一个JOB，JOB会提交给DAGScheduler，DAGScheduler根据RDD依赖的关系划分为多个Stage，每个Stage又会创建多个TaskSet，每个TaskSet包含多个Task，这个Task就是每个分区的并行计算的任务。DAGScheduler将TaskSet按照顺序提交给TaskScheduler
周润发的弟弟·2024-01-28 23:40

数仓治理-小文件治理

:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark
爱吃辣条byte·2024-01-28 23:40

24件反人类服装设计，没有一件你能看懂

服装设计既要有很强的审美观和价值观，既然设计出来的衣服是要在生活中穿的，既要美观时尚，又要低调优雅，使服装永远不会落后，所以一个设计师在设计服装的过程中要忘掉自己是自
创意生活趣事·2024-01-28 21:30

剖析线程池ThreadPoolExecutor

文章目录线程池一、线程池概述二、ThreadPoolExecutor类详解三、线程池参数配置与优化四、线程池监控与调优五、线程池与其他并发工具比较六、线程池在实际应用中的案例分析案例背景线程池的配置配置线程池参数
小阳小朋友·2024-01-28 20:46

spark 内核源码剖析七：Work工作原理

driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")valdriver=newDriverRunner(conf,driverId,workDir,sparkHome
雪飘千里·2024-01-28 18:08

极简pyspark

PySpark简要介绍PySpark是一个基于Spark的Python接口，它允许你在Python中使用Spark的强大功能，如大数据处理、实时数据处理等。
吉小雨·2024-01-28 18:13

【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍

Java技术体系方向-JVM虚拟机参数调优原理内容简介栈上分配与逃逸分析逃逸分析(EscapeAnalysis)栈上分配基本思想使用场景线程私有对象虚拟机内存逻辑图JVM内存分配源码：代码总体逻辑在某些场景使用栈上分配设置
洛神灬殇·2024-01-28 16:00

pyspark在windows下java.net.SocketException: Connection reset by peer 错误

pyspark在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk·2024-01-28 15:49

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

[AIGC大数据基础] Spark 入门

其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。
程序员三木·2024-01-28 12:32

【字节跳动】资深后端开发工程师-平台应用服务

职位描述负责商业化基础服务系统能力建设，参与千亿级广告基础数据服务研发和优化，参与广告平台通用组件的设计和实现；负责多样化的商业平台应用服务研发，为客户提供智能、高效的营销能力；负责服务端系统架构设计研发、调优
探小虎·2024-01-28 12:48

Impala-shell卡顿分析——记一次曲折的Debug经历

Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持，以修正跟Hive、Spark等基于Java的系统在UTF-8字符串上的不兼容表现（如
stiga-huang·2024-01-28 12:06

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Spark:Task Locality参考

DatalocalitycanhaveamajorimpactontheperformanceofSparkjobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32·2024-01-28 12:38

Linux 磁盘IO

原文：MySQL调优基础(四)Linux磁盘IO-IT--小哥的个人空间-OSCHINA-中文开源技术交流社区一、IO处理过程磁盘IO经常会成为系统的一个瓶颈，特别是对于运行数据库的系统而言。
祁小彬·2024-01-28 12:51

Netty 参数调优

文章目录一、CONNECT_TIMEOUT_MILLIS二、SO_BACKLOG三、TCP_NODELAY四、SO_SNDBUF&SO_RCVBUF五、ALLOCATOR六、RCVBUF_ALLOCATOR一、CONNECT_TIMEOUT_MILLIS属于SocketChannal的参数用在客户端建立连接时，如果在指定毫秒内无法连接，会抛出timeout异常注意：Netty中不要用成了SO_TI
A.iguodala·2024-01-28 11:27

netty 性能调优

netty性能调优文件句柄一个tcp连接占用一个文件句柄，可调大服务器文件句柄限制，让netty服务端处理更多连接************进程文件句柄查看句柄限制：ulimit-u#centosroot
o_瓜田李下_o·2024-01-28 11:56

前传04 | Netty性能调优

前传04|Netty性能调优一、操作系统参数调试01文件描述符1）最大文件句柄数2）单进程打开的最大句柄数ulimit-n3）并发接入的TCP连接数02TCP/IP相关参数03多网卡队列和软中断二、Netty
天罚神·2024-01-28 11:26

netty性能调优

转载自STEPHEN的博客调优思路关于netty的学习和介绍，可以去github看官方文档，这里良心推荐《netty实战》和《netty权威指南》两本书，前者对于新手更友好，原理和应用都有讲到，多读读会发现很多高性能的优化点
tinysakurac·2024-01-28 11:54

前传05 | Netty安全调优

前传05|Netty安全调优01DDOS攻击01DDOS攻击根据三次握手原理，产生一种对服务器的攻击方式：DDOS攻击。
天罚神·2024-01-28 11:23

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他