spark调优第58页

spark源码之shuffleManager

shufflemanager的实现类：sortshufflemanagerSpark0.8及以前HashBasedShuffle在ShuffleWrite过程按照Hash的方式重组Partition的数据

cclucc·2023-12-04 18:01

【译】如何在调试时分析CPU和内存（Analyze CPU and Memory while Debugging）

但是，内存和性能调优经常会遇到“重要但不紧急”的任务，因为真正紧急的事情，您似乎根本无法完成。所以为什么不把这个任务离你更近一点呢?

Rubint0x·2023-12-04 17:36

Spark

SparkListenerEventprotectedoverridedefdoPostEvent(listener:SparkListenerInterface,event:SparkListenerEvent

zhixingheyi_tian·2023-12-04 16:00

22、为什么是卷积？

（本文已加入“计算机视觉入门与调优”专栏，点击专栏查看更多文章信息）我们先看一看神经网络(或者叫一个AI模型)，是如何完成一张图片的推理的。

董董灿是个攻城狮·2023-12-04 15:10

21、Resnet50 中包含哪些算法？

（本文已加入“计算机视觉入门与调优”专栏，点击专栏查看更多文章信息）这一节汇总一下resnet50中包含的算法，并且简单介绍。

董董灿是个攻城狮·2023-12-04 15:40

20、Resnet 为什么这么重要

（本文已加入“计算机视觉入门与调优”专栏，点击专栏查看更多文章信息）resnet这一网络的重要性，上一节大概介绍了一下，可以从以下两个方面来有所体现：第一是resnet广泛的作为其他神经网络的backbone

董董灿是个攻城狮·2023-12-04 15:38

JVM性能调优竟然出了教程！爱了！

JVM,即“Java虚拟机”，有点类似于“操作系统”，上面跑着Java程序。其实我们在平常的工作中，并不会直接接触到JVM，但是经常会遇到与之相关的问题：一段代码有问题，执行效率低，但就是无法找到深层次原因。线上系统CPU疯狂运转,GC时间飙升，产生卡顿，严重影响服务响应时间；正在运行的Java程序，突然就OOM（内存溢出）了；要做性能优化时面对一堆JVM的参数无从下手…仔细想想在工作中，面对JV

Java团长在csdn·2023-12-04 13:19

面试题-JVM性能调优

目录前言JVM性能调优内存溢出错误堆溢出错误和预判堆溢出的错误虚拟机栈和本地方法栈溢出错误方法区（元数据区）和运行时常量池溢出直接内存区域的溢出实践案例如何正确利用大内存-高性能硬件上的程序部署策略如何排查内存溢出错误如何排查系统

java领域·2023-12-04 13:16

JVM性能调优理论与实践

内存模型方法区，堆是所有线程共有。栈，本地计数器是线程私有。方法区保存class文件加载后的类信息，常量池数据等1.8后叫metaspace会OOM，如动态加载类文件时:java.lang.OutOfMemoryError:PermGenspace堆最大的内存区域，所有线程共享，保存对象和数组。所有对象都存在堆中吗？永久代并不属于堆内存中的一部分，jdk1.8之后永久代。会OOM:java.lan

changtianshuiyue·2023-12-04 13:12

2023最新AI创作系统ChatGPT网站源码+Midjourney绘画+支持GPT-4-Turbo模型+即将支持TSS语音对话功能模块

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-12-04 13:10

大数据分析与应用实验任务十

大数据分析与应用实验任务十实验目的：通过实验掌握sparkSQL的基本编程方法；熟悉RDD到DataFrame的转化方法；通过实验熟悉sparkSQL管理不同数据源的方法。

陈希瑞·2023-12-04 12:00

sql调优

需求场景：我现在有一张表，他有100多万条数据，我想要通过id_key去重（id_key只是一个字段，表示的是业务的主键，数据库中没有进行任何设置），sqlselect*fromtable_namewhereid_key='x';数据有1百多万条，需要优化一下sql，于是使用explain来解析sql，发现type是all，并没有走索引explainselect*fromtable_namewhe

Jcl-_·2023-12-04 11:00

调优--学习笔记

1，Presto调优数据存储格式1）合理设置分区与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

祈愿lucky·2023-12-04 09:14

Redis--15--缓存穿透击穿雪崩

缓存击穿问题描述:如何解决:3缓存雪崩说明:解决方案:缓存穿透击穿雪崩问题描述:由于海量的用户的请求如果这时redis服务器出现问题则可能导致整个系统崩溃.运行速度:tomcat服务器150-250之间JVM调优

知行合一。。。·2023-12-04 09:28

spark的reduceByKey

在进行Spark开发算法时，最有用的一个函数就是reduceByKey。

zxfBdd·2023-12-04 06:24

Spark Streaming反压机制介绍

1.反压机制原理SparkStreaming中的反压机制是Spark1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。

zxfBdd·2023-12-04 06:24

内存垃圾回收

尽管您无法直接在方法调用完成后手动释放内存，但您可以通过一些Spark实践来帮助垃圾恢复器更及时地恢复一些不再需要的对象。以下是建

北执南念·2023-12-04 05:06

JVM配置、监控、调优

1.JVM资料java虚拟机设置#xms虚拟机最小内存xmx虚拟机最大内存xmn新生代初始内存（比NewRatio优先）-Xms256m-Xmx256m-Xmn192M#老年代和新生代比例，默认2-XX:NewRatio=2#禁用Survivor区自适应策略-XX:-UseAdaptiveSizePolicy#Survivor区使用率，默认50%-XX:TargetSurvivorRatio=80

kenick·2023-12-04 04:25

window环境下 Error response from daemon: Get https://index.docker.io/v1/search?q=openjdk..... timeout

q=spark&n=25:dialtcp:lookupindex.docker.ioon192.168.65.1:53:readudp192.168.65.2:4

森森之火·2023-12-04 04:20

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql

迷雾总会解·2023-12-04 02:01

flink学习之sql-client之踩坑记录

flink/bin目录下会看到这个脚本，最开始以为是和spark-shell差不多的。结果自行摸索无果，网上查的文章也写的很垃圾，自己查官网看下吧。SQL客户端|ApacheFlink直接.

cclovezbf·2023-12-04 02:00

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2

qzWsong·2023-12-04 02:00

【Spark九十四】spark-sql工具的使用

spark-sql是Sparkbin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过hive>输入的指令可以通过spark-sql>输入的指令来完成。

axxbc123·2023-12-04 02:59

基于Spark、NoSQL的实时数据处理实践

本文基于TalkingData张学敏在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。

TalkingData·2023-12-04 01:10

Prefix-Tuning 论文概述

Prefix-Tuning论文概述前缀调优：优化生成的连续提示前言摘要论文十问实验数据集模型实验结论摘要任务泛化性能前缀调优：优化生成的连续提示前言大规模预训练语言模型(PLM)在下游自然语言生成任务中广泛采用

江小皮不皮·2023-12-04 00:39

【数据中台】开源项目（3）-Linkis

通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通

码农丁丁·2023-12-03 23:42

产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战

作者：萧寒GitHubID：hx23840阿列夫科技原来的技术平台是基于Hadoop，Spark平台搭建的，为了充分的满足业务需求，做了大量接口封装。

微众开源·2023-12-03 23:12

MatrixOne实战系列回顾 | MatrixOne 集群运维

分别是版本升降、集群扩缩、集群调优以及最后的QA环节。Part1版本升降首先我们采用替换二进制文件进行单机版MatrixOne版本的升降。

MatrixOrigin·2023-12-03 20:47

springboot+netty化身Udp服务端，go化身客户端模拟设备实现指令联动

springboot与Netty结合1.添加依赖2.创建UDP服务端3.创建UDP消息处理器4.在SpringBoot中集成UDP服务端5.controller实现Go语言模拟设备运行和测试性能优化与调优

一只牛博·2023-12-03 19:29

面试无忧：源码+实践，讲到MySQL调优的底层算法实现

不知道大家有没有参与过系统重构或者代码调优的工作，有幸，最近我接触了一个公司N久前的一个项目的重构工作，目的就是为了提升一下响应速度，然后我们小组拿到这个项目的源代码之后，大呼：WC，这NM谁写的代码啊

996小迁·2023-12-03 18:29

JVM原理与深度调优

什么是jvmjvm是java虚拟机运行在用户态、通过应用程序实现java代码跨平台、与平台无关、实际上是"一次编译，到处执行"1.从微观来说编译出来的是字节码！去到哪个平台都能用，只要有那个平台的JDK就可以运行！字码好比是一个人，平台好比为国家，JDK好比这个国家的语言！只要这个人（字节码）有了这个国家的语言（JDK）就可以在这个国家（平台）生活下去。2.JDK是整个Java的核心，包括了Jav

Java架构设计·2023-12-03 18:05

基于hadoop的商品推荐系统_推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

weixin_39541212·2023-12-03 18:05

细谈JVM原理与深度调优

什么是jvmjvm是java虚拟机运行在用户态、通过应用程序实现java代码跨平台、与平台无关、实际上是"一次编译，到处执行"1.从微观来说编译出来的是字节码！去到哪个平台都能用，只要有那个平台的JDK就可以运行！字码好比是一个人，平台好比为国家，JDK好比这个国家的语言！只要这个人（字节码）有了这个国家的语言（JDK）就可以在这个国家（平台）生活下去。2.JDK是整个Java的核心，包括了Jav

java涛仔·2023-12-03 18:35

硬核干货！备战阿里，字节，腾讯 2020最新Java最常见面试题汇总，

jvm:jvm内存结构jvm调优参数什么是类加载？何时类加载？java的类加

阿杰子啊·2023-12-03 18:33

Javalin：一个轻量的Web Framework

Javalin最初是SparkJava的一个分支，后来受到JavaScript框架koa.js的

Java精选·2023-12-03 18:23

MySQL | 查询接口性能调优、编码方式不一致导致索引失效

背景最近业务反馈，列表查询速度过慢，需要优化。到正式环境系统去验证，发现没筛选任何条件的情况下，查询需要三十多秒，而筛选了条件之后需要13秒。急需优化。先说结论：连表用的字段编码方式不一致导致索引不可用。查早原因1.遇到慢查询，首先需要定位慢的原因，先查到接口，看内部实现先初步猜测慢的原因，然后验证。先本地运行项目，找到相应的查询接口，利用MbBatisLog插件获取到分页查询的SQL，拿到数据库

赫萝的红苹果·2023-12-03 18:50

JVM运行时数据区域

文章目录内存结构程序计数器（寄存器）虚拟机栈局部变量表两类异常状况线程运行诊断本地方法栈堆方法区运行时常量池串池（StringTable）字符串的拼接串池的位置StringTable垃圾回收StringTable性能调优直接内存内存结构程序计数器

this.xxxx·2023-12-03 16:56

【openGauss2.1.0利用Index-advisor实现索引推荐】

【openGauss2.1.0利用Index-advisor实现索引推荐】一、环境说明二、参数调优步骤Index-advisor是openGauss2.1.0中的一个工具，可以帮助用户分析数据库中的查询语句

若兰幽竹·2023-12-03 16:26

【openGauss2.1.0实现X-Tuner进行参数调优】

openGauss2.1.0实现X-Tuner进行参数调优一、环境说明二、参数调优步骤openGauss2.1.0作为一款全新的开源关系型数据库，在性能方面具有很大的优势。

若兰幽竹·2023-12-03 16:26

JVM调优的几种场景（建议收藏）

最近很多小伙伴跟我说，自己学了不少JVM的调优知识，但是在实际工作中却不知道何时对JVM进行调优。今天，我就为大家介绍几种JVM调优的场景。

Java弟中弟·2023-12-03 15:52

ApacheCN 数据科学译文集 20210313 更新

数据科学和机器学习实践指南零、前言一、入门二、统计和概率回顾和Python实践三、Matplotlib和高级概率概念四、预测模型五、Python机器学习六、推荐系统七、更多数据挖掘和机器学习技术八、处理真实数据九、ApacheSpark

布客飞龙·2023-12-03 14:48

Linux性能压测——端口占用解决方案

针对高并发性能压测的调优的一定处理，特别是在Linux服务器端口占用的问题作出以下调整，为了快速释放被占用的端口，可以采取以下措施：修改TCPkeepalive参数：可以通过修改TCPkeepalive

笑口常开的小丸子·2023-12-03 13:23

基于Python和Spark的大数据音乐推荐系统的设计与实现

基于Python和Spark的大数据音乐推荐系统的设计与实现摘要随着科学技术的发展，人们对服务的要求也越来越高。为了能提高管理者的管理效能，现在的音乐推荐管理必须要脱离复杂的手工管理方式。

程序设计123·2023-12-03 13:55

IDEA -source 1.5 中不支持 lambda 表达式解决方法

一直在用scala编写Spark或者Flink代码，对于Java的lambda表达式一直认为没有前者一直点(".")下去方便，偶然用后者写代码中间出现一些小的设置问题，记录一下：示例代码finalLocalEnvironmentenv

架构师联盟·2023-12-03 12:29

2023_Spark_实验二十三：Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：zookeeper的集群安装二、Kafka安装上传kafka_2.11-2.4.1.tgz到/tools目录下解压安装到/opt/soft_installed/目录下tar-zvxfkafka_2.11-2.4.1.tgz-C

pblh123·2023-12-03 12:17

Spark经典案例分享

Spark经典案例链接操作案例二次排序案例链接操作案例案例需求数据介绍代码如下：packagebase.charpter7importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs

pblh123·2023-12-03 12:45

element-ui 文件上传组件添加 MD5编码参数

md5编码使用的依赖为spark-md5.js参考了csdn上的一篇文章：基于vue框架下使用Element-UI获取文件MD5值并上传。

十万个维他奶·2023-12-03 11:31

【Spark基础】-- RDD、DataFrame 和 Dataset 的对比

目录一、简要介绍RDD、DataFrame和DataSet1、RDD1.1什么是RDD？1.2RDD的五大特性是什么？

high2011·2023-12-03 09:38

【数据中台】开源项目（5）-Amoro

AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark

码农丁丁·2023-12-03 08:05

推荐频道

spark调优