hadoop配置调优

极客时间Spark性能调优实战-学习笔记（1）

通用性能调优（一）一、应用开发三原则原则一：使用spark自身的调优机制充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。钨丝计划的优势？
我不认识CBW·2023-11-17 10:40

Spark调优 | Spark性能优化实战手册

《Spark性能优化：开发调优篇》《Spark性能优化：资源调优篇》《Spark性能优化：数据倾斜调优篇》《Spark性能优化：shuffle调优篇》Spark性能优化：开发调优篇在大数据计算领域，Spark
大数据技术架构·2023-11-17 10:39

Spark 性能调优

1常规性能调优1.1常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略
高个子男孩·2023-11-17 10:09

Spark 性能调优总结

分配更多资源写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，
星空下的那个人影·2023-11-17 10:09

Spark性能优化四 内存

文章目录（一）性能优化分析内容怎么被消耗的如何预估程序会消耗多少内存呢(二）性能优化方案1)高性能序列化类库2)持久化或者checkpoint3)JVM垃圾回收调优4)提高并行度5）数据本地化（一）性能优化分析一个计算任务的执行主要依赖于
小崔的技术博客·2023-11-17 10:38

[Spark]二Spark性能调优|Spark任务监控|程序调优|资源调优

二.spark性能调优1.Spark任务监控对Spark性能的调优离不开对任务的监控，只有在运行过程中，通过监控手段发现问题，才能迅速定位问题所在。
胖胖学编程·2023-11-17 10:37

spark-调优-性能调优&内存管理

前置主要涉及6个参数，从3个方面：executor、core、内存的大小，并行度，内存管理进行调优优化的方案资源分配num-executors：spark使用多少个executorsexecutor-cores
zdkdchao·2023-11-17 10:36

spark性能调优(二):内存

Memory一、spark内存简介二、堆内内存or堆外内存?三、如何用好RDDCache?四、OOM怎么办?一、spark内存简介spark2.0后,基本上spark内存的管理就已经自动化了,内存出现问题基本上是一些数据问题。比如数据倾斜spark.executor.memory是绝对值,指定了executor进程的JVMHeap总大小spark.memory.fraction是比例值,标记spa
我爱夜来香A·2023-11-17 10:05

Spark 优化 (一) --------- Spark 性能调优

目录一、常规性能调优1.最优资源配置2.RDD优化3.并行度调节4.广播大变量5.Kryo序列化6.调节本地化等待时长二、算子调优1.mapPartitions2.foreachPartition优化数据库操作
在森林中麋了鹿·2023-11-17 10:34

Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决

文章目录一、资源调优二、并行度调优三、代码调优1.避免创建重复的RDD2.对多次使用的RDD进行持久化3.持久化算子：4.尽量避免使用shuffle类的算子5.使用map-side预聚合的shuffle
幼稚的人呐·2023-11-17 10:04

spark性能调优 | 内存优化

目录我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范我们先了解一下有哪些内存1.storage内存存储数据，缓存可预估2.shuffle内存计算joingroupby不可预估spark1.6之前静态管理的，spark1.6之后变成动态管理默认0.5温馨提示在公司尽量不要写rdd(性能不好)RDD示范(spark版本2.1.1)我们转成rdd去跑
Knight_AL·2023-11-17 10:00

ActiveMQ中Producer特性详解

前言从本文中你可以得到如下几个问题的解答:1)设定消息的时间戳有什么作用2)消息的timeToLive与过期原理3)Producer同步、异步发送消息，以及调优4)消息priority与顺序，以及其中的误解
涛濤·2023-11-17 09:54

Kafka Producer通过参数调优提高数据发送速度

1.前言最近项目现场发生了日志文件积压的情况，日志文件的大概处理流程是：读取日志文件->进行结构化->发送到kafka以一个7.57M的日志文件为例（约58400条日志信息），程序需要16.8s才能将其处理完，也就是说平均每秒只能处理约3500条数据，经过验证，其中瓶颈在数据发送到Kafka这一步。这个根据经验，明显肯定是没有达到Kafka的瓶颈的，应该是自己producer程序有问题，于是去Ka
Daphnis_z·2023-11-17 09:23

Python大数据之linux学习总结——day09_hive调优

hive调优hive官方配置url:https://cwiki.apache.org/confluence/display/Hive/Configuration+Propertieshive命令和参数配置
笨小孩124·2023-11-17 09:46

【Python大数据笔记_day09_hive函数和调优】

hive函数函数分类标准[重点]原生分类标准:内置函数和用户定义函数(UDF,UDAF,UDTF)​分类标准扩大化:本来，UDF、UDAF、UDTF这3个标准是针对用户自定义函数分类的；但是，现在可以将这个分类标准扩大到hive中所有的函数，包括内置函数和自定义函数；​目前hive三大标准UDF:（User-Defined-Function）普通函数:特点是一进一出(输入一行数据输出一行数据)  
LKL1026·2023-11-17 06:13

MySQL 查询分析和调优利器Optimizer Trace

庖丁解牛-图解查询分析和调优利器OptimizerTrace查询分析和调优背景在数据库的使用过程，我们经常会碰到SQL突然变慢，是由于下面导致的问题：选择错误的索引选择错误的连接顺序范围查询使用了不同的快速优化策略子查询选择的执行方式变化半连接选择的策略方式变化如何使用分析工具
lixora·2023-11-17 06:37

【寒武纪（9）】MLU架构

文章目录TP1架构TP2架构TP31⾯向不同MLU架构的CambriconBANG编程最佳实践1.1Device级异构调优指南1.2Cluster级并⾏调优指南1.3Core级并⾏调优指南2MTP编程调优
Hali_Botebie·2023-11-17 06:59

性能测试调优JVM调优（三）之JMeter使用

本文章向大家介绍JVM调优（三）之JMeter使用，主要包括JVM调优（三）之JMeter使用使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。
传说三哥·2023-11-17 06:45

Ray 分布式简单教程（1）

在RayCore上有几个库，用于解决机器学习中的问题:Tune:可伸缩的超参数调优RLlib：工业级强化学习RayTrain:分布式深度学习Datasets:分布式数据加载和计算(beta)以
求则得之，舍则失之·2023-11-17 06:06

深度学习模型量化（低精度推理）大总结

通过这篇文章你可以学习到以下内容：1）量化算法介绍及其特点分析，让你知其然并知其所以然；2）Pytorch量化实战，让你不再纸上谈兵；3）模型精度及性能的调优经验分享，让你面对问题不再束手无策；4）完整的量
洪流之源·2023-11-17 06:35

JVM面试与调优教程(1)-JVM的体系结构

【订阅专栏合集,作者所有付费文章都能看】本专栏系统地讲解JVM面试、JVM调优相关知识。包括但不限于JVM的结构、垃圾回收机制及垃圾回收器、JVM调优实战技术和工具使用。
m0_67393157·2023-11-17 04:46

“解剖“JVM之GC调优

目录前言一、JDK工具类1.Jmap2.Jstack3.Jinfo4.Jstat二、JVM运行情况预估总结前言前面所说的JVM垃圾收集其实最终也是为了解决GC的，那么GC又是如何调优的呢？
阿涛在coding·2023-11-16 21:30

JVM-05.JVM调优工具及调优方法

思维导图：点击查看思维导图.前言：阅读此文章前，需要了解的知识链接:JVM-03.对象创建与内存分配.链接:JVM-04.垃圾回收机制看着一篇就够了.1.jps工具作用：查看当前系统中有哪些JAVA进程2.jmap工具来查看内存信息，实例个数以及占用内存大小文件较长，可以输出为对应的文件，也可以直接查看num：序号instances：实例数量bytes：占用空间大小classname：类名称，[C
Coding Machine·2023-11-16 21:30

jvm调优

#Jvm系列9个在江湖中要练就绝世武功必须内外兼备，精妙的招式和深厚的内功，武功的基础是内功。对于武功低（就像江南七怪）的人，招式更重要，因为他们不能靠内功直接去伤人，只能靠招式，利刃上优势来取胜了，但是练到高手之后，内功就更主要了。一个内功低的人招式在奇妙也打不过一个内功高的人。比如，你剑法再厉害，一剑刺过来，别人一掌打断你的剑，你还怎么使剑法，你一掌打到一个武功高的人身上，那人没什么事，却把你
奔跑你个Run·2023-11-16 21:30

JVM知识点总览

jvm总体梳理jvm体系总体分四大块：类的加载机制jvm内存结构GC算法垃圾回收GC分析命令调优当然这些知识点在之前的文章中都有详细的介绍，这里只做主干的梳理这里画了一个思维导图，将所有的知识点进行了陈列
Java程序员-张凯·2023-11-16 20:53

大模型在数据分析场景下的能力评测｜进阶篇

如何调优大模型，来更好地做数据计算和洞察分析？如何降低整体成本，同时保障分析体验？
Kyligence·2023-11-16 12:42

思特威24校招-电路/算法/集成电路/ic/pm等-上海深圳

offer题解|#对顾客ID和日期排序#selectcust_id,order_numfromOrdersorderbycust_id,order_datedesc;树根互联一面jvm回收算法g1jvm调优
2301_79125642·2023-11-16 12:31

java开发校招面试，面试真题解析

阿里系的lazada一面现场（50min）①sync的底层实现，锁优化，和lock的对⽐等②jvm参数调优详细过程，到为什么这么设置，好处，⼀些gc场景，如何去分析gc⽇志③redis数据结构，使⽤场景
最新Java面经·2023-11-16 11:20

JVM GC 调优命令看这一篇就够了

JVMGC调优命令看这一篇就够了2023-11-1123:27·IT果果日记jstat可用于统计内存分配速率、GC次数，GC耗时jstat常用命令格式jstat-gc例如：jstat-gc6100010
qq_21305943·2023-11-16 09:03

性能测试知多少---性能分析与调优的原理

最近一直纠结性能分析与调优如何下手，先从硬件开始，还是先从代码或数据库。
测试小鬼·2023-11-16 08:01

JVM命令行工具和JVM调优实战

一、JVM命令行工具1.JPS（JVMProcessStatusTool）概述：虚拟机进程工具。命令格式：jps[option][hostid]，例：jps-l主要选项：-q只输出LVMID，省略主类的名称-m输出虚拟机进程启动时传递给主类main（）函数的参数-l输出主类的全名，如果进程执行的是jar包，输出jar路径-v输出虚拟机进程启动时JVM参数2.jmap概述：Java内存映像工具命令格
秋忆侬sonny·2023-11-16 04:31

JVM GC 调优命令看这一篇就够了

jstat可用于统计内存分配速率、GC次数，GC耗时jstat常用命令格式jstat-gc例如：jstat-gc6100010，统计pid=6的进程，每秒统计1次，统计10次。参数含义：S0C：年轻代中第一个Survivor区的容量，单位为KB。S1C：年轻代中第二个Survivor区的容量，单位为KB。S0U：年轻代中第一个Survivor区已使用大小，单位为KB。S1U：年轻代中第二个Surv
IT果果日记·2023-11-16 03:51

Chapter 8 Optimization 调优

Chapter8Optimization调优8.1OptimizationOverview优化概述8.2OptimizingSQLStatements[+/-]优化SQL语句8.3OptimizationandIndexes
scan724·2023-11-16 02:21

mysql sql trace_用MySQL的optimizer_trace进行sql调优

在我们调优MySQL的SQL时候，通常使用三种工具进行查看sql执行的效率，explain、profile、optimizer_trace。
weixin_39891694·2023-11-16 02:51

MySql数据库性能调优

Masud说道：MySql数据库性能调优是web开发的重要内容，当流量暴增的时候，数据库就撑不住了，如何调优呢？
iteye_9367·2023-11-16 02:49

mysql-Optimization Overview-数据库调优

Databaseperformancedependsonseveralfactorsatthedatabaselevel,suchastables,queries,andconfigurationsettings.ThesesoftwareconstructsresultinCPUandI/Ooperationsatthehardwarelevel,whichyoumustminimizeandm
jimiStephen·2023-11-16 02:16

ORACLE调优深入理解AWR报告

一堆历史性能数据，放在sysaux表空间上，AWR和sysaux都是10g出现的，是oracle调优的关键特性。
normaluser006·2023-11-16 01:35

开源服务专题之------sshd服务安装管理及配置文件理解和安全调优

本专题我将讨论一下开源服务，随着开源社区的日趋丰富，开源软件、开源服务，已经成为人类的一种公共资源，发展势头可谓一日千里，所以不可不知。SSHD服务，在我们的linux服务器上经常用到，很重要，涉及到服务器的安全，对这个服务的安全配置要高度重视。本文将从以下三个方面进行阐述开源服务及ssh服务。一、学习开源服务的步骤和方法二、SSHD服务安装、配置、使用三、设置安全的SSHD服务一、学习开源服务的
afxwd68402·2023-11-15 23:01

【寒武纪（7）】MLU的cntoolkit：Cambricon-BANG架构和使用分析，MLU并行计算的硬件抽象、编程模型以及调优思路

文章目录硬件抽象1存储1.1.1存储层次访存一致计算模型1Core核内同步和并行2核间并行和同步编程模型1、Kernel计算规模任务类型执行示例性能调优性能调优实践参考cambriconBANG架构是基础的
Hali_Botebie·2023-11-15 23:39

Mybatis Plus SaveBatch 调优25倍性能

最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。这个项目用的是mybatis-plus，批量保存直接用的是mybatis-plus提供的saveBatch。我点进去看了下源码，感觉有点不太对劲：我继续追踪了下，从这个代码来看，确实是for循环一条一条执行了sqlSession.insert，下面的consumer执行的就是上面的sqlSess
伴川·2023-11-15 22:37

MySQL调优的几种方式

MySQL调优有许多方式，以下是几种常用的方式：优化查询语句：通过使用合适的索引、优化查询语句的写法、避免全表扫描等方式来提升查询性能。
wzxue1984·2023-11-15 22:02

JVM 三大性能调优参数

JVM的性能调优是Java应用程序优化的重要部分，其中三大性能调优参数为：jvm三大性能调优参数1.堆内存大小(-Xmx和-Xms参数)：堆内存是Java应用程序中最重要的内存区域，存储对象实例和数组等数据
wzxue1984·2023-11-15 22:01

考Oracle ocm 19c 版本的前提是需要有Oracle 19c ocp证书

例如：Oracle有各种成熟的性能诊断调优工具、Oracle的分区表和分区索引功能更成熟等。即使在去O的大环境下，去O之前需要懂O，才是更正确的选择。什么是Oracle19cOCMOracle
杭州云贝数据·2023-11-15 19:14

回顾丨2021数据库大咖讲坛（第6期）视频&PPT&互动问答

大会邀请来自中信建投证券股份有限公司、云和恩墨、PingCAP、Greenplum的技术专家，就Oracle中新增字段的点点滴滴、数据库性能提升之SQL优化、TiDB优化器原理介绍及调优实践案例分享、Greenplum
数据和云·2023-11-15 18:26

HBase原理 | HBase Compaction介绍与参数调优

我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。MinorCompaction称为小合并，主要是选取
create17·2023-11-15 17:13

车间部署MES管理系统后有哪些变化

随着智能制造技术的飞速发展，工厂车间正经历着一场由数字化管理和智能化协调优化驱动的变革。这场变革的核心便是MES管理系统。
深蓝易网·2023-11-15 13:53

如何正确规划 JVM 性能调优

JVM性能调优涉及到很多方面的权衡，其中某一方面可能会极大地影响整体性能。因此，需要综合考虑所有可能的影响。理解并遵循一些基本原则和理论将使性能调优变得更加容易。
wouderw·2023-11-15 07:20

论文浅尝 | 大语言模型综述

其次是适应性调优
开放知识图谱·2023-11-15 06:16

Cesium+Three.js体验：优化BIM模型展示效果

前面我们介绍了5个Cesium和Three.js结合的方案（《Cesium和Three.js结合的5个方案》），其中深度融合方案实现难度大，今天我们通过一次BIM模型展示效果调优过程，来窥探一下这个方案的具体优势
三维网格·2023-11-15 04:15

Android中高级进阶开发面试题冲刺合集（四）

：Android中高级进阶开发面试题冲刺合集（一）第二篇面试题在这：Android中高级进阶开发面试题冲刺合集（二）第三篇面试题在这：Android中高级进阶开发面试题冲刺合集（三）Android性能调优相
代码与思维·2023-11-15 01:22
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他