性能调优专题研究

Hive参数与性能企业级调优（建议收藏）

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
坨坨的大数据·2023-11-19 23:58

最全JVM与性能调优知识点总结，看看哪些是你还没掌握的？

最后，通过对内存的回收机制和垃圾回收算法的讲解，引出到JVM的性能调优这一主题，在这个部分会着重讲解垃圾回收算法以及常见的垃圾回收器的区别和使用
前程有光·2023-11-19 23:16

spark性能调优之合理的并行度设置

Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！
浪子城·2023-11-19 18:07

Spark性能调优之合理设置并行度

1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以充分利用集群资源，减少每个task处理数据量，而增
跳跃的list·2023-11-19 18:06

【Spark】|【Spark性能调优】|【设置并行度】|【Spark多配置优先级】|【总结】

一、【关于Spark并行度】1.什么是Spark的并行度？并行度其实就是指的是spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度2.官方推荐task的个数？官方推荐，task数量，设置成sparkApplication总cpucore数量的2~3倍。比如：150个cpucore，基本设置task数量为300~500。【由于task实际处理运行时间
Haven.Liu·2023-11-19 18:35

spark性能调优 | 默认并行度

SparkSql默认并行度看官网，默认并行度200https://spark.apache.org/docs/2.4.5/sql-performance-tuning.html#other-configuration-options优化在数仓中task最好是cpu的两倍或者3倍(最好是倍数，不要使基数)拓展在本地task需要自己设置，cpu就是local[x]x就代表cpu数在yarn--num-
Knight_AL·2023-11-19 18:04

Spark 性能调优之并行度设置

Spark性能调优之并行度设置Spark作业中的并行度什么是并行度Spark在每一个stage中task数量，就称为这个stage上的并行度；为什么要设置并行度如果你按照集群能给的最大资源给当前Spark
fffalconer·2023-11-19 18:04

分布式专题-NIO框架之Netty06 - Netty性能调优与设计模式

目录导航前言设计模式在Netty中的应用单例模式源码举例策略模式源码举例装饰者模式源码举例观察者模式源码举例迭代器模式源码举例责任链模式源码举例工厂模式源码举例Netty高性能并发调优Netty应用程序性能调优单机百万连接调优解决思路后记前言本节我们就需要基于
✎ℳ๓₯㎕...雲淡風輕·2023-11-19 17:48

移动端调试小结

web应用调试分几部分：检查dom结构树和样式树，抓取脚本的执行log，查看网络请求和返回，以及通过performancetools进行性能调优。
Lingli_yu·2023-11-19 16:21

【OpenVAS】一个快速、简洁的 OpenVAS 扫描解决方案

它具有无身份验证和身份验证测试的功能，支持各种高级和低级互联网和工业协议，能够进行大规模扫描的性能调优，还提供强大的内部编程语言，用于实施任何类型的漏洞测试。
KnightYangHJ·2023-11-19 11:12

一个大国的崛起与崩溃（共三册）-PDF电子书

《一个大国的崛起与崩溃》是一部有关苏联74年兴衰历史的实证性专题研究著作，由22名中国学者合力完成，书中涉及政治、军事、外交、经济、文化、民族、宗教等各个方面，共28个专题，总计约110万字。
飞飞书店·2023-11-19 10:52

JVM性能调优监控工具jps、jstat、jmap、jstack、使用详解

文章目录jps常用参数jstat常用参数jmap常用参数jstack常用参数jps查看所有的jvm进程，包括进程ID，进程启动的路径等等。我自己也用PS，即：ps-ef|grepjava#jps1257Jps10wallet-trade-1.0-SNAPSHOT.jar常用参数-v输出传递给JVM的参数#jps-v1379Jps-Dapplication.home=/opt/jdk1.8.0_17
杰哥的技术杂货铺·2023-11-19 01:59

JVM常用性能调优工具详解1

前言工程学科是在不断动手的过程中来细化自己的领域，就像练武功一样，单凭着掌握一身武林绝学是远远不够的，在实战中，如何在多变的环境面前使用合适的招式，怎样出击，应该选择怎样的功法去迎击未知的对手，这往往都是经验之谈，当你踩过了无数的坑，沉淀了无数的线上问题，总结无数的经验，当问题来的时候你能拥有自己独特的见解与方案，你才能所向披靡，战无不胜。当你经验少的时候，要多学会辛苦一下自己，大不了就是比别人多
怎能止步于此·2023-11-18 22:20

SDN实战团技术分享（三十八）：DPDK助力NFV与云计算

对于用户来说，它可能是一个出色的包数据处理性能加速软件库；对于开发者来说，它可能是一个实践包处理新想法的创新工场；对于性能调优者来说，它可能又是一个绝佳的成果分享平台。
lingshengxiyou·2023-11-18 20:32

8年经验之谈 —— 记一次接口压力测试与性能调优！

经验总结1.如果总的CPU占用率偏高，且基本都被业务线程占用时，CPU占用率过高的原因跟JVM参数大小没有直接关系，而跟具体的业务逻辑有关。2.当设置JVM堆内存偏小时，GC频繁会导致业务线程停顿增多，TPS下降，最后CPU占用率也低了；3.当设置JVM堆内存偏大时，GC次数下降，TPS上升，CPU占用率立刻上升。4.Dom4J这个xml解析工具性能很强大，但在处理节点和层级都较多的xml文本时，
MJH827·2023-11-17 16:36

实时数仓入门训练营：Hologres性能调优实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7门精品课程帮助你5天时间从小白成长为大牛！视频链接:https://developer.ali
阿里云云栖号·2023-11-17 14:11

Hologres性能调优

查看执行计划explain仅仅生成执行计划、sql没有执行explainanalyzesql会执行，并收集实际运行中的一些信息性能优化手段表结构、表数据变动后执行analyzetable执行计划中没有让小表hashjoin，说明表的统计信息有误，大表、小表都执行analyze设置distribution_key,distribution_key决定数据存储在哪个shardMotionnode不合适
欧皇西西·2023-11-17 14:09

Spark~~Spark性能调优

文章目录第1章Spark性能调优1.1常规性能调优1.1.1常规性能调优一：最优资源配置1.1.2常规性能调优二：RDD优化1.1.3常规性能调优三：并行度调节1.1.4常规性能调优四：广播大变量1.1.5
几窗花鸢·2023-11-17 10:41

极客时间Spark性能调优实战-学习笔记（1）

通用性能调优（一）一、应用开发三原则原则一：使用spark自身的调优机制充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。钨丝计划的优势？
我不认识CBW·2023-11-17 10:40

Spark 性能调优

1常规性能调优1.1常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略
高个子男孩·2023-11-17 10:09

Spark 性能调优总结

分配更多资源写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，
星空下的那个人影·2023-11-17 10:09

[Spark]二Spark性能调优|Spark任务监控|程序调优|资源调优

二.spark性能调优1.Spark任务监控对Spark性能的调优离不开对任务的监控，只有在运行过程中，通过监控手段发现问题，才能迅速定位问题所在。
胖胖学编程·2023-11-17 10:37

spark-调优-性能调优&内存管理

前置主要涉及6个参数，从3个方面：executor、core、内存的大小，并行度，内存管理进行调优优化的方案资源分配num-executors：spark使用多少个executorsexecutor-cores：core和task的数量这2个参数要结合一起来配置，还要考虑可用的计算资源，executor-cores设置为2-4个比较合适，num-executors就是总共可用的cores除以exe
zdkdchao·2023-11-17 10:36

spark性能调优(二):内存

Memory一、spark内存简介二、堆内内存or堆外内存?三、如何用好RDDCache?四、OOM怎么办?一、spark内存简介spark2.0后,基本上spark内存的管理就已经自动化了,内存出现问题基本上是一些数据问题。比如数据倾斜spark.executor.memory是绝对值,指定了executor进程的JVMHeap总大小spark.memory.fraction是比例值,标记spa
我爱夜来香A·2023-11-17 10:05

Spark 优化 (一) --------- Spark 性能调优

目录一、常规性能调优1.最优资源配置2.RDD优化3.并行度调节4.广播大变量5.Kryo序列化6.调节本地化等待时长二、算子调优1.mapPartitions2.foreachPartition优化数据库操作
在森林中麋了鹿·2023-11-17 10:34

spark性能调优 | 内存优化

目录我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范我们先了解一下有哪些内存1.storage内存存储数据，缓存可预估2.shuffle内存计算joingroupby不可预估spark1.6之前静态管理的，spark1.6之后变成动态管理默认0.5温馨提示在公司尽量不要写rdd(性能不好)RDD示范(spark版本2.1.1)我们转成rdd去跑
Knight_AL·2023-11-17 10:00

MySql数据库性能调优

Masud说道：MySql数据库性能调优是web开发的重要内容，当流量暴增的时候，数据库就撑不住了，如何调优呢？
iteye_9367·2023-11-16 02:49

【寒武纪（7）】MLU的cntoolkit：Cambricon-BANG架构和使用分析，MLU并行计算的硬件抽象、编程模型以及调优思路

文章目录硬件抽象1存储1.1.1存储层次访存一致计算模型1Core核内同步和并行2核间并行和同步编程模型1、Kernel计算规模任务类型执行示例性能调优性能调优实践参考cambriconBANG架构是基础的
Hali_Botebie·2023-11-15 23:39

JVM 三大性能调优参数

JVM的性能调优是Java应用程序优化的重要部分，其中三大性能调优参数为：jvm三大性能调优参数1.堆内存大小(-Xmx和-Xms参数)：堆内存是Java应用程序中最重要的内存区域，存储对象实例和数组等数据
wzxue1984·2023-11-15 22:01

如何正确规划 JVM 性能调优

JVM性能调优涉及到很多方面的权衡，其中某一方面可能会极大地影响整体性能。因此，需要综合考虑所有可能的影响。理解并遵循一些基本原则和理论将使性能调优变得更加容易。
wouderw·2023-11-15 07:20

Android中高级进阶开发面试题冲刺合集（四）

第一篇面试题在这：Android中高级进阶开发面试题冲刺合集（一）第二篇面试题在这：Android中高级进阶开发面试题冲刺合集（二）第三篇面试题在这：Android中高级进阶开发面试题冲刺合集（三）Android性能调优相
代码与思维·2023-11-15 01:22

8年经验之谈 —— 记一次接口压力测试与性能调优！

经验总结1.如果总的CPU占用率偏高，且基本都被业务线程占用时，CPU占用率过高的原因跟JVM参数大小没有直接关系，而跟具体的业务逻辑有关。2.当设置JVM堆内存偏小时，GC频繁会导致业务线程停顿增多，TPS下降，最后CPU占用率也低了；3.当设置JVM堆内存偏大时，GC次数下降，TPS上升，CPU占用率立刻上升。4.Dom4J这个xml解析工具性能很强大，但在处理节点和层级都较多的xml文本时，
自动化测试老司机·2023-11-14 20:02

LoadRunner性能测试

可参考：LoadRunner下载及安装破解性能测试分析与性能调优诊断–史上最全的服务器性能分析监控调优篇https://www.cnblogs.com/laoqing/p/11629941.html虫师
高级点工·2023-11-14 19:16

20个 Linux 服务器性能调优技巧

Linux是一种开源操作系统，它支持各种硬件平台，Linux服务器全球知名，它和Windows之间最主要的差异在于，Linux服务器默认情况下一般不提供GUI(图形用户界面)，而是命令行界面，它的主要目的是高效处理非交互式进程，响应时间并不是那么重要，相反，能够长时间处理高负载才是最关键的。Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工
佩哥说Java·2023-11-14 09:19

Linux 的性能调优的思路

转自：Linux云计算架构Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01性能问
开源Linux·2023-11-14 09:17

linux调优工具,Linux性能调优工具

原标题：Linux性能调优工具在实际开发中，我们有时候会收到一些Linux服务的监控报警，比如CPU飙高，内存飙高等，这个时候，我们会登录到服务器上进行排查。
牛耿·2023-11-14 09:47

Linux操作系统硬件性能调优测试

Linux操作系统硬件性能调优测试1.CPU性能测试2.内存性能测试3.磁盘性能测试3.1.dd工具3.2.fio工具3.3.iostat工具4.存储性能测试5.网卡性能测试5.1.sar工具5.2.脚本工具
降世神童·2023-11-14 09:17

linux java 性能_Linux系统性能调优之性能分析

性能调优的第一步是性能分析，下面从性能分析着手进行一些介绍，尤其对Linux性能分析工具vmstat的用法和实践进行详细介绍。
微小蓝·2023-11-14 09:17

linux性能调优总结

做运维这几年也一直在搞性能调优，写这个文章也算是对工作的总结。讲调优第一步是，要讲为什么要调优？也就是系统分析，分析还需要有指标，做好性能监控的情况下，看到确实需要调优才能进行。
Yonself·2023-11-14 09:42

linux性能调优

Linux性能工具把观察到的性能问题跟系统原理关联起来，特别是把系统从应用程序、库函数、系统调用、再到内核和硬件等不同的层级贯穿起来。这些问题或场景。1·流量高峰期，服务器CPU使用率过高报警，登录Linux上去top完，进一步定位，是系统CPU资源太少，或者程序并发部分有问题。\2.系统没有跑吃内存的程序，free命令之后，发现系统没有内存了，哪里占用了内存。\3.收到Zabbix告警发现某台存
Richardlygo·2023-11-14 09:40

Linux—JVM等性能调优监控

介绍  在linux上跑程序时，常常遇到程序卡顿，内存消耗大，这时候，我们需要使用free查看内存使用情况及top内存消耗排行，当然，我们还可以继续使用一些其他的JVM监控命令如jstat等命令进行java程序的性能评估。free命令free命令介绍  free命令是显示系统内存的使用情况，一般包括了物理内存、交换内存以及内核缓冲区内存。free命令使用[linux@001]$free--help
java领域·2023-11-14 09:40

Linux 性能调优之硬件资源监控

写在前面考试整理相关笔记博文内容涉及Linux硬件资源监控常见的命名介绍，涉及硬件基本信息查看查看硬件错误信息查看虚拟环境和云环境资源理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》系统出现问题，或者存在异常的日志信息，某
山河已无恙·2023-11-14 09:38

数据库01-慢查询优化

MySQL优化MySQL优化是数据库管理和应用性能调优的一个重要方面。以下是一些常规性的MySQL优化经验和适用场景：索引优化：确保表的字段上有适当的索引，以加速查询。
Elaine202391·2023-11-14 08:09

SSH全能终端工具mobaXterm（远程工具）使用教程

mobaXterm使用教程目录引言mobaXterm概述安装与配置下载mobaXterm安装过程基础设置SSH连接创建SSH会话SSH命令行操作文件传输高级特性多标签和分屏宏和自动化脚本插件和扩展问题排查连接问题性能调优总结参考资料
Dontla·2023-11-14 07:59

Spark性能调优案例-优化spark估计表大小失败 和 小表关联 走 broadcast join

背景A任务中关联一张表，该表经过过滤和去重，数据量小于10MB，实际任务耗时较长。B任务关联一张小表，实际任务耗时较长排查思路A任务排查查看sparkUIsql界面：问题1：发现并没有走广播join观察此处join，对于76条数据的表，估计的大小超过10M，实际76条数据大小小于spark.sql.autoBroadcastJoinThreshold的值，导致这个问题的原因在对于broadcast
fir_dameng·2023-11-14 06:46

Spark性能调优案例-多表join优化，减少shuffle

背景A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。整体逻辑示意图：//从tableA读取一次数据，放到临时表t1DROPTABLEIFEXISTStemp.tmp_xx_$date_1;CREATETABLEIFNOTEXISTStemp.tmp_xxx_$date_1asselectxxxfromtableAwherexxxx;//从临时表t1读取和转换数据，得临时表t2DR
fir_dameng·2023-11-14 06:45

Spark性能调优总结

目录1：spark为什么需要调优2.调优的本质3.什么是RDD从薯片加工了解rddRDD的特征和属性4.关于内存计算什么是内存计算：什么是DAGstage的划分stage中的内存计算是怎么样的5.调优之数据不动代码动（调度系统）spark调度系统如何工作的1：spark为什么需要调优spark天生执行效率高，为什么还需要调优看下面个简单的例子：demo1//实现方案1——反例valextractF
只会写demo的程序猿·2023-11-14 06:43

大数据开发-Spark调优常用手段

分配更多的资源分配更多的资源：它是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候
Hoult-吴邪·2023-11-14 06:39

Spark性能调优案例

在实际工作中，性能调优是必不可少的，虽然业务千种百样，实际落地的解决方案可能也不尽相同，但归根结底，调优的最终目的是使得内存、CPU、IO均衡而没有瓶颈。
大数据男·2023-11-14 06:08

Linux内核分析(十三)--内存管理之I/O交换与性能调优

>2.2、匿名页(Anonymouspage)------>2.3、读写方式------>2.4、常驻内存三、页面回收------>3.1、LRU算法------>3.2、嵌入式系统的zRAM四、内存性能调优
文艺小少年·2023-11-13 21:44
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他