调优

最全JVM与性能调优知识点总结，看看哪些是你还没掌握的？

前言JVM调优是每个高级程序员的必修课，在本章中，我会从发展过程以及核心价值来剖析JVM的体系结构。
前程有光·2023-11-19 23:16

huggingface transfromers基于预训练模型进行调优

以Resnet为例，找到了一个微软的resnet-50的预训练模型fromtransformersimportAutoImageProcessor,ResNetForImageClassification#加载前处理处理器，自动构建；功能：输入图片，输出Tenser(1,3,224,224)processor=AutoImageProcessor.from_pretrained("microsof
onmeiei·2023-11-19 22:22

MySQL进阶_8.数据库其他调优策略

文章目录第一节、数据库调优的步骤1.1、选择合适的DBMS1.2、优化表设计1.3、优化逻辑查询1.4、优化物理查询1.5、使用Redis或Memcached作为缓存1.6、库级优化第二节、优化MySQL
珍珠是蚌的眼泪·2023-11-19 21:44

Python大数据之linux学习总结——day10_hive调优

hive调优hive调优hive命令和参数配置1.hive数据压缩压缩对比开启压缩2.hive数据存储[练习]行列存储原理存储压缩比拓展dfs-du-h3.fetch抓取4.本地模式5.join的优化操作
笨小孩124·2023-11-19 20:50

那个陪我打王者的兄弟进了阿里

百世物流专场一面线上SQL调优经验。调优的惯用思路。索引为什么采用
艾小仙人·2023-11-19 19:14

【jvm】MinorGC、MajorGC和FullGC

目录一、说明二、年轻代GC(MinorGC)触发机制三、老年代GC(MajorGC/FullGC)触发机制四、FullGC触发机制一、说明1.jvm调优的主要目的是GC的时间少一些，用户线程执行的时间多一些
王佑辉·2023-11-19 18:01

flink原理实战与性能优化 pdf_三万字长文 | Spark性能优化实战手册

《Spark性能优化：开发调优篇》《Spark性能优化：资源调优篇》《Spark性能优化：数据倾斜调优篇》《Spark性能优化：shuffle调优篇》Spark性能优化：开发调优篇在大数据计算领域，Spark
weixin_39685697·2023-11-19 18:07

spark性能调优之合理的并行度设置

Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！
浪子城·2023-11-19 18:07

Spark性能调优之合理设置并行度

1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以充分利用集群资源，减少每个task处理数据量，而增
跳跃的list·2023-11-19 18:06

【Spark】|【Spark性能调优】|【设置并行度】|【Spark多配置优先级】|【总结】

一、【关于Spark并行度】1.什么是Spark的并行度？并行度其实就是指的是spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度2.官方推荐task的个数？官方推荐，task数量，设置成sparkApplication总cpucore数量的2~3倍。比如：150个cpucore，基本设置task数量为300~500。【由于task实际处理运行时间
Haven.Liu·2023-11-19 18:35

spark性能调优 | 默认并行度

SparkSql默认并行度看官网，默认并行度200https://spark.apache.org/docs/2.4.5/sql-performance-tuning.html#other-configuration-options优化在数仓中task最好是cpu的两倍或者3倍(最好是倍数，不要使基数)拓展在本地task需要自己设置，cpu就是local[x]x就代表cpu数在yarn--num-
Knight_AL·2023-11-19 18:04

Spark 性能调优之并行度设置

Spark性能调优之并行度设置Spark作业中的并行度什么是并行度Spark在每一个stage中task数量，就称为这个stage上的并行度；为什么要设置并行度如果你按照集群能给的最大资源给当前Spark
fffalconer·2023-11-19 18:04

分布式专题-NIO框架之Netty06 - Netty性能调优与设计模式

目录导航前言设计模式在Netty中的应用单例模式源码举例策略模式源码举例装饰者模式源码举例观察者模式源码举例迭代器模式源码举例责任链模式源码举例工厂模式源码举例Netty高性能并发调优Netty应用程序性能调优单机百万连接调优解决思路后记前言本节我们就需要基于
✎ℳ๓₯㎕...雲淡風輕·2023-11-19 17:48

Spark数据倾斜

Spark数据倾斜调优数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark作业的性能会比期望值差很多，两大直接后果:Spark任务OOM异常退出，数据倾斜拖慢整个任务的执行。
WovJf·2023-11-19 17:04

13 面试题

原理怎么防止重复消费的如何实现持久化怎么防止数据丢失的多线程实现机制hashmap数据结构单例的几种实现方式spring中用到的几种设计模式springbean生命周期服务器CPU100%怎么排查jvm调优方法几种
滔滔逐浪·2023-11-19 17:30

移动端调试小结

web应用调试分几部分：检查dom结构树和样式树，抓取脚本的执行log，查看网络请求和返回，以及通过performancetools进行性能调优。
Lingli_yu·2023-11-19 16:21

jvm调优参数配置

在JVM启动参数中，可以设置跟内存、垃圾回收相关的一些参数设置，默认情况不做任何设置JVM会工作的很好，但对一些配置很好的Server和具体的应用必须仔细调优才能获得最佳性能。
xmh-sxh-1314·2023-11-19 15:28

你说你做过JVM调优和参数配置，请问如何查看JVM系统默认值

JVM的参数类型标配参数(了解)-version-helpjava-showversionx参数(了解)-Xint：解释执行-Xcomp：第一次使用就编译成本地代码-Xmixed：混合模式xx参数(重点)Boolean类型公式-XX：+或者-某个属性值+表示开启-表示关闭如何查看一个正在运行中的java,它的jvm参数是否开启？具体参数是多少jps:查看java后台进程jinfo:正在运行的jav
sgy_yuebin·2023-11-19 15:27

09_MYSQL监控调优

一、Mysql性能介绍1、什么是Mysql？它有什么优点？MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。Mysql是开源的，所以你不需要支付额外的费用。Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库
王康健_0124·2023-11-19 15:12

2 你说你做过 JVM 调优和参数配置，请问如果盘点查看 JVM 系统默认值？

JVM的参数类型标配参数-version-helpX参数（了解）-Xint：解释执行-Xcomp：第一次使用就编译成本地代码-Xmixed：混合模式XX参数Boolean类型：-XX：+或者-某个属性值（+表示开启，-表示关闭）-XX:+PrintGCDetails：打印GC收集细节-XX:-PrintGCDetails：不打印GC收集细节-XX:+UseSerialGC：使用了串行收集器-XX:
LeoStudying·2023-11-19 15:25

java 查看jvm配置_JVM调优和参数配置请问如何盘点查看JVM系统默认值

JVM调优和参数配置请问如何盘点查看JVM系统默认值JVM调优和参数配置，请问如何盘点查看JVM系统默认值一、JVM的参数类型：1、标配参数：12java-versionjava-helppublicclassHelloGC
上官晓栋·2023-11-19 15:24

java 查看jvm配置_java面试-JVM调优和参数配置，如何查看JVM系统参数默认值

一、JVM的参数类型：1、标配参数：java-versionjava-help2、X参数：-Xmixed混合模式(先编译后执行)-Xint解释执行-Xcomp第一次使用就编译成本地代码3、XX参数：Boolean类型：公式：-XX:+(+表示开启-表示关闭)问题：如何查看一个正在运行中的java程序，它的某个JVM参数是否开启？publicclassHelloGC{publicstaticvoid
vvv666s·2023-11-19 15:24

你说你做过JVM调优和参数配置，请问如何盘点查看JVM系统默认值

JVM参数类型：1、标配参数：-version-help-showversion2、X参数：-Xint解释执行-Xcomp第一次使用就编译成本地代码-Xmixed混合模式3、XX参数：boolean类型：-XX:+/-某个属性值+表示开启某个属性-表示没有开启例如：使用jps（查看java后台运行线程）、jinfo（查看java运行信息）查看Java运行参数信息：jinfo-flag配置项进程编号
鹿克阿特米·2023-11-19 15:23

Java面试题集锦(13)：JVM调优和参数配置，请问如何盘点查看JVM系统默认值

文章目录JVM的参数类型1.标配参数2.x参数3.xx参数（重点）（1）Boolean类型（开启/关闭）（2）KV设值类型（Key-Value键值对）（3）jinfo举例，如何查看当前运行程序的配置（4）题外话4.JVM盘点家底查看初始默认值第一种方法：第二种方法：JVM的参数类型1.标配参数从JDK1.0到Java12，一直存在。-version-helpjava-showversion2.x参
秋心拆两半_·2023-11-19 15:22

JVM 调优和参数配置，如何盘点查看 JVM 系统默认值

文章目录JVM的参数类型标配参数x参数（了解）xx参数⏳Boolean类型⏳KV设值类型⏳jinfo举例，如何查看当前运行程序的配置⏳题外话（坑题）盘点家底查看JVM默认值-XX:+PrintFlagsInitial⏳主持要查看初始默认⏳公式⏳Case-XX:+PrintFlagsFinal⏳主要查看修改更新⏳公式⏳CasePrintFlagsFinal举例，运行java命令的同时打印出参数⏳ja
愿你慢慢变强·2023-11-19 15:51

JVM调优及参数设置

(1)参数-Xms：初始堆大小-Xmx：最大堆大小此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存-Xmn：年轻代大小整个堆大小=年轻代大小+年老代大小+持久代大小。持久代一般固定大小为64m，所以增大年轻代后，将会减小年老代大小。此值对系统性能影响较大，Sun官方推荐配置为整个堆的3/8。-XX:NewSize：设置年轻代大小-XX:MaxNewSize：年轻代最大值-XX
m0_67401499·2023-11-19 15:50

JVM调优和参数配置，请问如何盘点查看JVM系统默认值

一、JVM的参数类型：1、标配参数：12java-versionjava-helpX参数（了解）-Xmixed混合模式（先编译后执行）-Xint解释执行-Xcomp第一次使用就编译成本地代码3、XX参数：Boolean类型：公式：-XX:+(+表示开启-表示关闭)是否打印GC收集细节-XX:+PrintGCDetails-XX:-PrintGCDetails是否使用串行垃圾回收器-XX:+UseS
liuec1002·2023-11-19 15:47

10、如果做过 JVM 调优和参数配置，请问如果盘点查看 JVM 系统默认值？

文章目录1、JVM的参数类型有哪几种？2、盘点家底，查看JVM默认值1、JVM的参数类型有哪几种？标配参数versionhelpX参数（了解）Xint：解释执行Xcomp：第一次使用就编译成本地代码Xmixed：混合模式XX参数（重点）Boolean类型：-XX：+或者-某个属性值（+表示开启，-表示关闭）-XX:+PrintGCDetails：打印GC收集细节-XX:-PrintGCDetail
会飞的小蜗·2023-11-19 15:45

系列十、你说你做过JVM调优和参数配置，请问如何盘点JVM系统的默认值？

一、JVM的参数类型1.1、标配参数java-versionjava-help1.2、XX参数1.2.1、Boolean类型公式：-XX:+或者-某个属性值+表示开启、-表示关闭#是否打印GC收集细节-XX:+PrintGCDetails-XX:-PrintGCDetails#是否使用串行垃圾收集器-XX:+UseSerialGC-XX:-UseSerialGC1.2.2、KV设值类型公式：-XX
YYAugenstern·2023-11-19 15:38

18种大模型指令调优方法分享，附模型源码

指令调优（IT），一种针对大型语言模型（LLMs）的训练方法，是提高大型语言模型能力和可控性的关键技术。该方法的核心目标是使LLM具备遵循自然语言指令并完成现实世界任务的能力。
深度之眼·2023-11-19 13:29

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、Hive/Hadoop高频面试点集合(二)01-基于Hadoop的数据仓库Hive基础知识Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处
000X000·2023-11-19 13:43

Hive 调优指南

Hive调优指南ApacheHive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高Hive查询性能和效率，本文将介绍一些Hive调优的策略和方法。
小泽长不胖·2023-11-19 13:41

Maxcompute 小记1

NULL值排序2、合并小文件手动合并3、排除某个不想要的字段4、bigint和string关联5、sum()over()--级联求和6、lag()over()--（取出前n行数据）7、一次奇葩的数据倾斜调优经历
大数据00·2023-11-19 13:10

HiveSql语法与调优

目录一.数据类型对比1.基本数据类型2.集合数据类型二.DDL数据定义1.数据库1.1.创建数据库1.2.显示数据库1.3.查看数据库详情1.4.切换数据库1.5.修改数据库1.6.删除数据库2.表2.1.创建表模板2.2.创建内部表与外部表2.3.创建表指定数据格式2.4.拷贝表结构2.5.创建分区表2.6.分桶与分桶排序2.7.设置表文件存储格式与压缩2.8.获取表信息2.9.修改表2.10.
派大星`·2023-11-19 13:09

2023.11.17-hive调优的常见方式

目录0.设置hive参数1.数据压缩2.hive数据存储格式3.fetch抓取策略4.本地模式5.join优化操作6.SQL优化(列裁剪,分区裁剪,map端聚合,count(distinct),笛卡尔积)6.1列裁剪:6.2分区裁剪:6.3map端聚合(groupby):6.4count(distinct):6.5笛卡尔积:7.动态分区8.MapReduce并行度调整9.并行执行严格模式并发(看起
白白的wj·2023-11-19 12:59

走近科学之《JVM 的秘密》

JVMJVM、内存模型、类加载机制、对象的创建、垃圾回收机制、对象内存分配策略、JVM调优等。
红衣女妖仙·2023-11-19 12:46

单核CPU, 1G内存，也能做JVM调优吗？

最近，笔者的技术群里有人问了一个有趣的技术话题：单核CPU,1G内存的超低配机器，怎么做JVM调优？这实际上是两个问题。单核CPU的超低配机器，怎么充分利用CPU？
YouluBank·2023-11-19 11:24

【OpenVAS】一个快速、简洁的 OpenVAS 扫描解决方案

它具有无身份验证和身份验证测试的功能，支持各种高级和低级互联网和工业协议，能够进行大规模扫描的性能调优，还提供强大的内部编程语言，用于实施任何类型的漏洞测试。
KnightYangHJ·2023-11-19 11:12

JVM 调优指南

3、分代垃圾回收工作机制六、对JVM进行调优的基础思路七、GC情况分析实例JVM调优指南--楼兰JVM虚拟机，这是一个Java程序员一直以来熟悉但是又陌生的神秘东东。
roykingw·2023-11-19 10:35

一次java系统调优 从150到最高1800的过程

前言在做公司系统压力测试(500个线程并发)的时候某个服务的接口压测初始结果如下初始指标(最高)：吞吐量150/sTPS:240CPU,内存，带宽，磁盘io如下图所示可以看到资源使用是有问题的cpu和带宽并没有给足压力说明并不是资源所导致的瓶颈，所以现在分析代码怎么分析代码在哪里耗时比较久呢？主链路梳理前置拦截器耗时节点次数查询缓存4查询数据库3刷新缓存2写数据库1处理请求耗时节点次数查询数据库1
大鸟-0101·2023-11-19 06:25

客户端启动性能优化实践

都会做启动优化，启动优化主要有如下方式dll基址固定dll延迟加载dll文件预读程序二进制文件连续分布二进制文件relink启动逻辑优化调整客户端性启动性能优化比起服务器要简单，服务器动不动就搞缓存、分布式、算法调优
yujiankk·2023-11-19 06:32

ClickHouse调优（二）语法优化

1、ClicHouse语法优化规则ClickHouse的SQL优化规则是基于RBO（RuleBasedOptimization），下面是一些优化规则。1.1、COUNT优化在调用count函数时，如果使用的是count()或者count(*),且没有where条件，则会直接使用system.tables的total_rows，例如：注意：Optimizedtrivialcount，这是对count
Yuan_CSDF·2023-11-19 05:19

分布式锁——分布式锁的优化过程、分布式锁+AOP实现Redis缓存

分布式锁的优化流程以及结合AOP实现缓存一、配置Redis缓存1、为什么使用缓存一个系统最大的性能瓶颈就是数据库的IO操作，从数据库入手也是调优的最好的切入点。
其实不会敲代码·2023-11-19 04:00

jvm之调优案例分析

大内存硬件上的程序部署策略一个15万PV/日左右的在线文档类型网站最近更换了硬件系统，服务器的硬件为四路志强处理器、16GB物理内存，操作系统为64位CentOS5.4，Resin作为Web服务器。整个服务器暂时没有部署别的应用，所有硬件资源都可以提供给这访问量并不算太大的文档网站使用。软件版本选用的是64位的JDK5，管理员启用了一个虚拟机实例，使用-Xmx和-Xms参数将Java堆大小固定在1
tracy_668·2023-11-19 03:54

性能测试知多少---系统架构分析

在我们进行需求的时候也需要对被测项目的架构有一定的认识，如果不了解被测系统的架构，那么在后期的性能分析与调优阶段将无从下手。简单系统架构介绍因为每个公司的业务不同，采用的技术，架构也都有很大不同。
测试小鬼·2023-11-19 02:42

性能分析工具的使用

文章目录1.数据库服务器调优的步骤2.查看系统性能参数3.统计SQL的查询成本：last_query_cost4.定位执行慢的SQL：慢查询日志4.1开启slow_query_log4.2修改long_query_time
ITfeib·2023-11-19 02:10

JVM性能调优监控工具jps、jstat、jmap、jstack、使用详解

文章目录jps常用参数jstat常用参数jmap常用参数jstack常用参数jps查看所有的jvm进程，包括进程ID，进程启动的路径等等。我自己也用PS，即：ps-ef|grepjava#jps1257Jps10wallet-trade-1.0-SNAPSHOT.jar常用参数-v输出传递给JVM的参数#jps-v1379Jps-Dapplication.home=/opt/jdk1.8.0_17
杰哥的技术杂货铺·2023-11-19 01:59

g1垃圾收集器gc的四种日志解释

source=author&term=22991这篇文章将深入研究G1的日志和调优参数。为了在实际工作中对G
杰哥的技术杂货铺·2023-11-19 01:29

JVM第六课：JVM调优必备理论知识 - 3种垃圾清除算法，常见的垃圾回收器

JVM调优是一层窗户纸，只是看起来很难。学完本节课，让你：熟悉GC常用算法，熟悉常见垃圾回收器，具有实际JVM调优实战经验Whatisgarbage什么是垃圾？没有引用指向的对象就是垃圾。
学而知不足~·2023-11-19 01:19

JVM调优及垃圾回收GC

一、说一说JVM的内存模型。JVM的运行时内存也叫做JVM堆，从GC的角度可以将JVM分为新生代、老年代和永久代。其中新生代默认占1/3堆内存空间，老年代默认占2/3堆内存空间，永久代占非常少的对内存空间。新生代又分为Eden区、SurvivorFrom区和SurvivorTo区，Eden区默认占8/10新生代空间，SurvivorFrom区和SurvivorTo区默认分别占1/10新生代空间；E
inexaustible·2023-11-19 01:14
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他