SQL语句优化调优

JVM+GC解析（前提知识串联）

前提准备JVMGC垃圾回收JVM虚拟机监控调优和故障处理Tomcat和微服务优化1、前提复习1.1、JVM内存结构1.1.1、JVM体系结构概览图中灰色部分为线程私有，几乎不存在垃圾回收橙色部分线程共有
张轶渤·2023-12-30 03:41

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
测试老哥·2023-12-30 03:01

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
软件测试果冻·2023-12-29 21:29

AI训练师常用的ChatGPT通用提示词模板

模型调优：如何优化模型的性能？模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-29 18:26

350道java面试题收集整理，包含了上百家企业近年的人才计划！

目录展示一、性能优化面试专栏1、tomcat性能优化整理1.1、你怎样给tomcat调优？1.2、如何加大comc
Java阿七·2023-12-29 18:41

Mysql常见sql语句优化

一，Orderby优化如果创建复合索引test_index(a,b),覆盖索引可提升查询速度，排序时要么都是升序，要么都是降序。排序时字段的名字按照索引的名字顺序来未优化：selecta,bfromtableorderbyaasc,bdesc优化后：selecta,bfromtableorderbya,bdesc/asc二，Groupby优化groupby底层也是进行了filesort（文件排序）
YUMENA·2023-12-29 10:23

机器学习库Scikit-learn

3.2Scikit-learn概述3.3Scikit-learn主要用法3.3.1基本建模流程3.3.2数据预处理3.3.3监督学习算法3.3.4无监督学习算法3.3.5评价指标3.3.6交叉验证及超参数调优
风度78·2023-12-29 04:48

2022-02-24-Spark-44(性能调优通用调优)

1.应用开发的原则原则一：坐享其成我们应该尽可能地充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。AQE可以让Spark在运行时的不同阶段，结合实时的运行时状态，周期性地动态调整前面的逻辑计划，然后根据再优化的逻辑计划，重新选定最优的物理计划，从而调整运行时后续阶段的执行方式。AQE功能默认是关闭的，如果我们想要充分利用自动分区合并、自动数据倾斜处理和
冰菓_lam·2023-12-29 03:14

Java基础-JVM调优-参数调优

Java工程师知识树/Java基础JVM参数配置如JAVA_OPTS="JAVA_OPTS-Xmx512m-Xms512m-Xmn170m-Xss128k-XX:NewRatio=4-XX:SurvivorRatio=4"例子讲解：1）-Xmx512m：设置Java虚拟机的堆最大可用内存大小，单位：兆；整个堆大小=年轻代+年老代+持久代。持久代一般固定65m。2）-Xms512m：设置Java虚拟
HughJin·2023-12-29 00:23

【转】idea设置JVM运行参数

对JVM运行参数进行修改是JVM性能调优的重要手段，下面介绍在应用程序开发过程中JVM参数设置的几种方式。
全栈测试笔记·2023-12-28 23:56

系列十四、SpringBoot + JVM参数配置实战调优

一、SpringBoot+JVM参数配置实战调优1.1、概述前面的系列文章大篇幅的讲述了JVM的内存结构以及各种参数，今天就使用SpringBoot项目实战演示一下，如何进行JVM参数调优，如果没有阅读过前面系列文章的朋友
YYAugenstern·2023-12-28 23:20

【已解决】TypeError: __init__() got an unexpected keyword argument ‘min_impurity_split‘

在此不加调优的指定随机森林的相关超参数防止过拟合：参数n_estimators：指定随机森林中决策树的数量为100；参数max_depth：指定决策树的最大深度为5；参数min_samples_leaf
ZERWW·2023-12-28 21:14

新特性解读 | binlog 压缩

作者：王福祥爱可生DBA团队成员，负责客户的数据库故障处理以及调优。擅长故障排查及性能优化。对数据库相关技术有浓厚的兴趣，喜欢分析各种逻辑。
爱可生开源社区·2023-12-28 21:25

Java开发框架和中间件面试题(10)

113.如何进行JVM性能调优？115.GC调优策略有哪些？116.介绍下单点登
龙贝子·2023-12-28 19:04

阿里中间件团队4面真题(60W)：线程锁+分布式锁+Kafka等

synchronized和ReentrantLock相关的底层实现线程池的底层实现以及常见的参数数据结构基本都问了一遍：链表、队列等Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数分布式锁的实现比较技术一面题目
AI乔治·2023-12-28 17:53

2023 云原生编程挑战赛收官：1.8 万人报名，冠军花落北京邮电大学、电子科技大学、旷识科技

大赛专家评审团认为，三大赛道的冠军团队，方案思路清晰，提出的技术优化点具有可落地性，在多个常见问题以及性能调优中的解决思路具有很高的借鉴意义，能深入到
阿里云云原生·2023-12-28 12:56

hql、数据仓库、sql调优、hive sql、python

SQL/HQLHQL(HibernateQueryLanguage)是面向对象的查询语言SQL的操作对象是数据列、表等数据库数据;而HQL操作的是类、实例、属性#FROMStringhql="fromcom.demo.bean.User"="select*fromuser"#WHERE"formUseruwhereu.id=1"="select*formuserwhereid=1"#查询出一个St
许一世流年 绝不嵩手 cium·2023-12-28 11:46

Linux系统性能的四个指标：CPU、内存、磁盘、网络

Linux系统调优时需要用到一些工具来查看和分析CPU/内存/磁盘/网络的情况，先根据四个方面对接的工具进行介绍。
运维仙人·2023-12-28 10:53

数据库优化

一.sql语句优化1.应尽量避免在where子句中对字段进行null值判断，创建表时NULL是默认值，但大多数时候应该使用NOTNULL，或者使用一个特殊的值，如0，-1作为默认值。
零_WYF·2023-12-28 09:35

JVM 性能调优——HotSpot VM 调优记录

宿主机硬件：8核/16G内存/50G磁盘，系统：CentOS7.7，Docker单实例。1.JDK默认启动参数硬件：4核/8G内存/256G磁盘，系统：Windows7。查看JDK1.8默认启动参数命令：#java-XX:+PrintCommandLineFlags-version返回：-XX:InitialHeapSize=126504256//等价于-Xms1g，JVM堆初始大小（新生代+老年
一叶知秋V·2023-12-28 08:22

java进程无故消失的原因分析

先不考虑jvm关于young/old的相关调优。排除由jvm引发的进程猝死。free命令查看机器内存既然不是jvm的问
酱君挺怎样·2023-12-28 06:24

数据存储与数据库性能调优：原理与实践

1.背景介绍随着数据的增长和复杂性，数据库性能调优成为了一个重要的话题。数据库性能调优可以帮助我们更有效地存储和查询数据，从而提高系统的性能和可用性。
一枚可爱的程序女孩·2023-12-28 05:14

Oracle统计信息的魔力

Oracle统计信息的概述二、统计信息主要包括以下内容三、收集统计信息的方法使用dbms_stats程序包手动收集收集的是系统统计信息四、案例一、Oracle统计信息的概述Oracle统计信息是数据库性能调优的关键组成部分
无情白·2023-12-28 04:48

mysql关联语句优化_MySQL-数据库多表关联查询太慢，如何进行SQL语句优化

工作中我们经常用到多个leftjoin去关联其他表查询结果，但是随着数据量的增加，一个表的数据达到百万级别后，这种普通的leftjoin查询将非常的耗时。举个例子：现在porder表有1000W数据，其他关联的表数据都很少，因为条件的限制必须要关联3个表，正常的逻辑就是这样写，但是我们在数据库执行的时候会发现这样的SQL非常耗时，而且此时才limit800这样的SQL怎么能让用户受得了呢？sele
探索者19·2023-12-28 02:03

Mysql深度讲解 – Join语句

更多Mysql调优内容请点击【Mysql优化-深度讲解系列目录】。Join语法简单来说Join一共有三种连接形式：内连接、左连接和右连接，其中左连接和右连接可以合并称为外连接。
Smallc0de·2023-12-28 02:00

EFCore调优

EFCore调优篇一.DBFirst1.引入程序包Install-PackageMicrosoft.EntityFrameworkCore.SqlServerInstall-PackageMicrosoft.EntityFrameworkCore.ToolsInstall-PackageMicrosoft.EntityFrameworkCore.SqlServer.Design
kalvin_y_liu·2023-12-27 21:00

hive总结06_企业级调优

目录本地模式表的优化小表、大表Join大表Join大表MapJoinGroupByCount(Distinct)去重统计笛卡尔积行列过滤动态分区调整分桶分区数据倾斜合理设置Map数小文件进行合并复杂文件增加Map数合理设置Reduce数并行执行严格模式JVM重用推测执行压缩执行计划（Explain）Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如
自由地带·2023-12-27 18:21

Hive 执行计划 & 性能调优

一、执行计划explain，查看基本信息explaindependency，查看依赖信息explainauthorization，查看权限信息1.explain用法--explain+执行语句例如：explainselects2.s_id,avg(s2.s_score)asavg_scorefromedu.studentsjoinedu.scores2ons.s_id=s2.s_idwheres.
巷子里的猫X·2023-12-27 18:51

【Hive】性能调优 - Map JOIN

Hive版本:hive-3.1.3map-sideJOIN和MapJOIN的区别map-sideJOIN就是预聚合，在map阶段先聚合一下，这样数据到了reduce有可能就不倾斜了MapJOIN就是缓存小表，没有shuffle，没有reduce概述如果表关联时，有一张表很小，那么可以在大表通过mapper时将小表完全加载到内存中，Hive可以在map端完成关联过程，这就是所谓的map-sideJO
青云游子·2023-12-27 18:21

大数据篇--Hive调优

文章目录一、表设计层面1.关闭动态分区：2.开启分桶：3.采用合适的存储格式：二、参数调优1.严格模式：2.FetchTask功能：3.reduce个数控制：4.mapjoin：5.skewjoin方案
小强签名设计·2023-12-27 18:20

Hive优化-SQL调优

Hive优化-SQL调优此博客参考了其他博客：hivesqlhttps://www.cnblogs.com/fnlingnzb-learner/p/13087976.html后续还会继续更新和优化优化的根本思想
ShyGlow·2023-12-27 18:20

Hive 在工作中的调优总结

总结了一下在以往工作中，对于HiveSQL调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作，partitioned
fx67ll·2023-12-27 18:50

大数据之hive_hive的企业级调优

简单调优:1.测试数据可以本地模式运行2.select字段时禁止使用*还可以加上where进行行列过滤3.selectfromajoinb时避免直接join,因为会产生笛卡尔积,建议加上on进行过滤,减少数据量
普罗米修斯之火·2023-12-27 18:50

Hive之企业级调优实战

1：Fetch抓取Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算例如：select*fromscore;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minim
不要迷恋发哥·2023-12-27 18:50

【Hive_05】企业调优1（资源配置、explain、join优化）

1、计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划（重点）2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明（1）map-side聚合相关的参数3.2优化案例4、join优化4.1Join算法概述（1）CommonJoin（2）MapJoin（3）BucketMapJoin（4）SortMergeBucket
温欣2030·2023-12-27 18:49

Hive学习——企业级调优

目录一、计算资源调优(一)Yarn资源配置——集群1.Yarn配置说明(1)yarn.nodemanager.resource.memory-mb(2)yarn.nodemanager.resource.cpu-vcores
雷神乐乐·2023-12-27 18:49

【hive】hive的调优经验

一、hive自己进行优化对union这样的命令进行了优化二、数据本地化率hdfs数据本地化率对hive性能产生影响在数据大小一定的情况下，500个128M的文件和2个30G的文件跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。三、数据格式hive提供text，sequenceFile，RCFile，ORC，Parquest等
kiraraLou·2023-12-27 18:49

论文阅读——TÜLU

TÜLU：通过整合资源实现更好的教学调优模型加指令的多样性可以有效地提高指令调整的性能。所以创建了两个混合数据集，
じんじん·2023-12-27 17:07

ChatGLM2-6B微调实践-QLora方案

ChatGLM2-6B微调实践-QLora方案环境部署Lora微调项目部署准备数据集修改训练脚本adapter推理模型合并与量化合并后的模型推理参数调优微调过程中遇到的问题参考：环境部署申请阿里云GPU
我在北国不背锅·2023-12-27 15:25

企业级实战项目：基于 pycaret 自动化预测公司是否破产

本文系数据挖掘实战系列文章，我跟大家分享一个数据挖掘实战，与以往的数据实战不同的是，用自动机器学习方法完成模型构建与调优部分工作，深入理解由此带来的便利与效果。
Python数据挖掘·2023-12-27 12:40

调优-mybatis saveBatch

一条一条插入：批量插入：批量插入-优化：在url配置#rewriteBatchedStatements=trueurl:jdbc:mysql://localhost:3306/xi_ning?characterEncoding=utf-8&serverTimezone=UTC&rewriteBatchedStatements=truerewriteBatchedStatements=true是一个
猫三棂·2023-12-27 06:40

JVM面试题

3.直接内存4.说一下类加载的执行过程5.JVM调优参数有哪些6.JVM调优的工具7.java内存泄漏的排查思路8.cpu飙高排查方案和思路1.什么是虚拟机栈每个线程运行时需要的内存，称为虚拟机栈2.方法内的局部变量是线程安全吗
ITfeib·2023-12-27 06:12

JVM调优之经验

在生产系统中，高吞吐和低延迟一直都是JVM调优的最终目标，但这两者恰恰又是相悖的，鱼和熊掌不可兼得，所以在调优之前要清楚舍谁而取谁。
alterem·2023-12-26 23:21

码歌老薛大话Java性能调优，Java调优概述(一)

老薛读书会1第一本书大话java性能调优书籍简单介绍，今天和大家读的是大话java性能调优这本书，IBM技术专家周明耀先生编纂。
坑王老薛·2023-12-26 19:56

Linux性能调优 | 01 平均负载的理解和分析

01uptime命令通常我们发现系统变慢时，我们都会执行top或者uptime命令，来查看当前系统的负载情况，比如像下面，我执行了uptime，系统返回的了结果。[root@lincoding~]#uptime08:31:49up27min,1user,loadaverage:0.07,0.04,0.00前几列的信息，相信大家都很熟悉，它们分别是当前时间、系统运行时间和正在登陆的用户个数，最后一个
小林coding·2023-12-26 19:15

EMQ百万级MQTT消息服务(优化和压测)

只有你自己试了才知道,本节就带着大家一起有调优系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目附上:喵了个咪的博客:w-blog.cnEMQ官方地址:http://emqtt.com/EMQ中文文档
文振熙·2023-12-26 13:14

使用Java进行性能调优的实践指南

为了确保Java应用程序的高效运行，性能调优成为了一项重要的任务。本文将为您提供一份使用Java进行性能调优的实践指南，帮助您优化应用程序的性能。
api77·2023-12-26 12:52

JVM调优的参数在哪里可以进行设置（不是指临时的）

WAR包部署在Tomcat中时，可以通过设置JVM调优参数来提升性能。以下是一些常用的JVM调优参数：-Xms:设置JVM的初始堆大小，例如-Xms512m表示初始堆大小为512MB。
Flying_Fish_roe·2023-12-26 09:29

大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队

本文针对HiveSQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧，能够显著提升HiveSQL的执行效率和响应速度。
京东云技术团队·2023-12-26 06:33

08-JVM调优实战及常量池详解

文章目录阿里巴巴Arthas详解Arthas使用场景Arthas使用GC日志详解打印GC日志方法如何分析GC日志CMSG1JVM参数汇总查看命令Class常量池与运行时常量池字面量符号引用字符串常量池字符串常量池的设计思想三种字符串操作(Jdk1.7及以上版本)字符串常量池位置字符串常量池设计原理String常量池问题的几个例子示例1：示例2：示例3：示例4：示例5：示例6：关于String是不可
月球程序猿·2023-12-26 04:15
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他