调优第18页

2023 云原生编程挑战赛收官：1.8 万人报名，冠军花落北京邮电大学、电子科技大学、旷识科技

大赛专家评审团认为，三大赛道的冠军团队，方案思路清晰，提出的技术优化点具有可落地性，在多个常见问题以及性能调优中的解决思路具有很高的借鉴意义，能深入到

阿里云云原生·2023-12-28 12:56

hql、数据仓库、sql调优、hive sql、python

SQL/HQLHQL(HibernateQueryLanguage)是面向对象的查询语言SQL的操作对象是数据列、表等数据库数据;而HQL操作的是类、实例、属性#FROMStringhql="fromcom.demo.bean.User"="select*fromuser"#WHERE"formUseruwhereu.id=1"="select*formuserwhereid=1"#查询出一个St

许一世流年绝不嵩手 cium·2023-12-28 11:46

Linux系统性能的四个指标：CPU、内存、磁盘、网络

Linux系统调优时需要用到一些工具来查看和分析CPU/内存/磁盘/网络的情况，先根据四个方面对接的工具进行介绍。

运维仙人·2023-12-28 10:53

JVM 性能调优——HotSpot VM 调优记录

宿主机硬件：8核/16G内存/50G磁盘，系统：CentOS7.7，Docker单实例。1.JDK默认启动参数硬件：4核/8G内存/256G磁盘，系统：Windows7。查看JDK1.8默认启动参数命令：#java-XX:+PrintCommandLineFlags-version返回：-XX:InitialHeapSize=126504256//等价于-Xms1g，JVM堆初始大小（新生代+老年

一叶知秋V·2023-12-28 08:22

java进程无故消失的原因分析

先不考虑jvm关于young/old的相关调优。排除由jvm引发的进程猝死。free命令查看机器内存既然不是jvm的问

酱君挺怎样·2023-12-28 06:24

数据存储与数据库性能调优：原理与实践

1.背景介绍随着数据的增长和复杂性，数据库性能调优成为了一个重要的话题。数据库性能调优可以帮助我们更有效地存储和查询数据，从而提高系统的性能和可用性。

一枚可爱的程序女孩·2023-12-28 05:14

Oracle统计信息的魔力

Oracle统计信息的概述二、统计信息主要包括以下内容三、收集统计信息的方法使用dbms_stats程序包手动收集收集的是系统统计信息四、案例一、Oracle统计信息的概述Oracle统计信息是数据库性能调优的关键组成部分

无情白·2023-12-28 04:48

Mysql深度讲解 – Join语句

Smallc0de·2023-12-28 02:00

EFCore调优

EFCore调优篇一.DBFirst1.引入程序包Install-PackageMicrosoft.EntityFrameworkCore.SqlServerInstall-PackageMicrosoft.EntityFrameworkCore.ToolsInstall-PackageMicrosoft.EntityFrameworkCore.SqlServer.Design

kalvin_y_liu·2023-12-27 21:00

hive总结06_企业级调优

目录本地模式表的优化小表、大表Join大表Join大表MapJoinGroupByCount(Distinct)去重统计笛卡尔积行列过滤动态分区调整分桶分区数据倾斜合理设置Map数小文件进行合并复杂文件增加Map数合理设置Reduce数并行执行严格模式JVM重用推测执行压缩执行计划（Explain）Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如

自由地带·2023-12-27 18:21

Hive 执行计划 & 性能调优

一、执行计划explain，查看基本信息explaindependency，查看依赖信息explainauthorization，查看权限信息1.explain用法--explain+执行语句例如：explainselects2.s_id,avg(s2.s_score)asavg_scorefromedu.studentsjoinedu.scores2ons.s_id=s2.s_idwheres.

巷子里的猫X·2023-12-27 18:51

【Hive】性能调优 - Map JOIN

Hive版本:hive-3.1.3map-sideJOIN和MapJOIN的区别map-sideJOIN就是预聚合，在map阶段先聚合一下，这样数据到了reduce有可能就不倾斜了MapJOIN就是缓存小表，没有shuffle，没有reduce概述如果表关联时，有一张表很小，那么可以在大表通过mapper时将小表完全加载到内存中，Hive可以在map端完成关联过程，这就是所谓的map-sideJO

青云游子·2023-12-27 18:21

大数据篇--Hive调优

文章目录一、表设计层面1.关闭动态分区：2.开启分桶：3.采用合适的存储格式：二、参数调优1.严格模式：2.FetchTask功能：3.reduce个数控制：4.mapjoin：5.skewjoin方案

小强签名设计·2023-12-27 18:20

Hive优化-SQL调优

Hive优化-SQL调优此博客参考了其他博客：hivesqlhttps://www.cnblogs.com/fnlingnzb-learner/p/13087976.html后续还会继续更新和优化优化的根本思想

ShyGlow·2023-12-27 18:20

Hive 在工作中的调优总结

总结了一下在以往工作中，对于HiveSQL调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作，partitioned

fx67ll·2023-12-27 18:50

大数据之hive_hive的企业级调优

简单调优:1.测试数据可以本地模式运行2.select字段时禁止使用*还可以加上where进行行列过滤3.selectfromajoinb时避免直接join,因为会产生笛卡尔积,建议加上on进行过滤,减少数据量

普罗米修斯之火·2023-12-27 18:50

Hive之企业级调优实战

1：Fetch抓取Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算例如：select*fromscore;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minim

不要迷恋发哥·2023-12-27 18:50

【Hive_05】企业调优1（资源配置、explain、join优化）

1、计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划（重点）2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明（1）map-side聚合相关的参数3.2优化案例4、join优化4.1Join算法概述（1）CommonJoin（2）MapJoin（3）BucketMapJoin（4）SortMergeBucket

温欣2030·2023-12-27 18:49

Hive学习——企业级调优

目录一、计算资源调优(一)Yarn资源配置——集群1.Yarn配置说明(1)yarn.nodemanager.resource.memory-mb(2)yarn.nodemanager.resource.cpu-vcores

雷神乐乐·2023-12-27 18:49

【hive】hive的调优经验

一、hive自己进行优化对union这样的命令进行了优化二、数据本地化率hdfs数据本地化率对hive性能产生影响在数据大小一定的情况下，500个128M的文件和2个30G的文件跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。三、数据格式hive提供text，sequenceFile，RCFile，ORC，Parquest等

kiraraLou·2023-12-27 18:49

论文阅读——TÜLU

TÜLU：通过整合资源实现更好的教学调优模型加指令的多样性可以有效地提高指令调整的性能。所以创建了两个混合数据集，

じんじん·2023-12-27 17:07

ChatGLM2-6B微调实践-QLora方案

ChatGLM2-6B微调实践-QLora方案环境部署Lora微调项目部署准备数据集修改训练脚本adapter推理模型合并与量化合并后的模型推理参数调优微调过程中遇到的问题参考：环境部署申请阿里云GPU

我在北国不背锅·2023-12-27 15:25

企业级实战项目：基于 pycaret 自动化预测公司是否破产

本文系数据挖掘实战系列文章，我跟大家分享一个数据挖掘实战，与以往的数据实战不同的是，用自动机器学习方法完成模型构建与调优部分工作，深入理解由此带来的便利与效果。

Python数据挖掘·2023-12-27 12:40

调优-mybatis saveBatch

一条一条插入：批量插入：批量插入-优化：在url配置#rewriteBatchedStatements=trueurl:jdbc:mysql://localhost:3306/xi_ning?characterEncoding=utf-8&serverTimezone=UTC&rewriteBatchedStatements=truerewriteBatchedStatements=true是一个

猫三棂·2023-12-27 06:40

JVM面试题

3.直接内存4.说一下类加载的执行过程5.JVM调优参数有哪些6.JVM调优的工具7.java内存泄漏的排查思路8.cpu飙高排查方案和思路1.什么是虚拟机栈每个线程运行时需要的内存，称为虚拟机栈2.方法内的局部变量是线程安全吗

ITfeib·2023-12-27 06:12

JVM调优之经验

在生产系统中，高吞吐和低延迟一直都是JVM调优的最终目标，但这两者恰恰又是相悖的，鱼和熊掌不可兼得，所以在调优之前要清楚舍谁而取谁。

alterem·2023-12-26 23:21

码歌老薛大话Java性能调优，Java调优概述(一)

老薛读书会1第一本书大话java性能调优书籍简单介绍，今天和大家读的是大话java性能调优这本书，IBM技术专家周明耀先生编纂。

坑王老薛·2023-12-26 19:56

Linux性能调优 | 01 平均负载的理解和分析

01uptime命令通常我们发现系统变慢时，我们都会执行top或者uptime命令，来查看当前系统的负载情况，比如像下面，我执行了uptime，系统返回的了结果。[root@lincoding~]#uptime08:31:49up27min,1user,loadaverage:0.07,0.04,0.00前几列的信息，相信大家都很熟悉，它们分别是当前时间、系统运行时间和正在登陆的用户个数，最后一个

小林coding·2023-12-26 19:15

EMQ百万级MQTT消息服务(优化和压测)

只有你自己试了才知道,本节就带着大家一起有调优系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目附上:喵了个咪的博客:w-blog.cnEMQ官方地址:http://emqtt.com/EMQ中文文档

文振熙·2023-12-26 13:14

使用Java进行性能调优的实践指南

为了确保Java应用程序的高效运行，性能调优成为了一项重要的任务。本文将为您提供一份使用Java进行性能调优的实践指南，帮助您优化应用程序的性能。

api77·2023-12-26 12:52

JVM调优的参数在哪里可以进行设置（不是指临时的）

WAR包部署在Tomcat中时，可以通过设置JVM调优参数来提升性能。以下是一些常用的JVM调优参数：-Xms:设置JVM的初始堆大小，例如-Xms512m表示初始堆大小为512MB。

Flying_Fish_roe·2023-12-26 09:29

大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队

本文针对HiveSQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧，能够显著提升HiveSQL的执行效率和响应速度。

京东云技术团队·2023-12-26 06:33

08-JVM调优实战及常量池详解

文章目录阿里巴巴Arthas详解Arthas使用场景Arthas使用GC日志详解打印GC日志方法如何分析GC日志CMSG1JVM参数汇总查看命令Class常量池与运行时常量池字面量符号引用字符串常量池字符串常量池的设计思想三种字符串操作(Jdk1.7及以上版本)字符串常量池位置字符串常量池设计原理String常量池问题的几个例子示例1：示例2：示例3：示例4：示例5：示例6：关于String是不可

月球程序猿·2023-12-26 04:15

Jenkins的特殊操作定时自动执行任务以及测试报告调优

java-Dhudson.model.DirectoryBrowserSupport.CSP=-jarJenkins.war测试报告不美丽执行上面的代码重启jenkins就好了

MaoLingHao·2023-12-26 03:29

Pulsar 详解 - 索引目录

Pulsar详解3—工作原理&客户端API（示例：Go语言）Pulsar详解4—Pulsar的高级特性（示例：Go语言）Pulsar详解5—Pulsar的管理和监控Pulsar详解6—Pulsar的性能调优

风不归Alkaid·2023-12-26 02:29

jdk官网及说明

/8-MR3OracleJDK官方地址：https://www.oracle.com/technetwork/java/javase/downloads/index.htmlJVM-XXOptions调优参数

三侠剑·2023-12-26 00:33

Java 后端开发学习路线

图片版思维导图在底部编程基础Java语言语言基础基础语法面向对象接口容器异常泛型反射注解I/O图形化（如Swing）JVM类加载机制字节码执行机制JVM内存模型GC垃圾回收JVM性能监控与故障定位JVM调优并发

三尺青锋丶·2023-12-26 00:39

Rocksdb参数调优指南

本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置调优RocksDB。RocksDB非常灵活，这有好也有坏。你可以真多很多工作场景和存储技术进行调优。

xiannvlei·2023-12-25 23:57

京东一面：20多种异步方式，你知道几个？含协程

圈内一大波顶级高手、架构师、发烧友已经实现技术自由；另外一大波卷王，正在狠狠卷，奔向技术自由29篇原创内容公众号异步，作为性能调优核心方式之一，经常被用于各种高并发场景。

竹林幽深·2023-12-25 22:28

Java性能调优

一个用Java写的GUI程序，作用是分析日志，它会将一定数量的格式相同的文本日志文件读入内存分析处理，然后将结果合并输出。文件数量几十个，文件大小几KB，日志记录几千条左右，此工具可以流畅处理，轻松满足需求。然而，因为记录日志的方案调整，记录日志类型范围从warn、error级别扩大到了连info、debug级别的日志也要记录，从而导致了日志量激增，固定时间范围内产生的日志文件增加到了几百个，单个

Java高级架构狮·2023-12-25 20:25

2023年12月份openGauss训练营培训课程课件

与其他开源数据库相比，openGauss具有以下特点：高性能——两路鲲鹏性能150万tpmC高可靠——故障切换时间RTO<10s高安全——端到端全方位安全防护易运维——基于AI的智能参数调优课时1:openGauss

福娃筱欢·2023-12-25 17:49

JBoss安装并部署war包

一、简介JBOSS是一个免费的开放源代码的Web应用服务器，技术先进、性能稳定，而且免费，将Tomcat内核作为其Servlet容器引擎，并加以审核和调优。

飞奔的屎壳郎·2023-12-25 11:47

Java实现异步的原因、场景、实现异步的方式

文章目录实现异步的原因：异步和同步的区别异步使用的场景实现异步的方式：实现异步的20种实现方式异步，作为性能调优核心方式之一，经常被用于各种高并发场景。

思静语·2023-12-25 02:13

mysql的性能调优，explain的用法，explain各字段的解释

EXPLAIN一条语句的各字段解析如下id首先我们要知道explain的每一条记录都对应着访问单表的方式，即使说一条查询语句可能用了两个表，那也要拆成两条记录，只不过二者id相同，因为一个SELECT对应一个id。并且出现在前面的s1代表mysql选择它作为驱动表，而后面的s2代表mysql选择其作为被驱动表：假设是一个SELECT的查询结果作为临时表给另一个SELECT，那就是两个id了：但我们

結城·2023-12-25 00:33

系统故障诊断

在极客时间上，学习过《linux性能调优》算是对Linux下的系统诊断，做了一个全面的描述，可是

明翼·2023-12-24 22:39

Flink优化——资源优化（一）

）并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Keyby之前的算子Keyby之后的算子（KeyGroup最小值为128）Sink端并行度的配置RocksDB大状态调优设置本地

Stray_Lambs·2023-12-24 22:54

【性能优化】MySql数据库查询优化方案

阅读本文你的收获了解系统运行效率提升的整体解决思路和方向学会MySQl中进行数据库查询优化的步骤学会看慢查询、执行计划、进行性能分析、调优一、问题：如果你的系统运行很慢，你有什么解决方案？

采石之人·2023-12-24 21:22

Android App选择最优的服务器地址

简介对于很多app来说，如果有文件上传、多媒体播放之类的功能，性能调优的重点之一一定是上传或者播放的速度。其中，可以尝试的一个做法是Server端分布式部署，在app启动时选择当前最为合适的服务器。

zyguo·2023-12-24 19:30

hive tez出现java堆内存溢出进行调优

运行hive任务的时候出现了错误，日志如下：ERROR:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.Vertexfailed,vertexName=Map1,vertexId=vertex_1608805116045_1296_1_04,diagnostics=[Taskfailed

旺旺_865f·2023-12-24 17:36

linux调优之swap设置

通过free-h查询到内存还剩余很多，却使用swap分区；原因分析：1.swap设置开启的阀值过大，造成内存达到可使用swap的值2.docker设置了内存限制，但没限制swap的值(待求证)根虚拟机machine.slice和系统system.slices、user.slices等使用了swap空间。1.swap设置大小安装系统时，选择swap分区；swap不是越大越好，越大的时候说明内存不够用

IT杂人·2023-12-24 13:37

推荐频道

调优