调优第11页

03-Flink内存模型

.1.1JVM内存管理的不足1.1.1有效数据密度低存储：对象头、实例数据、对齐填充部分导致JVM中有效信息的存储密度很低1.1.2垃圾回收FullGC会严重影响性能以及和集群中的心跳信息超时，使得无法进行调优

情深@骚明·2024-01-22 08:48

Flink TaskManager 内存管理机制介绍与调优总结

作者：董伟柯，腾讯CSIG高级工程师概要Flink的新版内存管理机制，要追溯到2020年初发布的Flink1.10版本。当时Flink社区为了实现三大目标：流和批模式下内存管理的统一，即同一套内存配置既可用于流作业也可用于批作业管控好RocksDB等外部组件的内存，避免在容器环境下用量不受控导致被KILL消除不同部署模式下配置参数的歧义，消除cut-off等参数语义模糊的问题提出了两个设计提案FL

腾讯云大数据·2024-01-22 08:09

innodb status解读

showengineinnodbstatus输出中，显示除了大量的内部信息，它输出就是一个单独的字符串，没有行和列，内容分为很多小段，每一段对应innodb存储引擎不同部分的信息，其中有一些信息对于innodb调优的时候

mysia·2024-01-22 03:47

mysql调优show profile工具

1.showProfile是什么showProfile:是mysql提供用来分析当前回话中语句执行消耗资源的情况，可以用来SQL调优。

喜羊羊love红太狼·2024-01-22 01:06

个性化风控！消费贷客群分群模型应用实践

这三个方面在任何场景的模型中都是至关重要的，无论是针对ABC卡、策略调优、拒绝回捞、动支模型、营销响应模型还是流失模型等等，只要涉及到建模，都需要依赖于这三个模块。

风控小兵突击·2024-01-21 18:02

玩转Mysql 八（MySQ优化入门篇）

前言：一个高性能，稳定的数据库集群并不是指的某一特性优化，就能保证系统的的稳定，需要从网络、硬件资源、操作系统、操作系统参数设置、数据库选型，执行SQL效率几个方面进行整体调优。

董乐，快乐的乐！·2024-01-21 16:49

XGBoost在时间序列分析中的高级应用

在时间序列问题中的应用场景2.1金融数据预测2.2销售预测2.3能源消耗预测2.4网络流量分析2.5医疗时间序列分析3.实际应用场景3.1一个简单的例子3.2广告领域的demo4.时间序列预测中的XGBoost参数调优

theskylife·2024-01-21 15:51

XGBoost系列3——XGBoost在多分类问题中的应用

1.4多分类问题的应用场景2.XGBoost中的多分类支持2.1分类原理2.2Softmax损失函数2.3One-vs-All与One-vs-One2.4多分类性能优势2.5超参数调优2.6特征重要性分析

theskylife·2024-01-21 15:50

常用监控指标及调优步骤

诊断性能问题，需要清楚监控的关键指标，以此辅助试验诊断，最后验证推测。常用监控的关键指标通常情况下，性能测试监控指标主要分为：资源指标和系统指标。资源指标：CPU使用率：指单位时间内进程使用cpu时间的百分比，这是对一个时间段内CPU使用状况的统计，通过这个指标可以看出在某一个时间段内CPU被占用的情况，如果被占用时间很高，那么就需要考虑CPU是否已经处于超负荷运作，长期超负荷运作对于机器本身来说

HuiTest·2024-01-21 14:30

java进阶-jvm精讲及实战

深入了解jvm及实战1.引言2.jvm概念理解1.引言jvm是深入了解java底层逻辑的必备知识储备,在中大型开发团队里,中高级工程师必须要了解和掌握,也是中高级工程师面试必考题,在实战中用于程序性能调优

蒋增奎·2024-01-21 12:16

100 springboot项目优化和jvm调优

https://blog.csdn.net/huangjinjin520/article/details/103231775项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。

滔滔逐浪·2024-01-21 12:54

【转载】《软件性能测试、分析与调优实践之路》学习

这是一本理论和实践相结合的同时面向研发和测试岗的关于性能分析诊断调优实践的图书，比起其他的很多性能测试的图书，本书中内容更侧重于介绍如何去发现性能问题、分析诊断性能问题以及对发现的性能问题进行调优。

来自火星的我哈哈·2024-01-21 09:51

架构师之路：一个Java架构师需要掌握的知识技能，带思维导图

架构师=前端工程师+后端程序员+系统分析师+关键技术解决+各种技术搭配+设计模式+部署调优+其他，可见架构师是多面手，在项目当中起到连接管理与项目成员的重要角色。

Java黎先生·2024-01-21 06:50

soar-php 2.0 - SQL 语句优化器和重写器的 PHP 扩展包、方便 SQL 语句调优

soar-php是一个基于小米公司开源的soar开发的PHP扩展包，方便框架中SQL语句调优。

guanguans·2024-01-21 03:51

mysql explain ref const_MySQL EXPLAIN 详解

这条命令并没有提供任何调整建议，但它能够提供重要的信息帮助你做出调优决策。

网件NETGEAR·2024-01-21 02:34

一文了解java多线程(超详细+干货满满)

2.提高响应速度,当任务到达时,任务可以不需要等到线程创建就能立即执行3.提高线程的可管理性,线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控线程池的真正实现类是

GeekInk小火龙·2024-01-20 21:26

Java设计模式详解

谢谢馆长准备了很多学习资料，其中包含java方面，jvm调优

艾利克斯冰·2024-01-20 14:25

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------

程研板·2024-01-20 13:19

强力收藏！一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，

Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。

跟着大数据和AI去旅行·2024-01-20 13:16

JVM调优

Nick_4438·2024-01-20 12:51

Linux性能测试与调优的15条常用命令

一、CPU性能评估通过下面的命令能了解到CPU是否出现性能瓶颈，再结合top、ps等命令进一步检查，即可定位到那些进程导致CPU负载过大vmstat命令：查看CPU负载[oracle@oraclebackup]$vmstat23#间隔2s,打印3次procs-----------memory-------------swap-------io------system-------cpu-----r

数据与人·2024-01-20 10:47

JVM调优开启开启ZGC参数

jdk启动脚本#!/bin/bashPATH=${PATH}:/opt/HIEXSORT64/binLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/opt/HIEXSORT64/libNLSPATH=${NLSPATH}:/opt/HIEXSORT64/%L/%N.catexportPATHLD_LIBRARY_PATHNLSPATHBATCH_ROOT_PATH=$(pw

离离原上草77·2024-01-20 09:17

编写高性能 Java 代码的最佳实践

最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。介绍在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。

Java黎先生·2024-01-20 07:59

Pytorch学习第4周：综合应用和实战项目 Day 25-27: 模型调优和优化

第4周：综合应用和实战项目Day25-27:模型调优和优化在这段时间里，我们将深入学习和实践如何通过高级技巧优化Pytorch和TensorFlow模型的性能。

M.D·2024-01-20 06:57

Linux服务器性能调优之I/O调优详解

1.进程可以打开的文件数（高并发时常用）ulimit-n#查看一个进程可以打开的文件数修改进程可以打开的最大文件数临时修改：ulimit-n[进程数]永久修改：修改限制用户资源配置文件vim/etc/security/limits.conf末尾添加*softnofile102400*hardnofile102400------------------------------------------

linux大本营·2024-01-20 05:02

记录JVM的学习

虚拟机常用参数：在虚拟机中输入java就可以启动一个java虚拟机，以横杠开头的都是标准参数；以-X开头的都是非标准参数，当在系统中输入java-X的时候，系统会把所有的非标准参数都列举出来;一般真正用来调优的参数是以

花里胡哨的菜只因·2024-01-20 03:24

Nginx架构设计

七大核心应用场景：反向代理、虚拟主机、域名解析、负载均衡、防盗链、url重定向、https高性能web服务器，负载均衡大型服务器的流量网关，应用网关，日志服务器，文件存储服务器模块化扩展，复杂功能的二次调优

浪里摸鱼·2024-01-19 22:37

高并发缓存问题分析以及分布式锁的实现

从数据库入手也是调优性价比最高的切入点。因此需要对我们的程序进行优化.一般采取两种方案:①从数据库自身出发:优化sql,通过分析sql給sql建立索引,优化查询

豆豆的java之旅·2024-01-19 20:04

如何对 OceanBase 进行 SQL 诊断和调优

作者简介：田逸飞（义博）：OceanBase高级开发工程师一、SQL执行流程SQL发送到OBServer后，会先由OBServer对其进行快速参数化，参数化后的SQL进入PlanCache尝试命中计划缓存。如果找到一个可以使用的计划，则直接将计划交由SQL的执行引擎去执行，并将执行完成后的结果返回给用户；如果没有找到可以使用的计划，则会重新为此SQL生成计划，完整地执行SQL的Parser、Res

OB小话唠·2024-01-19 19:19

【日志分析系统】ELK 企业级日志分析系统

——————————————————————1．环境准备2．部署Elasticsearch软件（1）安装elasticsearch—rpm包（2）修改elasticsearch主配置文件（3）es性能调优参数

思华年^O^·2024-01-19 17:27

华为外包数据库面试问题分享20211225

数据库方面做过哪些，例如安装部署、开发支持、运维、调优？SQL调优这块你是怎么在做的。数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发，具体是作了哪些。

钦䲹·2024-01-19 16:05

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。

大数据小理·2024-01-19 16:01

AI大模型里经常提到的“炼丹”、“挖矿”、“蒸馏”是什么意思？

炼丹重点描述模型调优的过程。这个过程往往需要大量的尝试和经验，包括选择合

AI明说·2024-01-19 14:02

java 垃圾回收GC(CMS、G1)原理及调优

概述本文介绍GC基础原理和理论，GC调优方法思路和方法，基于Hotspotjdk1.8，学习之后将了解如何对生产系统出现的GC问题进行排查解决阅读时长约30分钟，内容主要如下：GC基础原理，涉及调优目标

A゛孤青·2024-01-19 13:44

JVM垃圾回收

目录1回收对象判断2回收算法3分代回收4垃圾回收器4.1三种垃圾回收器对比4.2G14.2.1阶段划分4.2.2跨代引用4.2.3版本特性4.3Remark理解4.4FullGC5GC调优1回收对象判断

bone_ds·2024-01-19 13:10

Flink TaskManager内存管理机制介绍与调优总结

内存模型因为TaskManager是负责执行用户代码的角色，一般配置TaskManager内存的情况会比较多，所以本文当作重点讲解。根据实际需求为TaskManager配置内存将有助于减少Flink的资源占用，增强作业运行的稳定性。TaskManager内存模型如下。如上图所示，下表中列出了FlinkTaskManager内存模型的所有组成部分，以及影响其大小的相关配置参数。我们可以看到，有些内存

暴走的贼宇·2024-01-19 08:25

JVM实战（19）——JVM调优工具概述

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介前面章节，我们已经介绍了如何通过GC日志去分析系统的运行情况。本

smart哥·2024-01-19 08:51

智算让大模型触手可及

要做好AI原生应用，有三个关键的因素：基础大模型好不好，根据业务数据及反馈对模型的调优好不好，以及大模型开发、应用方式好不好。百度及市场上的友商已经提供

百度Geek说·2024-01-19 07:27

深度学习和机器学习中针对非时间序列的回归任务，有哪些改进角度？

引言1数据预处理2数据集增强3特征选择4模型选择5模型正则化与泛化6优化器7学习率8超参数调优9性能评估与模型解释引言在非时间序列的回归任务中，深度学习和机器学习都是常用的方法。

Better Bench·2024-01-19 07:23

送别歌

记得在上学期间，学弹吉它时，有一首弹唱曲«送别歌»，曲中唱道：“长亭外，古道边，芳草碧连天……”由于是慢节奏抒情，曲调优美，历经几十年传唱经久不衰，而成为经典。

望风侠·2024-01-19 07:20

EMQX 性能调优：最大连接与文件描述符

在对EMQX(https://www.emqx.io)进行性能测试的过程中，当客户端连接达到一定数量以后，你可能会发现EMQX无法接入更多连接，并且在控制台或/var/log/emqx/emqx.log.N中出现以下错误日志：[error]Accepterroron0.0.0.0:1883:EMFILE(Toomanyopenfiles)这说明目前EMQX打开的文件描述符数量达到了最大限制。当然，

EMQX·2024-01-19 04:54

MySQL数据库入门到大牛_高级_00_MySQL高级特性篇的内容简介

文章目录一、整个MySQL的思维导图二、MySQL高级特性篇大纲1.MySQL架构篇2.索引及调优篇3.事务篇4.日志与备份篇一、整个MySQL的思维导图下图为整个MySQL内容，01-05是基础篇，06

十月旧城·2024-01-19 04:16

jvm初入门

Java内存模型的组成部分Java内存模型的工作原理Java类加载机制类加载的过程类加载器的类型及其区别类加载器的工作原理Java字节码什么是Java字节码字节码指令的作用和分类字节码的执行方式JVM调优

一个好汉·2024-01-19 03:42

kafka学习笔记-- 文件清理策略与高效读写数据

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩高效读写数据文件清理策略

向着百万年薪努力的小赵·2024-01-19 01:25

【性能调优】local模式下flink处理离线任务能力分析

文章目录一.flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1.模型说明2.2.通讯、数据传输方面2.3.框架、任务堆外内存2.4.托管内存3.任务分析二.单个节点的带宽瓶颈1.带宽相关理论2.使用speedtest-cli测试带宽3.任务分析3.其他工具使用介绍本文相关讨论flink内存对任务性能的影响：通过了解内存模型，了解这些模型都负责那些工作，

roman_日积跬步-终至千里·2024-01-18 23:18

2019-12-29

Elasticsearch之安装、参数设置前言Elasticsearch用过一段时间了，今天汇总下基本的安装及参数，本篇文章分为三个部分：系统参数设置、ES配置文件设置其中还有跟业务相关的ES参数调优，

逗逼程序员·2024-01-18 22:56

ELK 分离式日志

Kiabana：Logstash：可以添加的其它组件：ELK的工作原理：二.部署ELK节点都设置Java环境:每台都可以部署Elasticsearch软件：修改elasticsearch主配置文件：性能调优参数

伍dLu·2024-01-18 21:18

Python高阶编程面试题

目录前言一、Python的内存管理机制及调优手段？二、什么是lambda函数，有什么好处？三、你对装饰器的理解？

测试小婉·2024-01-18 18:19

通义灵码使用指南和教程

基于通义大模型，国内Copilot平替产品，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云SDK/OpenAPI的使用场景调优

落小小·2024-01-18 16:49

推荐频道

调优