E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
【调优】
Flink TaskManager 内存管理机制介绍与
调优
总结
作者:董伟柯,腾讯CSIG高级工程师概要Flink的新版内存管理机制,要追溯到2020年初发布的Flink1.10版本。当时Flink社区为了实现三大目标:流和批模式下内存管理的统一,即同一套内存配置既可用于流作业也可用于批作业管控好RocksDB等外部组件的内存,避免在容器环境下用量不受控导致被KILL消除不同部署模式下配置参数的歧义,消除cut-off等参数语义模糊的问题提出了两个设计提案FL
腾讯云大数据
·
2024-01-22 08:09
flink
jvm
java
innodb status解读
showengineinnodbstatus输出中,显示除了大量的内部信息,它输出就是一个单独的字符串,没有行和列,内容分为很多小段,每一段对应innodb存储引擎不同部分的信息,其中有一些信息对于innodb
调优
的时候
mysia
·
2024-01-22 03:47
mysql
调优
show profile工具
1.showProfile是什么showProfile:是mysql提供用来分析当前回话中语句执行消耗资源的情况,可以用来SQL
调优
。
喜羊羊love红太狼
·
2024-01-22 01:06
mysql
个性化风控!消费贷客群分群模型应用实践
这三个方面在任何场景的模型中都是至关重要的,无论是针对ABC卡、策略
调优
、拒绝回捞、动支模型、营销响应模型还是流失模型等等,只要涉及到建模,都需要依赖于这三个模块。
风控小兵突击
·
2024-01-21 18:02
智能风控
大数据
人工智能
金融
自动化
机器学习
python
玩转Mysql 八 (MySQ优化入门篇)
前言:一个高性能,稳定的数据库集群并不是指的某一特性优化,就能保证系统的的稳定,需要从网络、硬件资源、操作系统、操作系统参数设置、数据库选型,执行SQL效率几个方面进行整体
调优
。
董乐,快乐的乐!
·
2024-01-21 16:49
mysql
数据库
XGBoost在时间序列分析中的高级应用
在时间序列问题中的应用场景2.1金融数据预测2.2销售预测2.3能源消耗预测2.4网络流量分析2.5医疗时间序列分析3.实际应用场景3.1一个简单的例子3.2广告领域的demo4.时间序列预测中的XGBoost参数
调优
theskylife
·
2024-01-21 15:51
数据分析
数据挖掘
人工智能
机器学习
数据挖掘
python
回归
XGBoost系列3——XGBoost在多分类问题中的应用
1.4多分类问题的应用场景2.XGBoost中的多分类支持2.1分类原理2.2Softmax损失函数2.3One-vs-All与One-vs-One2.4多分类性能优势2.5超参数
调优
2.6特征重要性分析
theskylife
·
2024-01-21 15:50
数据分析
数据挖掘
分类
数据挖掘
人工智能
python
机器学习
常用监控指标及
调优
步骤
诊断性能问题,需要清楚监控的关键指标,以此辅助试验诊断,最后验证推测。常用监控的关键指标通常情况下,性能测试监控指标主要分为:资源指标和系统指标。资源指标:CPU使用率:指单位时间内进程使用cpu时间的百分比,这是对一个时间段内CPU使用状况的统计,通过这个指标可以看出在某一个时间段内CPU被占用的情况,如果被占用时间很高,那么就需要考虑CPU是否已经处于超负荷运作,长期超负荷运作对于机器本身来说
HuiTest
·
2024-01-21 14:30
性能
性能
测试
指标
调优
java进阶-jvm精讲及实战
深入了解jvm及实战1.引言2.jvm概念理解1.引言jvm是深入了解java底层逻辑的必备知识储备,在中大型开发团队里,中高级工程师必须要了解和掌握,也是中高级工程师面试必考题,在实战中用于程序性能
调优
蒋增奎
·
2024-01-21 12:16
j2se高级特性
java
jvm
开发语言
100 springboot项目优化和jvm
调优
https://blog.csdn.net/huangjinjin520/article/details/103231775项目
调优
作为一名工程师,项目
调优
这事,是必须得熟练掌握的事情。
滔滔逐浪
·
2024-01-21 12:54
【转载】《软件性能测试、分析与
调优
实践之路》学习
这是一本理论和实践相结合的同时面向研发和测试岗的关于性能分析诊断
调优
实践的图书,比起其他的很多性能测试的图书,本书中内容更侧重于介绍如何去发现性能问题、分析诊断性能问题以及对发现的性能问题进行
调优
。
来自火星的我哈哈
·
2024-01-21 09:51
架构师之路:一个Java架构师需要掌握的知识技能,带思维导图
架构师=前端工程师+后端程序员+系统分析师+关键技术解决+各种技术搭配+设计模式+部署
调优
+其他,可见架构师是多面手,在项目当中起到连接管理与项目成员的重要角色。
Java黎先生
·
2024-01-21 06:50
soar-php 2.0 - SQL 语句优化器和重写器的 PHP 扩展包、 方便 SQL 语句
调优
soar-php是一个基于小米公司开源的soar开发的PHP扩展包,方便框架中SQL语句
调优
。
guanguans
·
2024-01-21 03:51
mysql explain ref const_MySQL EXPLAIN 详解
这条命令并没有提供任何调整建议,但它能够提供重要的信息帮助你做出
调优
决策。
网件NETGEAR
·
2024-01-21 02:34
mysql
explain
ref
const
一文了解java多线程(超详细+干货满满)
2.提高响应速度,当任务到达时,任务可以不需要等到线程创建就能立即执行3.提高线程的可管理性,线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,
调优
和监控线程池的真正实现类是
GeekInk小火龙
·
2024-01-20 21:26
java
Java设计模式详解
谢谢馆长准备了很多学习资料,其中包含java方面,jvm
调优
艾利克斯冰
·
2024-01-20 14:25
java
设计模式
Hive性能
调优
(二)——一文搞懂HiveSQL执行计划
测试的数据请看上一篇博客,数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板
·
2024-01-20 13:19
#
Hive
hadoop
hive
大数据
mapreduce
强力收藏!一文说全HiveConf类(Hive3.1.2版本)
一文说全HiveConf类(Hive3.1.2版本)作者:Eeeddieee工作中大部分时间都用到了Hive,虽然对Hive的架构、运行原理、
调优
方式有一定了解,但是很多都是在前人总结的基础上进行学习,
Eeeddieee
·
2024-01-20 13:17
Hive
hadoop
hive
大数据
Hive
调优
一文打尽
一、
调优
概述Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行
·
2024-01-20 13:16
大数据企业级实战
hive
JVM
调优
前言本系列系统的介绍了jvm
调优
及相关工具的使用。笔者会先介绍jvm的基本概念,然后介绍常用命令、常用工具,最后通过一篇实战讲解内存泄漏查找方法。
Nick_4438
·
2024-01-20 12:51
Linux性能测试与
调优
的15条常用命令
一、CPU性能评估通过下面的命令能了解到CPU是否出现性能瓶颈,再结合top、ps等命令进一步检查,即可定位到那些进程导致CPU负载过大vmstat命令:查看CPU负载[oracle@oraclebackup]$vmstat23#间隔2s,打印3次procs-----------memory-------------swap-------io------system-------cpu-----r
数据与人
·
2024-01-20 10:47
JVM
调优
开启开启ZGC参数
jdk启动脚本#!/bin/bashPATH=${PATH}:/opt/HIEXSORT64/binLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/opt/HIEXSORT64/libNLSPATH=${NLSPATH}:/opt/HIEXSORT64/%L/%N.catexportPATHLD_LIBRARY_PATHNLSPATHBATCH_ROOT_PATH=$(pw
离离原上草77
·
2024-01-20 09:17
虚拟机
java
jvm
开发语言
java
编写高性能 Java 代码的最佳实践
最后研究了JVM特定的
调优
技巧、数据库端的优化和架构方面的调整。以下是译文。介绍在这篇文章中,我们将讨论几个有助于提升Java应用程序性能的方法。
Java黎先生
·
2024-01-20 07:59
Pytorch学习 第4周:综合应用和实战项目 Day 25-27: 模型
调优
和优化
第4周:综合应用和实战项目Day25-27:模型
调优
和优化在这段时间里,我们将深入学习和实践如何通过高级技巧优化Pytorch和TensorFlow模型的性能。
M.D
·
2024-01-20 06:57
pytorch
学习
人工智能
tensorflow
Linux服务器性能
调优
之I/O
调优
详解
1.进程可以打开的文件数(高并发时常用)ulimit-n#查看一个进程可以打开的文件数修改进程可以打开的最大文件数临时修改:ulimit-n[进程数]永久修改:修改限制用户资源配置文件vim/etc/security/limits.conf末尾添加*softnofile102400*hardnofile102400------------------------------------------
linux大本营
·
2024-01-20 05:02
记录JVM的学习
虚拟机常用参数:在虚拟机中输入java就可以启动一个java虚拟机,以横杠开头的都是标准参数;以-X开头的都是非标准参数,当在系统中输入java-X的时候,系统会把所有的非标准参数都列举出来;一般真正用来
调优
的参数是以
花里胡哨的菜只因
·
2024-01-20 03:24
jvm
学习
Nginx架构设计
七大核心应用场景:反向代理、虚拟主机、域名解析、负载均衡、防盗链、url重定向、https高性能web服务器,负载均衡大型服务器的流量网关,应用网关,日志服务器,文件存储服务器模块化扩展,复杂功能的二次
调优
浪里摸鱼
·
2024-01-19 22:37
nginx
运维
高并发缓存问题分析以及分布式锁的实现
从数据库入手也是
调优
性价比最高的切入点。因此需要对我们的程序进行优化.一般采取两种方案:①从数据库自身出发:优化sql,通过分析sql給sql建立索引,优化查询
豆豆的java之旅
·
2024-01-19 20:04
分布式缓存
缓存
分布式
如何对 OceanBase 进行 SQL 诊断和
调优
作者简介:田逸飞(义博):OceanBase高级开发工程师一、SQL执行流程SQL发送到OBServer后,会先由OBServer对其进行快速参数化,参数化后的SQL进入PlanCache尝试命中计划缓存。如果找到一个可以使用的计划,则直接将计划交由SQL的执行引擎去执行,并将执行完成后的结果返回给用户;如果没有找到可以使用的计划,则会重新为此SQL生成计划,完整地执行SQL的Parser、Res
OB小话唠
·
2024-01-19 19:19
数据库
OceanBase
社区版
OceanBase
sql
数据库
database
【日志分析系统】ELK 企业级日志分析系统
——————————————————————1.环境准备2.部署Elasticsearch软件(1)安装elasticsearch—rpm包(2)修改elasticsearch主配置文件(3)es性能
调优
参数
思华年^O^
·
2024-01-19 17:27
运维
ELK
企业级日志分析系统
elk
华为外包数据库面试问题分享20211225
数据库方面做过哪些,例如安装部署、开发支持、运维、
调优
?SQL
调优
这块你是怎么在做的。数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发,具体是作了哪些。
钦䲹
·
2024-01-19 16:05
数据库
华为
面试
大数据学长面试之OPPO面试题
1)技术部分(1)SparkStreaming消费方式及区别,Spark读取HDFS的数据流程(2)Kafka高性能(3)Hive
调优
,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
AI大模型里经常提到的“炼丹”、“挖矿”、“蒸馏”是什么意思?
炼丹重点描述模型
调优
的过程。这个过程往往需要大量的尝试和经验,包括选择合
AI明说
·
2024-01-19 14:02
AIGC
AIGC
chatgpt
人工智能
语言模型
深度学习
java 垃圾回收GC(CMS、G1)原理及
调优
概述本文介绍GC基础原理和理论,GC
调优
方法思路和方法,基于Hotspotjdk1.8,学习之后将了解如何对生产系统出现的GC问题进行排查解决阅读时长约30分钟,内容主要如下:GC基础原理,涉及
调优
目标
A゛孤青
·
2024-01-19 13:44
java
java
开发语言
JVM垃圾回收
目录1回收对象判断2回收算法3分代回收4垃圾回收器4.1三种垃圾回收器对比4.2G14.2.1阶段划分4.2.2跨代引用4.2.3版本特性4.3Remark理解4.4FullGC5GC
调优
1回收对象判断
bone_ds
·
2024-01-19 13:10
jvm
jvm
java
算法
Flink TaskManager内存管理机制介绍与
调优
总结
内存模型因为TaskManager是负责执行用户代码的角色,一般配置TaskManager内存的情况会比较多,所以本文当作重点讲解。根据实际需求为TaskManager配置内存将有助于减少Flink的资源占用,增强作业运行的稳定性。TaskManager内存模型如下。如上图所示,下表中列出了FlinkTaskManager内存模型的所有组成部分,以及影响其大小的相关配置参数。我们可以看到,有些内存
暴走的贼宇
·
2024-01-19 08:25
flink
大数据
JVM实战(19)——JVM
调优
工具概述
作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬学习必须往深处挖,挖的越深,基础越扎实!阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介前面章节,我们已经介绍了如何通过GC日志去分析系统的运行情况。本
smart哥
·
2024-01-19 08:51
jvm专题
jvm
智算让大模型触手可及
要做好AI原生应用,有三个关键的因素:基础大模型好不好,根据业务数据及反馈对模型的
调优
好不好,以及大模型开发、应用方式好不好。百度及市场上的友商已经提供
百度Geek说
·
2024-01-19 07:27
dubbo
prompt
大模型
人工智能
深度学习和机器学习中针对非时间序列的回归任务,有哪些改进角度?
引言1数据预处理2数据集增强3特征选择4模型选择5模型正则化与泛化6优化器7学习率8超参数
调优
9性能评估与模型解释引言在非时间序列的回归任务中,深度学习和机器学习都是常用的方法。
Better Bench
·
2024-01-19 07:23
机器学习
深度学习
机器学习
深度学习
回归
非时间序列回归
回归任务
改进角度
baseline改进
送别歌
记得在上学期间,学弹吉它时,有一首弹唱曲«送别歌»,曲中唱道:“长亭外,古道边,芳草碧连天……”由于是慢节奏抒情,曲
调优
美,历经几十年传唱经久不衰,而成为经典。
望风侠
·
2024-01-19 07:20
EMQX 性能
调优
:最大连接与文件描述符
在对EMQX(https://www.emqx.io)进行性能测试的过程中,当客户端连接达到一定数量以后,你可能会发现EMQX无法接入更多连接,并且在控制台或/var/log/emqx/emqx.log.N中出现以下错误日志:[error]Accepterroron0.0.0.0:1883:EMFILE(Toomanyopenfiles)这说明目前EMQX打开的文件描述符数量达到了最大限制。当然,
EMQX
·
2024-01-19 04:54
linux
MQTT
EMQX
MySQL数据库入门到大牛_高级_00_MySQL高级特性篇的内容简介
文章目录一、整个MySQL的思维导图二、MySQL高级特性篇大纲1.MySQL架构篇2.索引及
调优
篇3.事务篇4.日志与备份篇一、整个MySQL的思维导图下图为整个MySQL内容,01-05是基础篇,06
十月旧城
·
2024-01-19 04:16
#
MySQL
数据库
mysql
jvm初入门
Java内存模型的组成部分Java内存模型的工作原理Java类加载机制类加载的过程类加载器的类型及其区别类加载器的工作原理Java字节码什么是Java字节码字节码指令的作用和分类字节码的执行方式JVM
调优
一个好汉
·
2024-01-19 03:42
kafka学习笔记-- 文件清理策略与高效读写数据
如有侵权、联系速删视频教程链接:【尚硅谷】Kafka3.x教程(从入门到
调优
,深入全面)文章目录文件清理策略delete清理策略:将过期数据删除compact清理策略:将过期数据压缩高效读写数据文件清理策略
向着百万年薪努力的小赵
·
2024-01-19 01:25
#
Kafka学习--入门到调优
kafka
学习
笔记
【性能
调优
】local模式下flink处理离线任务能力分析
文章目录一.flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1.模型说明2.2.通讯、数据传输方面2.3.框架、任务堆外内存2.4.托管内存3.任务分析二.单个节点的带宽瓶颈1.带宽相关理论2.使用speedtest-cli测试带宽3.任务分析3.其他工具使用介绍本文相关讨论flink内存对任务性能的影响:通过了解内存模型,了解这些模型都负责那些工作,
roman_日积跬步-终至千里
·
2024-01-18 23:18
#
flink性能调优
#
flink
实战
flink
大数据
2019-12-29
Elasticsearch之安装、参数设置前言Elasticsearch用过一段时间了,今天汇总下基本的安装及参数,本篇文章分为三个部分:系统参数设置、ES配置文件设置其中还有跟业务相关的ES参数
调优
,
逗逼程序员
·
2024-01-18 22:56
ELK 分离式日志
Kiabana:Logstash:可以添加的其它组件:ELK的工作原理:二.部署ELK节点都设置Java环境:每台都可以部署Elasticsearch软件:修改elasticsearch主配置文件:性能
调优
参数
伍dLu
·
2024-01-18 21:18
elk
Python高阶编程面试题
目录前言一、Python的内存管理机制及
调优
手段?二、什么是lambda函数,有什么好处?三、你对装饰器的理解?
测试小婉
·
2024-01-18 18:19
软件测试
面试
职场和发展
自动化
python
单元测试
通义灵码使用指南和教程
基于通义大模型,国内Copilot平替产品,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力,并针对阿里云SDK/OpenAPI的使用场景
调优
落小小
·
2024-01-18 16:49
AI编程
copilot
阿里云
深度解析Elasticsearch索引数据量过大的优化与部署策略
1.1.4高可用性1.2.副本策略1.2.1冗余和可用性1.2.2查询性能1.2.3存储需求2.硬件和资源配置优化2.1选择高性能硬件2.1.1存储2.1.2内存2.1.3处理器2.1.4网络2.2.JVM
调优
喔的 喔的嘛呀
·
2024-01-18 15:40
elasticsearch
大数据
搜索引擎
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他