参数调优

JVM元数据空间增长分析

上一篇已经分析了（https://mp.csdn.net/postedit/102959321）JVM除了HEAP还有哪些内存占用，也进行了一部分的参数调优，但是并没有根本解决这个问题，只是发生内存占满的时间变长了一些
chenlin597898889·2020-08-21 03:57

MYSQL系列：参数调优之binlog和redolog

mysql--help|grep'my.cnf'redolog：事务进行过程中，每个Page页的更改情况，不断的有redolog写入（物理变化）binlog：事务提交之前，只写磁盘一次。是一个事务的具体操作（逻辑操作）innodb_flush_log_at_trx_commit和sync_binlog是MySQL的两个配置参数。它们的配置对于MySQL的性能有很大影响（一般为了保证数据的不丢失，会
NIO4444·2020-08-21 03:53

JVM 参数调优（qbit）

前言JVM的参数有好几百个，听着有点吓人，好在最常用的参数只有两个，其他绝大多数参数都无需调整。可以参考廖雪峰的文章：JVM调优的正确姿势-Xms8g-Xmx8g特别说明-Xmn在绝大多数情况下并不需要配置，详见后文Oracle对JVM参数的说明文档打印JVM参数打印JVM参数初始值λjava-XX:+PrintFlagsInitial打印JVM参数最终值λjava-XX:+PrintFlagsF
qbit·2020-08-21 02:15

es 安装系统参数调优

使用Zip/tar方式安装需要调整,如果使用rpm方式,则部分不需要调整1,调整系统句柄数sudosuulimit-n65536#此修改只生效当前session使用ulimit-a查看句柄数可以编辑配置文件,永久生效:/etc/security/limits.conf增加配置:elasticsearch-nofile65536#此修改下次session生效2.jvm.options-配置heap大
阿波呲嘚·2020-08-20 19:02

MYSQL基础：参数调优:4:常见的缓存调优参数

这篇文章整理一下缓存相关常用的调优参数，并给出建议。设定参数tmp_table_size与max_heap_table_size此参数一起设定了临时表的最大值。临时表是MySQL用于存储中间结果，很多操作比如Union/子查询/join/notin/exist以及复杂的groupby和orderby都可能会使用到临时表。仅在当前连接可见，当连接关闭时会自动释放，另外在使用的时候也是按需进行分配。而
淼叔·2020-08-20 16:01

Spark2 Linear Regression线性回归案例(参数调优)

回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好。数学上，ElasticNet被定义为L1和L2正则化项的凸组合：通过适当设置α，ElasticNet包含L1和L2正则化作为特殊情况。例如，如果用参数α设置为1来训练线性回归模型，则其等价于Lasso模型。另一方面，如果α被设置为0，则训练的模型简化为ridge回归模型。RegParam:
tiansheng1225·2020-08-20 08:48

sklearn中的网格搜索自动调参（适用于小数据）

它其实是一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整
程序员孙大圣·2020-08-20 08:06

【scikit-learn】网格搜索来进行高效的参数调优

内容概要¶如何使用K折交叉验证来搜索最优调节参数如何让搜索参数的流程更加高效如何一次性的搜索多个调节参数在进行真正的预测之前，如何对调节参数进行处理如何削减该过程的计算代价1.K折交叉验证回顾¶交叉验证的过程选择K的值（一般是10），将数据集分成K等份使用其中的K-1份数据作为训练数据，另外一份数据作为测试数据，进行模型的训练使用一种度量测度来衡量模型的预测性能交叉验证的优点交叉验证通过降低模
JasonDing1354·2020-08-20 06:13

Spark提交命令和参数调优

参数意义和参考值：1.num-executors 线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢2.executor-memory线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/23.executor-cores线程CPUco
bluexue0724·2020-08-20 05:19

Hive 动态分区和二级分区

参数配置开启动态分区功能sethive.exec.dynamic.partition=true;允许所有分区都是动态的sethive.exec.dynamic.partition.mode=nonstrict;其他相关参数调优每个
KK架构师·2020-08-20 03:07

Linux c 开发 - 内存管理器ptmalloc

目录内存布局ptmalloc内存管理器设计假设主分配区和非主分配区chunk内存块的基本组织单元内存分配malloc流程内存释放free流程mallopt参数调优使用注意事项内存布局了解ptmalloc
阿里十年老码农zhuli·2020-08-20 00:51

用Rancher RKE快速部署高可用k8s集群

用Rancher部署高可用k8s集群用RancherRKE部署高可用k8s集群1.主机配置1.1新建虚拟主机1.2主机初始化配置安装一些必要的安装包安全设置ntp时钟同步内核参数调优hostname修改关闭
zhangpfly·2020-08-19 22:00

rocketmq 压测参数调优

更新以下压测内容已作废,rocketmq的tps上不来的核心问题,应该和我使用的VirtualBox的网卡配置有关系,因为网卡或者网络的抖动,导致TPS一直上不去,把虚拟网卡从intel的千M改为virtio以后,现在的TPS已经到16000左右(单broker使用16G内存下,128个线程的生产者)系统配置版本rocketmq4.61服务器18G内存VM4核运行方式官方最小集群1个nameser
_自由之子_·2020-08-19 20:58

tomcat内存（jvm）、并发、缓存优化

内存调优rem次调整为高并发内存调优rem以下配置为JVM参数调优setJAVA_OPTS=-serverrem以服务器模式启动，启动速度慢，但更稳定，性能更好-Xms8192Mrem由于本机内存为16G
代码的味道·2020-08-19 19:37

dubbo 服务的consumer client 调用堆栈 调用链 -- 学习dubbo启动后执行逻辑和代码

重要概念:InvokerInvocationHandler概念直接逻辑关系,见dubbo参数调优说明(dubbo连接池线程池模型.http://blog.csdn.net/youaremoon/article
个人渣记录仅为自己搜索用·2020-08-19 09:19

SaltStack作业

防火墙：service.dead3.selinux：file.managed4.limit设置：file.managed5.SSHuseDNS设置，改端口：file.managed6.systctl内核参数调优
aoche9472·2020-08-19 08:21

Deep learning--论文阅读笔记

通过反向传播算法指导深度学习模型内部的参数调优。卷积神经网络在图像处理上取得突破，递归神经网络则更适合处理文本、语音之类的顺序数据。正文传统的机器学习受限于处理自然的原始数据的能力。
Liu Nottwo·2020-08-19 05:58

Kaggle实战（四）： XGBoost调参

以Kaggle2015年举办的OttoGroupProductClassificationChallenge竞赛数据为例，进行XGBoost参数调优探索。
王氏小明·2020-08-19 05:01

OOM终结者参数调优

内存溢出(OutofMemory,OOM),是指计算机的所有可用内存(包括交换空间,swapspace),都被使用满了。这种情况下,默认配置会导致系统报警,并停止正常运行.当然,将/proc/sys/vm/panic_on_oom参数设置为0,则告诉系统内核,如果系统发生内存溢出,就可以调用oom_killer(OOM终结者)功能,来杀掉最胖的那头进程(rogueprocesses,流氓进程),这
铁锚·2020-08-18 11:31

XGBoost参数调优

摘要：转载：http://blog.csdn.net/han_xiaoyang/article/details/526653961.简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结
hhy518518·2020-08-18 11:20

XGBOOST参数调优

from：https://www.cnblogs.com/zhangbojiangfeng/p/6428988.htmlXGBoost参数调优http://blog.csdn.net/hhy518518
xuxiatian·2020-08-18 06:08

JVM 常见面试题汇总(Java8)

6.你说你做过JVM参数调优和参数配置，请问如何查看JV
不懂的浪漫·2020-08-18 06:32

Xgboost参数调优的完整指南及实战

引言Xgboost是一种高度复杂的算法可以处理各种各样的数据。相信每个用过Xgboost的人都有过这样的感受：利用Xgboost构建模型十分简单，但是用Xgboost来调参提升模型就很难了。该算法使用多个参数。为了改进模型，必须对参数进行优化。但是我们很难找到实际问题的答案——你应该调整哪些参数?这些参数的理想值是什么?以前我写过一篇Xgboost与lightgbm参数对比的文章，但是感觉应该把X
OraYang·2020-08-18 03:36

Cassandra部分参数调优

优化一：commitlog文件由于客户端写数据时需要阻塞写commitlog(默认64GB)，所以可以把commitlog放在SSD或者较为空闲的盘中。执行一次刷操作成功后，commitlog文件将被删除。commitlog_directory优化二：data文件最好把data文件和commitlog放在两个不同的硬盘中，确保data不会和commitlog争抢IO时间。可配置多个。data_fi
一真居士·2020-08-17 12:56

Mnist数据集单隐层BP神经网络参数调优

本次对mnist数据集采用单隐层的BP神经网络，在对参数初始化，激活函数，学习率，正则系数选择，隐层神经元数量选择，随机采样样本数量进行调优后，模型在测试集上的正确率可以达到98%。1、参数初始化方式首先调优w和b的初始化，对比了0矩阵赋值tf.zero，均值和方差为0的正太分布赋值tf.random_normal,发现随机赋值可以收敛速度更快更好，故而选择了随机赋值。2、激活函数在选择0.3作为
懒惰的禾风·2020-08-17 11:38

吴恩达《深度学习》课程介绍

吴恩达《深度学习》（AndrewNg《DeepLearning》）专业课程主要有五门课组成：1.神经网络和深度学习（NeuralNetworksandDeepLearning）2.改善深层神经网络：超参数调优
Erik_ly·2020-08-17 10:41

Java JVM参数调优配置

JVM参数调优配置Java虚拟机原理Java内存结构堆、栈、方法区概念区别Java堆Java栈Java方法区虚拟机参数配置什么是虚拟机参数配置堆的参数配置设置最大堆内存设置新生代与老年代优化参数设置新生代比例参数设置新生与老年代代参数内存溢出解决办法设置堆内存大小设置栈内存大小
李小贱~·2020-08-17 07:12

JVM标配、X和XX参数

是否知道什么是GCRoots2、你说你做过JVM参数调优和参数配置，请问如何盘点查看JVM系统默认值3、你平时工作中用过的JVM常用基本配置参数有哪些？4、强引用、软引用、弱引用、虚引用费别是什么？
Drogon Brother·2020-08-17 05:25

MySQL 数据库规范--调优篇(终结篇)

前言这篇是MySQL数据库规范的最后一篇--调优篇，旨在提供我们发现系统性能变弱、MySQL系统参数调优，SQL脚本出现问题的精准定位与调优方法。
markfork·2020-08-16 08:48

GC实战—浮动内存导致的CPU过高调优

系统的性能优化不单单是对JVM的参数调优，也不是某一段代码的改造，而是一个系统的工程，往往会出现牵一发而动全身，简单的解决，很容易治标不治本从而掩盖问题的本质，而这些深藏的问题才是我们解决问题关键。
weixin_34348805·2020-08-15 21:33

java并发之ThreadPoolExecutor分析

java并发之ThreadPoolExecutor分析ThreadPoolExecutor线程池是我们平时使用最多的线程池处理工具，充分理解线程池的实现原理，可以让我们在碰到相关问题时有效的进行参数调优与处理
iteye_698·2020-08-15 02:48

jvm调优经验

本文将介绍JVM参数调优，这是很头痛的问题，设置的不好，JVM不断执行FullGC，导致整个系统变得很慢，网站停滞时间能达10秒以上，这种情况如果没隔几分钟就来一次，自己都受不了。
iteye_19907·2020-08-15 02:12

#软件构造# 浅谈JVM调优

欢迎访问个人博客https://lyp123.com本篇私博地址：https://lyp123.com/code/jvm-tuning.html促使我写下这篇文章的是软件构造Lab5中中尝试JVM参数调优的时候
小明难亡·2020-08-15 01:52

Spring Cloud 学习(4) --- Eureka(三) 集群、Region Zone、Http Basic

在了解了Euerka的RESTAPI、核心类、核心操作、参数调优等概念之后，在实际的项目中来验证这些概念。
NPException·2020-08-14 18:11

B站吴恩达机器学习视频笔记（31）——网络训练验证测试数据集的组成介绍

之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。
nine_mink·2020-08-14 18:49

MaxCompute参数调优

1背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2参数介绍2.1资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量比较大，导致各个阶段的每个I
weixin_33974433·2020-08-14 12:10

HBase LRUBlockCache与BucketCache二级缓存机制原理剖析与参数调优-OLAP商业环境实战

本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：[email protected]，如有任何学术交流，可随时联系。网上的Hbase调优资料参差不齐，实在是不忍卒读，有些都是拼凑且版本过时的东西，我这里决定综合所有优质资源进行整合，写一份最全，
神兽牛·2020-08-14 07:02

Flink 参数配置和常见参数调优

Flink参数配置jobmanger.rpc.addressjm的地址。jobmanager.rpc.portjm的端口号。jobmanager.heap.mbjm的堆内存大小。不建议配的太大，1-2G足够。taskmanager.heap.mbtm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。taskmanager.numberOfTaskSlotsslot数量。在
GOD_WAR·2020-08-13 23:29

spark运行参数设置

参数调优建议：每个Spa
stormztt·2020-08-13 22:34

机器学习（7）- 线性回归

可以提高模型的范化能力.步骤:把数据集划分为训练集和测试集把训练集划分为训练集和验证集什么是n交叉验证:把训练集分成n等份,每轮选择其中一份做验证集,其他作为训练集,训练n轮.一般n选择为10.网格搜索作用:模型选择参数调优
君莫笑.·2020-08-13 12:12

tensorflow 卷积、反卷积形式的去噪自编码器

tensorflow卷积、反卷积形式的去噪自编码器对于去噪自编码器，网上好多都是利用全连接神经网络进行构建，我自己写了一个卷积、反卷积形式的去噪自编码器，其中的参数调优如果有兴趣的话，可以自行修改查看结果
ShellCollector·2020-08-12 14:07

大数据技术之_30_JVM学习_01_JVM 位置 + JVM 体系结构概览 + 堆体系结构概述 + 堆参数调优入门 + JVM 的配置和优化 + Tomcat 的配置和优化

大数据技术之_30_JVM学习_011、JVM位置2、JVM体系结构概览3、堆体系结构概述4、堆参数调优入门5、JVM的配置和优化6、Tomcat的配置和优化熟悉JVM架构与GC垃圾回收机制以及相应的JVM
黑泽君·2020-08-12 13:58

[机器学习] Yellowbrick使用笔记8-模型选择可视化

代码下载Yellowbrick.model_select包提供了可视化工具，用于检查交叉验证和超参数调优的性能。
落痕的寒假·2020-08-12 10:34

Flink 参数配置和常见参数调优

点击上方"zhisheng"关注,星标或置顶一起成长Flink从入门到精通系列文章Flink参数配置jobmanger.rpc.addressjm的地址。jobmanager.rpc.portjm的端口号。jobmanager.heap.mbjm的堆内存大小。不建议配的太大，1-2G足够。taskmanager.heap.mbtm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户
zhisheng_blog·2020-08-11 23:20

两次线上故障让我明白了jvm参数调优的重要性

一、案例无论面试还是平常的交流中，我们都会谈到垃圾收集器，JVM参数调优等等话题。
lipfff·2020-08-11 22:02

从代码设计到应用开发，入坑深度学习看这本书就够了

但是与此同时，深度学习模型难以解释，参数调优困难，参数规模大训练周期长等问
Python大本营·2020-08-11 19:17

CPU常用参数调优

CPU：时间片长，优先级低；IO:时间片短，优先级高；查看CPU实时状态命令：#top#w#vmstat15#uptime#sar-q(可以实时采样也可以查看过去CPU使用情况)查看CPU使用率命令：#mpstat(可查看指定的CPU使用率，也可查看全部CPU使用率)#sar-PALL12(也可自定义查看CPU)#iostat-c12（强大的统计出丰富的中央信息）#cat/proc/stat#ds
吹动红旗的风·2020-08-11 11:57

利用python分析红葡萄酒数据

在本次分析中，我使用了随机森林回归，并涉及数据标准化和超参数调优。在这里，我使用随机森林分类器，对好酒和不太好的酒进行二元分类。
weixin_30516243·2020-08-11 10:38

【kafka】Producer笔记

文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1Fire-and-forget模式2.2同步模式2.3callback模式三、producer参数调优1.acks2.retries3
pierre94·2020-08-11 05:20

spark参数调优

摘要1.num-executors2.executor-memory3.executor-cores4.driver-memory5.spark.default.parallelism6.spark.storage.memoryFraction7.spark.shuffle.memoryFraction8.total-executor-cores9.资源参数参考示例内容1.num-executor
weixin_30907935·2020-08-11 04:15
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他