参数调优

MySQL查询截取的深入分析

一、查询优化1，mysql的调优大纲慢查询的开启并捕获explain+慢SQL分析showprofile查询SQL在Mysql服务器里面的执行细节和生命周期情况SQL数据库服务器的参数调优2，小表驱动大表
·2021-01-20 12:40

[tensorflow2.0]使用Keras Tune进行超参数调优

  KerasTuner是一个库。Tuner组件用于调节模型的超参数。为您的机器学习（ML）应用程序选择正确的超参数集的过程称为超参数调整或超调整。Tuner组件广泛使用PythonKerasTunerAPI来调节超参数。注：无论建模API如何，KerasTuner库都可用于超参数调节，而不仅限于Keras模型。  超参数是控制训练过程和ML模型的拓扑的变量。这些变量在训练过程中保持不变，并直接影
帅兄心安否·2021-01-11 13:43

mysql 参数调优(7) binlog的写入优化 sync_binlog

sync_binlog决定什么时候写入binlog，影响到了mysql吞吐量和主从同步延迟sync_binlog：这个参数是对于MySQL系统来说是至关重要的，他不仅影响到Binlog对MySQL所带来的性能损耗，而且还影响到MySQL中数据的完整性。对于“sync_binlog”参数的各种设置的说明如下：1、sync_binlog=0，当事务提交之后，MySQL不做fsync之类的磁盘同步指令刷
尹楷楷·2021-01-04 08:14

蚂蚁JAVA微服架构师课程

数据交换格式&反射机制&SpringIOC原理分析07-自定义注解与Java设计模式08-Socket网络通讯基础09-NIO编程基础10-NIO高级编程与Netty入门11-Netty高级12-JVM参数调优配置
125794657·2020-12-31 19:18

mysql 参数调优(3)之innodb的log buffer行为设置innodb_flush_log_at_trx_commit

这个参数直接影响到redolog数据刷新到磁盘的性能，直接影响到插入、修改和删除的性能innodb_flush_log_at_trx_commit1（默认值），0/2（性能更好，但稳定性更差）文件操作三个步骤：open、write、fsync参数含义0：redologbuffer将每秒一次地写入redologfile中，并且redologfile的fsync(刷到磁盘)操作同时进行。该模式下在事务
尹楷楷·2020-12-29 17:33

一个真实数据集的完整机器学习解决方案（下）

sljsz01我们先来回顾一下，一个真实数据集的完整机器学习解决方案（上篇）提到，一个完整的机器学习工程的实现步骤：1.数据预处理2.探索性数据特征统计3.特征工程与特征选取4.建立基线5.机器学习建模6.超参数调优
数量技术宅·2020-12-18 19:00

大数据实战记录

MySQLHadoopHadoopUIHDFS存储MapReduce计算Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优
Beth_Chan·2020-12-14 16:54

性能优化专题 - JVM 性能优化 - 01 - JVM介绍与入门

（RuntimeDataArea）程序计数器方法区栈区堆本地方法栈执行引擎（ExecutionEngine）本地库接口（NativeInterface）本地方法库（NativeLibraires）GC参数调优入门案例一案例二写在最后前言性能优化专题共
✎ℳ๓₯㎕...雲淡風輕·2020-12-12 22:34

Hive引擎Spark优化配置参数2

上一篇内容讲了资源参数优化，本篇继续说明sparkdriver以及sparkshuffle相关的参数调优。
云掣科技·2020-12-11 15:43

xgboost python分类_参数调优XGBoost-商品分类-代码

1.直接调用xgboost内嵌的cv寻找最佳的参数n_estimators(弱分类器数目)Otto商品分类数据导入必要模型#python3.6python3.6python3.6fromxgboostimportXGBClassifier#sklearn中调用XGBoost的接口类，XGBClassifier就是对xgboost的封装，内核是同一个内核importxgboostasxgb#直接调用
weixin_39586825·2020-12-10 07:54

python天气数据分析论文_《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(2/2)...

-随机森林项目实战——气温预测(2/2)第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等
weixin_39867208·2020-12-01 23:37

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
云掣科技·2020-11-24 21:24

python数据项目分析实战技法_《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(1/2)...

-随机森林项目实战——气温预测（1/2）第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等
weixin_39747334·2020-11-24 11:05

多个参数变更update_使用Keras Tuner进行超参数自动调优

周大侠：Keras-Tuner：适用于TensorFlow2.0和keras的超参数调优器zhuanlan.zhihu.com此文主要翻译于TensorFlow的官方Blog，同时也补充了些个人注释。
weixin_39553805·2020-11-22 17:22

2018-10-24（linux服务器常见的各种参数调优）

ntpdatestdtime.gov.hk;hwclock-w&>/dev/nullecho'0103***/usr/sbin/ntpdatestdtime.gov.hk'|tee-a/var/spool/cron/root#同步系统时间sed-i's/^SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/config#关闭SELinuxsed-i's
互联网_小白·2020-10-10 13:07

Tomcat性能调优

怎样给tomcat调优1.JVM参数调优-Xms示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。当应用程序需要的内存超出
程序媛小红·2020-10-09 13:53

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
云掣科技·2020-10-09 12:10

⑫ OpenStack高可用集群部署方案(train版)—Openstack调优和故障解决

不太完整，后续待补充1.Nova关键参数调优：nova.conf中的配置项含义#建议值是预留前几个物理CPU，把后面的所有CPU分配给虚拟机使用vcpu_pin_set#cat/proc/cpuinfo
Linux丶晨星·2020-09-25 10:57

2020研究生数模整理（1）:机器学习回归+GridSearch参数调优+AutoML(TPOT)+模型评估+决策树绘制

本文将介绍以下四点内容：（1）三种回归模型：线性回归、随机森林(输出决策树图)、梯度提升回归；（2）使用GridSearch对机器学习模型进行参数调优；（3）自动机器学习包:TPOT；（4）回归模型的评估
Trista0036·2020-09-21 19:45

PHP-FPM参数调优

配置文件位置一般在PHP目录下的etc/php-fpm.d/*.confpm.max_children=100最大子进程数量，越多越好，一般每个php-cgi所耗费的内存为20M左右如果最大数量设置为100，则在峰值的时候php-cgi所耗内存在2000M以内如果这个值设置的比较小，那么等待的请求时间会出现502超时4G内存服务器可以设置成200pm.start_servers=20pm.star
Marchccc·2020-09-17 09:51

spark 指定相关的参数配置 num-executor executor-memory executor-cores

参数调优建议：每个Spa
weixin_30596165·2020-09-17 05:09

【Spark调优】内存模型与参数调优

【Spark内存模型】Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。1.storage内存：存储broadcast，cache，persist数据的地方。2.execution内存：执行内存，join、aggregate、map等shuffle中间结果都缓存在这部分内存中，满了再写入磁盘，能够减少IO。其实map过程也是在这个内存中执
weixin_30344795·2020-09-17 03:00

dubbo参数调优

Dubbo调用模型常用性能调优参数参数名作用范围默认值说明备注threadsprovider200业务处理线程池大小iothreadsproviderCPU+1io线程池大小queuesprovider0线程池队列大小，当线程池满时，排队等待执行的队列大小，建议不要设置，当线程程池时应立即失败，重试其它服务提供机器，而不是排队，除非有特殊需求connectionsconsumer0对每个提供者的最
genghaihua·2020-09-16 18:07

堆的参数调优

首先回顾下Java7/8之间的堆内存模型和差别JAVA8中:Perm变成元空间；如果你运行程序慢，和经常出现OOM错误，我们可以先测试进行堆的参数调优；通过Runtime.getRuntime().maxMemory
编程菜农·2020-09-16 12:03

参数调优

参考链接：原理介绍：https://www.jianshu.com/p/55b9f2ea283b随机森林参数调优：https://www.cnblogs.com/pinard/p/6160412.htmlhttps
Jiiaaaoooo·2020-09-16 11:39

我的参数调优

1.资源相关参数（1）MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024
谁的青春是一朵花？·2020-09-16 11:10

JVM参数调优

JVM调优根据Java虚拟机规范，JVM将内存划分为：年轻代（New）；年老代（Tenured）；持久代（Perm）年轻代（New）：年轻代用来存放JVM刚分配的Java对象。年轻代分为三个区。一个Eden区，两个Survivor区。两个Survivor空间一样大，当Eden中的对象经过垃圾回收没有被回收掉时，会在两个Survivor之间来回Copy，当满足某个条件，比如Copy次数，就会被Cop
鸿鹄志づ·2020-09-16 07:42

MySQL 性能分析之慢查询日志、日志分析工具

3.explain+慢SQL分析4.showprofile5.运维经理orDBA，进行SQL数据库服务器的参数调优。
楚瑞涛·2020-09-16 07:53

内核参数调优

内核：net.ipv4.conf.lo.arp_ignore=1net.ipv4.conf.lo.arp_announce=2net.ipv4.conf.all.arp_ignore=1net.ipv4.conf.all.arp_announce=2net.core.rmem_default=65535net.core.rmem_max=8388608net.ipv4.tcp_rmem=40968
末-末·2020-09-16 04:39

Tomcat优化配置

1.内存设置(VM参数调优)(1).Windows环境下，是tomcat解压版(执行startup.bat启动tomcat),解决办法:修改“%TOMCAT_HOME%\bin\catalina.bat
zhanglu201112·2020-09-15 21:42

MYSQL参数调优之见解分析,mysql主从（读写）分离来实现负载均衡

MyISAM的锁调度由于MySQL认为写请求一般比读请求要重要，所以如果有读写请求同时进行的话，MYSQL将会优先执行写操作。这样MyISAM表在进行大量的更新操作时（特别是更新的字段中存在索引的情况下），会造成查询操作很难获得读锁，从而导致查询阻塞。我们可以通过一些设置来调节MyISAM的调度行为：a、通过指定启动参数low-priority-updates，使MyISAM引擎默认给予读请求以优
weixin_34090643·2020-09-15 15:20

kafka消费者Consumer参数设置及参数调优建议-kafka 商业环境实战

kafka商业环境实战-kafka生产环境规划kafka商业环境实战-kafka生产者和消费者吞吐量测试kafka商业环境实战-kafka生产者Producer参数设置及参数调优建议kafka商业环境实战
weixin_33797791·2020-09-15 15:06

kafka生产者Producer参数设置及参数调优建议-kafka 商业环境实战 kafka商业环境实战系列

kafka生产者Producer参数设置及参数调优建议-kafka商业环境实战kafka商业环境实战系列本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容
GavinYCF·2020-09-15 13:25

mMySQL学习笔记(4)——查询优化(笔记)

3、explain+慢SQL分析4、showprofile（分析效果与explain差不多）5、运维经理orDBA进行SQL数据库服务器的参数调优。
samwulol·2020-09-15 05:00

Hadoop基础知识（MR on YARN篇）

文章目录基本概念YARN的参数调优YARN的架构MRonYARN执行流程基本概念作业、job、application、应用是同一个意思container：容器，yarn的组件，是一个虚拟的概念，将一定的内存和
gszhihan·2020-09-15 02:50

jvm 调优

这里和大家分享一下JVM参数调优的八条经验，JVM参数调优，这是很头痛的问题，设置的不好，JVM不断执行FullGC，导致整个系统变得很慢，网站停滞时间能达10秒以上，相信通过本文的学习你对JVM参数调优有新的认识
ystar9·2020-09-15 01:20

LibSVM使用指南

本文包含以下几个部分：支持向量机--SVM简介LibSVM的安装LibSVM的使用LibSVM参数调优Java版LibSVM库函数的调用SVM简介在进行下面的内容时我们认为你已经具备了数据挖掘的基础知识
weixin_34255793·2020-09-14 20:44

linux 内核参数调优 for centos 7.6

前言：最近在研究服务器初始化和内核参数调优，翻阅了大量文档，尽量做到每个参数都能有详细的解释，而不是捡一篇通用调优配置就上到服务器上去。
胡学政·2020-09-14 05:51

JVM学习总结——JVM优化（jvm参数）

机器配置2C4G每次FullGC后，内存都能回到某一个值可以排除内存泄漏的情况解决方式：对垃圾回收器进行参数调优，调优过程发现程序处理问题的
技术分子·2020-09-14 04:42

【Hadoop】Hadoop及Yarn调优

Hadoop及Yarn调优HDFS参数调优（hdfs-site.xml）YARN参数优化（yarn-site.xml）MapReduce调优mapreduce运行慢的主要原因可能有哪些？
游骑小兵·2020-09-14 00:51

Linux内核 TCP/IP、Socket参数调优

Doc1:/proc/sys/net目录所有的TCP/IP参数都位于/proc/sys/net目录下（请注意，对/proc/sys/net目录下内容的修改都是临时的，任何修改在系统重启后都会丢失），例如下面这些重要的参数：参数（路径+文件）描述默认值优化值/proc/sys/net/core/rmem_default默认的TCP数据接收窗口大小（字节）。229376256960/proc/sys/
vc66vcc·2020-09-13 06:32

数据库学习——07—Mysql高级(分析SQL步骤 、排序优化、慢查询日志使用、批量插入数据和创建函数、Show Profile进行SQL分析)

SQL优化顺序：分析：观察，复现问题，看看生产的慢SQL情况开启慢查询日志，设置阈值，比如超出5s的就是慢SQL，并抓取出来explain+慢SQL进行分析showprofile进行SQL数据库服务器的参数调优总结
越过山丘，佳人等候·2020-09-12 17:07

Hive on Spark参数调优姿势小结

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。HiveonSpark的效率比onMR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用onYARN部署方式来说明。Driver参数spark.driver.cores该参数表示每个Executor可利用的CPU核心数。其值
大数据星球-浪尖·2020-09-12 16:30

MySQL优化之查询截取分析

MySQL主从赋值查询截取分析分析过程：观察，查看生产慢SQL情况开启慢查询日志，设置阈值explain+慢SQL分析showprofile查询SQL在MySQL服务器里面的执行细节和执行情况SQL数据库服务参数调优查询优化小表驱动大表原则
CC_且听风吟·2020-09-12 08:55

高性能分布式架构实践（一）

先把普通企业级基本性能优化的小方法复习下JVM参数调优1.使用64位JDK1.6+&Tomcat6+。
shan9liang·2020-09-12 01:09

高斯过程回归GPR

关键字：核函数，RBF超参数调优对这个很熟悉了，简单写一下本人用matlab实现了一下:https://download.csdn.net/download/qq_40597317/10646888可以参考论文阅读
余生最年轻·2020-09-12 01:02

LightGBM介绍及参数调优

1、LightGBM简介LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：1）更快的训练效率2）低内存使用3）更高的准确率4）支持并行化学习5）可以处理大规模数据与常见的机器学习算法对比，速度是非常快的2、XGboost的缺点在讨论LightGBM时，不可避免的会提到XGboost，关于XGboost可以参考此博文关于XGboost的
weixin_42774642·2020-09-11 23:06

《机器学习从入门到入职》卷积神经网络-keras-CIFAR10-参数调优-图像数据增强

代码链接：CSDN：https://download.csdn.net/download/qq_38649386/12677269GitHub:实验原理：参数调优改进代码：#构建卷积模型model=Sequential
KernStarc·2020-09-11 22:03

lightGBM参数说明

LightGBM参数调优下面几张表为重要参数的含义和如何应用接下来是调参下表对应了FasterSpread，betteraccuracy，over-fitting三种目的时，可以调整的参数参考文献：https
lucky0han·2020-09-11 21:57

mysql高速缓存query_cache参数调优

默认情况下，mysql没有开启query_cache功能。MariaDB[(none)]>showvariableslike'%query_cache%';+------------------------------+---------+|Variable_name|Value|+------------------------------+---------+|have_query_cache
weixin_34082177·2020-09-11 20:53
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他