参数调优

模型评估和超参数调优

模型评估和超参数调优fromIPython.displayimportImage%matplotlibinline1.通过管道Pipeline简化工作流程在正式建立模型之前，一般会经理很多步骤的数据预处理
AIHUBEI·2021-04-30 21:33

看MySQL的参数调优及数据库锁实践有这一篇足够了

史上最强MySQL参数调优及数据库锁实践1.应用优化1.2减少对MySQL的访问1.2.1避免对数据进行重复检索1.2.2增加cache层1.3负载均衡1.3.1利用MySQL复制分流查询1.3.2采用分布式数据架构
小小一技术驿站·2021-04-30 17:43

《大数据处理实践探索》 ---- 使用spark MLlib进行机器学习（3超参数调优）

在本节中，我们将重点使用基于树的模型作为超参数调优过程的示例，但同样的概念也适用于其他模型。一旦我们建立了用
shiter·2021-04-26 23:04

Nginx学习6 - Nginx性能参数调优

Nginx是一个多进程单线程的应用。它有很多配置参数可以根据实际情况进行调优，来进一步增大并发性能。调优参数一：worker_processesworker_processes表示worker线程的数量，每个worker进程都是单线程的进程，它们会调用各个模块以实现多种多样的功能。如果这些模块确认不会出现阻塞式的调用，那么，有多少CPU内核就应该配置多少个进程；反之，如果有可能出现阻塞式调用，那么
Tian_Peng·2021-04-19 09:04

NGINX快速入门（06）Nginx性能参数调优

Nginx是一个多进程单线程的应用。它有很多配置参数可以根据实际情况进行调优，来进一步增大并发性能。调优参数一：worker_processesworker_processes表示worker线程的数量，每个worker进程都是单线程的进程，它们会调用各个模块以实现多种多样的功能。如果这些模块确认不会出现阻塞式的调用，那么，有多少CPU内核就应该配置多少个进程；反之，如果有可能出现阻塞式调用，那么
郭艺宾·2021-04-19 01:14

NGINX学习笔记（三）----NGINX性能参数调优

Nginx是一个多进程单线程的应用。它有很多配置参数可以根据实际情况进行调优，来进一步增大并发性能。调优参数一：worker_processesworker_processes表示worker线程的数量，每个worker进程都是单线程的进程，它们会调用各个模块以实现多种多样的功能。如果这些模块确认不会出现阻塞式的调用，那么，有多少CPU内核就应该配置多少个进程；反之，如果有可能出现阻塞式调用，那么
奋斗小周·2021-04-18 18:51

五十六、HBase的优化

关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、HBase的高可用二、预分区2.1使用命令行添加预分区2.2使用JavaAPI添加预分区2.2.1代码实现2.2.2测试三、RowKey设计四、参数调优一
象在舞·2021-04-08 15:12

Spark参数调优

Spark参数调优参考spark官方文档：http://spark.apache.org/docs/...Shuffle相关Shuffle操作大概是对Spark性能影响最大的步骤之一（因为可能涉及到排序
·2021-03-22 19:03

Spark参数调优

Spark参数调优参考spark官方文档：http://spark.apache.org/docs/...Shuffle相关Shuffle操作大概是对Spark性能影响最大的步骤之一（因为可能涉及到排序
·2021-03-17 15:28

跟着Datawhale学习集成学习

代码实现3.模型优化3.1偏差与方差理论（Variance-BiasTradeoff）3.2特征筛选3.2.1根据指标去进行特征筛选3.2.2根据LASSO进行特征筛选3.3利用交叉验证进行模型评价3.4参数调优
hello_JeremyWang·2021-03-15 16:31

JVM参数调优与垃圾回收机制（第十一天）

一、Java虚拟机原理所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机，大名鼎鼎的VisualBox、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机典型代码就是Java虚拟机，它专门为执行单个计算程序而计算，在Java虚拟机中执行的指令我们成为Java自己码指令。无论是
hzhang94·2021-03-10 13:12

python股票量化交易（10）---使用机器学习算法预测股票涨跌

目录前言随机森林算法搭建股票预测模型预测下一天的股票涨跌参数调优绘制预测与实际涨跌对比图前言前面9篇博文对量化交易的各种图形绘制以及计算公式已经讲解的比较清楚了。
李元静·2021-02-01 18:41

谈谈高可用之压测与预案

一般可通过全链路压测手段找到系统的瓶颈，然后针对性地进行系统调优，如JVM调优，SQL调优，线程池参数调优等。
·2021-01-31 15:10

mysql 参数调优(1)之内存缓冲池innodb_buffer_pool_size

内存的大小是最能直接反映数据库的性能。InnoDB存储引擎既缓存数据，又缓存索引，并且将它们缓存于一个很大的缓冲池中，即InnoDBBufferPool。因此，内存的大小直接影响了数据库的性能性能测试。Percona公司的CTOVadin对此做了一次测试，以此反映内存的重要性，结果如下图所示：image.png在上述测试中，数据和索引总大小为18GB，然后将缓冲池的大小分别设为2GB、4GB、6G
尹楷楷·2021-01-26 17:46

MySQL查询截取的深入分析

一、查询优化1，mysql的调优大纲慢查询的开启并捕获explain+慢SQL分析showprofile查询SQL在Mysql服务器里面的执行细节和生命周期情况SQL数据库服务器的参数调优2，小表驱动大表
·2021-01-20 12:40

[tensorflow2.0]使用Keras Tune进行超参数调优

  KerasTuner是一个库。Tuner组件用于调节模型的超参数。为您的机器学习（ML）应用程序选择正确的超参数集的过程称为超参数调整或超调整。Tuner组件广泛使用PythonKerasTunerAPI来调节超参数。注：无论建模API如何，KerasTuner库都可用于超参数调节，而不仅限于Keras模型。  超参数是控制训练过程和ML模型的拓扑的变量。这些变量在训练过程中保持不变，并直接影
帅兄心安否·2021-01-11 13:43

mysql 参数调优(7) binlog的写入优化 sync_binlog

sync_binlog决定什么时候写入binlog，影响到了mysql吞吐量和主从同步延迟sync_binlog：这个参数是对于MySQL系统来说是至关重要的，他不仅影响到Binlog对MySQL所带来的性能损耗，而且还影响到MySQL中数据的完整性。对于“sync_binlog”参数的各种设置的说明如下：1、sync_binlog=0，当事务提交之后，MySQL不做fsync之类的磁盘同步指令刷
尹楷楷·2021-01-04 08:14

蚂蚁JAVA微服架构师课程

数据交换格式&反射机制&SpringIOC原理分析07-自定义注解与Java设计模式08-Socket网络通讯基础09-NIO编程基础10-NIO高级编程与Netty入门11-Netty高级12-JVM参数调优配置
125794657·2020-12-31 19:18

mysql 参数调优(3)之innodb的log buffer行为设置innodb_flush_log_at_trx_commit

这个参数直接影响到redolog数据刷新到磁盘的性能，直接影响到插入、修改和删除的性能innodb_flush_log_at_trx_commit1（默认值），0/2（性能更好，但稳定性更差）文件操作三个步骤：open、write、fsync参数含义0：redologbuffer将每秒一次地写入redologfile中，并且redologfile的fsync(刷到磁盘)操作同时进行。该模式下在事务
尹楷楷·2020-12-29 17:33

一个真实数据集的完整机器学习解决方案（下）

sljsz01我们先来回顾一下，一个真实数据集的完整机器学习解决方案（上篇）提到，一个完整的机器学习工程的实现步骤：1.数据预处理2.探索性数据特征统计3.特征工程与特征选取4.建立基线5.机器学习建模6.超参数调优
数量技术宅·2020-12-18 19:00

大数据实战记录

MySQLHadoopHadoopUIHDFS存储MapReduce计算Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优
Beth_Chan·2020-12-14 16:54

性能优化专题 - JVM 性能优化 - 01 - JVM介绍与入门

（RuntimeDataArea）程序计数器方法区栈区堆本地方法栈执行引擎（ExecutionEngine）本地库接口（NativeInterface）本地方法库（NativeLibraires）GC参数调优入门案例一案例二写在最后前言性能优化专题共
✎ℳ๓₯㎕...雲淡風輕·2020-12-12 22:34

Hive引擎Spark优化配置参数2

上一篇内容讲了资源参数优化，本篇继续说明sparkdriver以及sparkshuffle相关的参数调优。
云掣科技·2020-12-11 15:43

xgboost python分类_参数调优XGBoost-商品分类-代码

1.直接调用xgboost内嵌的cv寻找最佳的参数n_estimators(弱分类器数目)Otto商品分类数据导入必要模型#python3.6python3.6python3.6fromxgboostimportXGBClassifier#sklearn中调用XGBoost的接口类，XGBClassifier就是对xgboost的封装，内核是同一个内核importxgboostasxgb#直接调用
weixin_39586825·2020-12-10 07:54

python天气数据分析论文_《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(2/2)...

-随机森林项目实战——气温预测(2/2)第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等
weixin_39867208·2020-12-01 23:37

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
云掣科技·2020-11-24 21:24

python数据项目分析实战技法_《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(1/2)...

-随机森林项目实战——气温预测（1/2）第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等
weixin_39747334·2020-11-24 11:05

多个参数变更update_使用Keras Tuner进行超参数自动调优

周大侠：Keras-Tuner：适用于TensorFlow2.0和keras的超参数调优器zhuanlan.zhihu.com此文主要翻译于TensorFlow的官方Blog，同时也补充了些个人注释。
weixin_39553805·2020-11-22 17:22

2018-10-24（linux服务器常见的各种参数调优）

ntpdatestdtime.gov.hk;hwclock-w&>/dev/nullecho'0103***/usr/sbin/ntpdatestdtime.gov.hk'|tee-a/var/spool/cron/root#同步系统时间sed-i's/^SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/config#关闭SELinuxsed-i's
互联网_小白·2020-10-10 13:07

Tomcat性能调优

怎样给tomcat调优1.JVM参数调优-Xms示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。当应用程序需要的内存超出
程序媛小红·2020-10-09 13:53

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优
云掣科技·2020-10-09 12:10

⑫ OpenStack高可用集群部署方案(train版)—Openstack调优和故障解决

不太完整，后续待补充1.Nova关键参数调优：nova.conf中的配置项含义#建议值是预留前几个物理CPU，把后面的所有CPU分配给虚拟机使用vcpu_pin_set#cat/proc/cpuinfo
Linux丶晨星·2020-09-25 10:57

2020研究生数模整理（1）:机器学习回归+GridSearch参数调优+AutoML(TPOT)+模型评估+决策树绘制

本文将介绍以下四点内容：（1）三种回归模型：线性回归、随机森林(输出决策树图)、梯度提升回归；（2）使用GridSearch对机器学习模型进行参数调优；（3）自动机器学习包:TPOT；（4）回归模型的评估
Trista0036·2020-09-21 19:45

PHP-FPM参数调优

配置文件位置一般在PHP目录下的etc/php-fpm.d/*.confpm.max_children=100最大子进程数量，越多越好，一般每个php-cgi所耗费的内存为20M左右如果最大数量设置为100，则在峰值的时候php-cgi所耗内存在2000M以内如果这个值设置的比较小，那么等待的请求时间会出现502超时4G内存服务器可以设置成200pm.start_servers=20pm.star
Marchccc·2020-09-17 09:51

spark 指定相关的参数配置 num-executor executor-memory executor-cores

参数调优建议：每个Spa
weixin_30596165·2020-09-17 05:09

【Spark调优】内存模型与参数调优

【Spark内存模型】Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。1.storage内存：存储broadcast，cache，persist数据的地方。2.execution内存：执行内存，join、aggregate、map等shuffle中间结果都缓存在这部分内存中，满了再写入磁盘，能够减少IO。其实map过程也是在这个内存中执
weixin_30344795·2020-09-17 03:00

dubbo参数调优

Dubbo调用模型常用性能调优参数参数名作用范围默认值说明备注threadsprovider200业务处理线程池大小iothreadsproviderCPU+1io线程池大小queuesprovider0线程池队列大小，当线程池满时，排队等待执行的队列大小，建议不要设置，当线程程池时应立即失败，重试其它服务提供机器，而不是排队，除非有特殊需求connectionsconsumer0对每个提供者的最
genghaihua·2020-09-16 18:07

堆的参数调优

首先回顾下Java7/8之间的堆内存模型和差别JAVA8中:Perm变成元空间；如果你运行程序慢，和经常出现OOM错误，我们可以先测试进行堆的参数调优；通过Runtime.getRuntime().maxMemory
编程菜农·2020-09-16 12:03

参数调优

参考链接：原理介绍：https://www.jianshu.com/p/55b9f2ea283b随机森林参数调优：https://www.cnblogs.com/pinard/p/6160412.htmlhttps
Jiiaaaoooo·2020-09-16 11:39

我的参数调优

1.资源相关参数（1）MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024
谁的青春是一朵花？·2020-09-16 11:10

JVM参数调优

JVM调优根据Java虚拟机规范，JVM将内存划分为：年轻代（New）；年老代（Tenured）；持久代（Perm）年轻代（New）：年轻代用来存放JVM刚分配的Java对象。年轻代分为三个区。一个Eden区，两个Survivor区。两个Survivor空间一样大，当Eden中的对象经过垃圾回收没有被回收掉时，会在两个Survivor之间来回Copy，当满足某个条件，比如Copy次数，就会被Cop
鸿鹄志づ·2020-09-16 07:42

MySQL 性能分析之慢查询日志、日志分析工具

3.explain+慢SQL分析4.showprofile5.运维经理orDBA，进行SQL数据库服务器的参数调优。
楚瑞涛·2020-09-16 07:53

内核参数调优

内核：net.ipv4.conf.lo.arp_ignore=1net.ipv4.conf.lo.arp_announce=2net.ipv4.conf.all.arp_ignore=1net.ipv4.conf.all.arp_announce=2net.core.rmem_default=65535net.core.rmem_max=8388608net.ipv4.tcp_rmem=40968
末-末·2020-09-16 04:39

Tomcat优化配置

1.内存设置(VM参数调优)(1).Windows环境下，是tomcat解压版(执行startup.bat启动tomcat),解决办法:修改“%TOMCAT_HOME%\bin\catalina.bat
zhanglu201112·2020-09-15 21:42

MYSQL参数调优之见解分析,mysql主从（读写）分离来实现负载均衡

MyISAM的锁调度由于MySQL认为写请求一般比读请求要重要，所以如果有读写请求同时进行的话，MYSQL将会优先执行写操作。这样MyISAM表在进行大量的更新操作时（特别是更新的字段中存在索引的情况下），会造成查询操作很难获得读锁，从而导致查询阻塞。我们可以通过一些设置来调节MyISAM的调度行为：a、通过指定启动参数low-priority-updates，使MyISAM引擎默认给予读请求以优
weixin_34090643·2020-09-15 15:20

kafka消费者Consumer参数设置及参数调优建议-kafka 商业环境实战

kafka商业环境实战-kafka生产环境规划kafka商业环境实战-kafka生产者和消费者吞吐量测试kafka商业环境实战-kafka生产者Producer参数设置及参数调优建议kafka商业环境实战
weixin_33797791·2020-09-15 15:06

kafka生产者Producer参数设置及参数调优建议-kafka 商业环境实战 kafka商业环境实战系列

kafka生产者Producer参数设置及参数调优建议-kafka商业环境实战kafka商业环境实战系列本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容
GavinYCF·2020-09-15 13:25

mMySQL学习笔记(4)——查询优化(笔记)

3、explain+慢SQL分析4、showprofile（分析效果与explain差不多）5、运维经理orDBA进行SQL数据库服务器的参数调优。
samwulol·2020-09-15 05:00

Hadoop基础知识（MR on YARN篇）

文章目录基本概念YARN的参数调优YARN的架构MRonYARN执行流程基本概念作业、job、application、应用是同一个意思container：容器，yarn的组件，是一个虚拟的概念，将一定的内存和
gszhihan·2020-09-15 02:50

jvm 调优

这里和大家分享一下JVM参数调优的八条经验，JVM参数调优，这是很头痛的问题，设置的不好，JVM不断执行FullGC，导致整个系统变得很慢，网站停滞时间能达10秒以上，相信通过本文的学习你对JVM参数调优有新的认识
ystar9·2020-09-15 01:20
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他