参数调优第22页

机器学习模型超参数调优

机器学习模型超参数调节：网格搜索、随机搜索与贝叶斯优化在进行机器学习的过程中，最为核心的一个概念就是参数，而参数又分为模型参数与超参数。模型参数，顾名思义就是我们使用的模型根据训练数据的分布学习到的参数，这一部分不需要我们人为的先验经验。超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给模型选择一组最优超参数，以提高学习的性能和效果。通常情况

别致的SmallSix·2020-06-20 21:47

公共自行车使用量预测

主要内容知识点1.GBDT2.xgboost的核心算法3.GBDT和xgboost的区别数据分析和参数调优过程一、简要说明二、数据分析三、调参前的一些说明四、使用GridSearchCV调参五、进一步调参六

mAbbQi·2020-05-31 11:44

Mysql性能优化与测试

vim/etc/security/limits.conf*softnproc65535*hardnproc65535*softnofile65535*hardnofile65535#查看Linux内核参数调优

zhoutao·2020-05-27 23:43

JVM 参数调优（qbit）

前言JVM的参数有好几百个，听着有点吓人，好在最常用的参数只有两个，其他绝大多数参数都无需调整。可以参考廖雪峰的文章：JVM调优的正确姿势-Xms8g-Xmx8gOracle对JVM参数的说明文档Client/ServerJVM有两种运行模式Server与Client。Client模式启动速度较快，Server模式启动较慢。启动进入稳定期长期运行之后Server模式的程序运行速度比Client要快

qbit·2020-05-27 17:47

JVM参数调优

JVM参数调优前言你说你做过JVM调优和参数配置，请问如何盘点查看JVM系统默认值使用jps和jinfo进行查看-Xms：初始堆空间-Xmx：堆最大值-Xss：栈空间-Xms和-Xmx最好调整一致，防止

MXC肖某某·2020-05-08 09:00

2019年18家大厂Java面试题整理了350道（分布式+微服务+高并发）

image一、性能调优系列1.Comcat性能调优JVM参数调优:-Xms表示JVM初始化堆的大小，一Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。

程序员追风·2020-04-13 04:55

XGboost 基线模型及部分参数优化

1模型原理及调参参考调参：XGBoost参数调优完全指南原理：xgboost入门与实战（原理篇）2输出基线模型对二分类问题，数据整理与其它模型无异。

废柴社·2020-04-11 14:00

《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(2/2)

-随机森林项目实战——气温预测(2/2)第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等

邀月·2020-04-09 18:00

《Python数据分析与机器学习实战-唐宇迪》读书笔记第9章--随机森林项目实战——气温预测(1/2)

-随机森林项目实战——气温预测（1/2）第8章已经讲解过随机森林的基本原理，本章将从实战的角度出发，借助Python工具包完成气温预测任务，其中涉及多个模块，主要包含随机森林建模、特征选择、效率对比、参数调优等

邀月·2020-04-09 12:00

数据挖掘--模型参数调优

模型评估使用metric函数来进行评分sklearn.metrics里面提供了一些函数来帮助我们进行评分。其中里面以_score结尾的函数的返回值越大，模型的性能越好。而以_error或_loss结尾的函数，返回值越小，表示模型性能越好。从命名上来看，这一点不难理解。metrics里面的很多函数名不直接传入scoring后面，因为有一些函数需要传入特定的参数才能够使用。比如在使用fbeta_sco

猪突猛进！！！·2020-04-06 20:00

18家大厂Java面试题整理了350道（分布式+微服务+高并发）

一、性能调优系列1.Tomcat性能调优JVM参数调优:-Xms表示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。

zhoongdev·2020-04-06 05:05

zuul 参数调优

zuul参数调优zuul参数调优适用版本：spring-boot:1.4.x.RELEASEspring-cloud：Camden.SR3Hystrix:1.5.6spring-boot-tomcat优化参数

铁汤·2020-04-01 22:01

Spark 性能调优--Shuffle调优参数调优

Shuffle参数spark.shuffle.file.buffer默认值：32k该参数用于设置shufflewritetask的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减少shufflewrite过

Alex90·2020-04-01 01:25

系统资源参数优化（ulimit）

目录基本内核参数调优corefilesizefilesizemaxlockedmemorymaxmemorysizeopenfilesmaxuserprocesses+-+-+-+-+-+-+-+-+-

一张贺卡·2020-03-31 19:00

[JVM教程与调优] 什么是JVM运行时参数？

这一点十分重要，因为我们在进行JVM参数调优的时候，我们首先得知道目前系统运行的值是什么，然后相应的根据相关参数进行调优。1.-XX:+PrintFlagsInitial（查看初始值）2.

Coder编程·2020-03-31 14:00

模型介绍、评估和参数调优（附代码）

我们在用训练数据对模型进行拟合时会得到模型的一些参数，但将模型用于新数据时需重设这些参数，并且还需要评估这个模型的实用性。我们可以利用scikit-learn中的一些方法来达到这么目的。我们本次所用到的数据是威斯康星乳腺癌数据（满大街了都）先加载数据吧。可以利用pandas直接去UCI网站读取importpandasaspddf=pd.read_csv('https://archive.ics.u

鸣人吃土豆·2020-03-28 18:39

泰坦尼克号系列（二）——建模和特征工程及其评估

交叉验证可用于特征选择、模型选择和参数调优，这里我们先用cross_

九天朱雀·2020-03-18 08:13

2018-11-07 Spark应用程序开发参数调优深入剖析-Spark商业调优实战

Spark商业应用实战-Spark数据倾斜案例测试及调优准则深入剖析Spark商业应用实战-Spark资源调度参数调优深入剖析Spark商业应用实战-Spark应用程序开发参数调优深入剖析Spark商业应用实战

Albert陈凯·2020-03-17 11:23

深度学习如何入门？

他的课程介绍了目前各种机器学习算法，更重要的是机器学习的一般程序和方法，包括数据预处理，超参数调优等。同时推荐阅读由GeoffHinton，YoshuaBe

造数科技·2020-03-12 02:47

我的个人成长参数调优方法论

个人成长在2016年的最后两天，我想写下自己在过去一年领悟到的生活调优方法。之所以取了上面的标题，是做了一个和个人专业相关的类比。这个类比不是本文原创，但有足够的普适性，所以这里也在做一下解释。我的专业和机器学习相关，工作中相当大比例的内容是针对某一具体问题，首先进行抽象描述，建立模型；然后利用原始数据训练模型，调整优化模型参数；最后利用训练好的模型去预测判断解决问题。如果在做一个简化抽象的描述就

钢布直刀·2020-03-07 16:07

程序员进阶架构师学习路线

Java程序员进阶架构师学习路线图（双击查看清晰大图）：详细介绍如下：JVM基本参数调优（Xmx，Xms，Xss，-XX:NewRatio，-XX:SurvivorRatio等）GC收集器选择（根据系统特点

架构师进阶之路·2020-02-29 13:28

深度学习

社区ppv大数据社区深度学习知乎博客特征工程知乎深度学习的理解数学之美技术方面Keras/Python深度学习中的网格搜索超参数调优aetrossklearn的一些总结keras学习笔记3——Merge

maocy·2020-02-28 01:00

spark 参数调优详解

1、背景有需要的可以联系我2317384986yxxy1717①ApplicationProperties应用基本属性spark.driver.coresdriver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。spark.driver.memorydriver端分配的内存数，默认为1g，同上。spark.executor.me

清风_d587·2020-02-25 10:41

RDS MySQL参数调优最佳实践

小黒糖2017-12-0113:07:49浏览132评论0mysqlinnodbRDS性能线程数据库Cache数据安全tokudb摘要：前言很多时候，RDS用户经常会问如何调优RDSMySQL的参数，为了回答这个问题，写一篇blog来进行解释：哪一些参数不能修改，那一些参数可以修改；这些提供修改的参数是不是已经是最佳设置，如何才能利用好这些参数；哪些参数可以改细心的用户在购买RDS的时候都会看到，

暖夏未眠丶·2020-02-13 20:37

kafka生产者Producer参数设置及参数调优建议-kafka商业环境实战系列

开心技术社区·2020-02-11 00:09

XGBoost机器学习——网格搜索交叉验证 in py3

参数调优GridSearchCV：我们可以根据交叉验证评估的结果，选择最佳参数的模型–输入待调节参数的范围（grid），对一组参数对应的模型进行评估，并给出最佳模型及其参数模型评估小结•通常k-折交叉验证是评估机器学习模型的黄金准则

周叫兽的猫·2020-02-10 12:21

海量连接服务端jvm参数调优杂记

应用：shark-新美大移动端网络优化(每日接受移动端请求约150亿)应用特点：qps比较高，新生代增长飞快用户的连接需要维持一段时间单机需要维持海量连接，几十万的级别以上三个特点导致有大量小对象聚集在old区，高峰期old区域增长非常快，对象在一段时间内肯定会消亡初始的线上gc的情况如下对应的jvm参数为-Xms10g-Xmx10g-Xss512k-XX:PermSize=384m-XX:Max

简书闪电侠·2020-02-10 07:03

MySQL部分参数调优

调优参数详情参数选项释义默认参数是否支持热更新(dynamic)策略注意事项推荐组合innodb_buffer_pool_size数据缓存，索引缓存，更改数据的缓冲，存储内部结构128MYesMEM*70%innodb_flush_log_at_trx_commitInnoDB依靠重做日志来保证数据能在丢失后进行恢复，该参数控制重做日志写入磁盘的过程1Yes0：logbuffer将每秒一次地写入l

孑一二·2020-02-09 01:12

Jvm调优与微服务资源分配

一般我们统一对应用服务器做Jvm参数调优（分配多大内存，线程池限制等），而不用考虑每个部署在服务器上的java程序。但是微服务和Spring的兴起，让这一切都变了。

KerryWu·2020-02-08 14:59

使用 Hyperopt 进行参数调优（译）

本文是对ParameterTuningwithHyperopt一文的翻译。译者在设计深度学习模型的网络结构发现了hyperopt这个大杀器，相比每次手动各种试，用工具批量调节网络中的各种超参数确实能省心不少。不过hyperopt的官方文档描述的太渣，google了一翻，发现这篇博客算是介绍的比较清楚的一个，便顺手翻译了，译文已取得原作者授权。正文开始本文将介绍一种快速有效的方法用于实现机器学习模型

ktulu7·2020-02-06 13:43

20190808 Kafka参数调优实战

1、代码例子Propertiesprops=newProperties();props.put("bootstrap.servers","localhost:9092");props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer",

黑菜qwer·2020-02-06 05:30

【大数据面试宝典】第一篇 Hadoop 面试题

Hadoop常见的端口Hadoop生态圈Hadoop配置文件以及简单的Hadoop集群搭建Hadoop参数调优项目经验之基准测试Hadoop宕机Hadoop高可用配置Hadoop常见的端口dfs.namenode.http-address

IT猿看视界·2020-01-08 17:00

JVM系列(六):Java服务GC参数调优案例

原文链接：Java服务GC参数调优案例，下面为转载此文的内容，备注部分为本人添加，主要起到说明的作用。背景以及遇到的问题我们的JavaH

Java_Explorer·2020-01-06 21:08

机器学习-梯度下降参数调优小结

在机器学习领域，通过对特征的参数调优可以让模型的预测值更接近真实值的常见的两种方法包括最小二乘法和梯度下降方法。目前梯度下降更成为了一种解决问题的方法和思路，在集成学习和深度学习领域都有较多的应用。

何柯君·2020-01-06 14:04

Spark Shuffle原理、Shuffle操作问题解决和参数调优

目录：1.shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2.Shuffle操作问题解决2.1数据倾斜原理2.2数据倾斜问题发现与解决2.3数据倾斜解决方案3.sparkRDD中的shuffle算子3.1去重3.2聚合3.3排序3.4重分区3.5集合操作和表操作

尼小摩·2020-01-06 10:07

python使用hyperopt工具进行自动调参

学习原因：通过学习“魔镜杯”风控大赛金奖获得者的代码，发现在模型建立完毕之后，可以使用hyperopt包进行自动化参数调优。而不需要人工不停输入参数进行判断，尤其在参数组合较多的情况下，很好用。

欠我的都给我吐出来·2020-01-04 20:58

在真实数据集上的随机森林模型参数调优

搞机器学习的人，都会有自己偏爱的某种算法，有的喜欢支持向量机（SVM），因为它公式表达的优雅和可利用方法实现的高质量；有的人喜欢决策树，因为它的简洁性和解释能力；还有人对神经网络非常痴狂，因为它解决问题的灵活性（一般在超大规模的数据集上，使用神经网络，效果会好于其他所有的机器学习算法）。但是就我本人而言，我最喜欢的算法是随机森林，理由如下：通用性。随机森林算法可以应用于很多类别的模型任务。它们可以

YoghurtIce·2020-01-04 01:56

Tomcat的并发能力

（并发量上来后可能需要修改JVM参数调优）建议当某个应用拥有250个以上并发的时候，应考虑应用服务器的集群。

allenggg·2020-01-03 07:41

Spark参数调优

spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shufflewritetask的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减少shufflewrite过程中溢写

简书生活2017·2019-12-30 18:36

lightGBM从参数调优到背景理论

机器学习竞赛的好工具light是一个很好用的机器学习竞赛算法。许多提升工具对于决策树的学习使用基于pre-sorted的算法。这是一个简单的解决方案，但是不易于优化。LightGBM利用基于histogram的算法[3,4,5]，通过将连续特征（属性）值分段为discretebins来加快训练的速度并减少内存的使用。大部分决策树的学习算法通过level(depth)-wise策略生长树，而ligh

欠我的都给我吐出来·2019-12-30 12:36

《沙盘模拟系列》JVM如何调优

纸上得来终觉浅绝知此事要躬行我所在的公司基本上是没有机会进行JVM参数调优的，但是如果有些东西自己不亲身经历一下，看再多的理论知识也只能算是纸上谈兵，真正碰到问题的时候还是不知道该怎么分析。

不学无数·2019-12-29 20:53

HBase 线上问题排查 - 为什么读写这么少还会触发巨量 IO ？

我湾使用的是ClouderaManager来管理CDH相关组件，所以以下涉及的操作都是在ClouderaManager里完成的，包括监控、参数调优等。

大数据之心·2019-12-26 21:20

模型评估、过拟合欠拟合以及超参数调优方法

机器学习入门系列（2）--如何构建一个完整的机器学习项目，第十一篇！该系列的前10篇文章：机器学习入门系列(2)--如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较(完）简单聊聊模型的性能评估标准

材才才·2019-12-26 13:21

java 高并发，数据库优化，单例模式，多线程

#1、动静分离部署nginx+tomcat2、应用集群，负载均衡--F5/Array/LVS/Nginx/TOMCAT3、分布式缓存Memcached+Redis4、应用本地缓存Ehcache5、JVM参数调优

x曦月y·2019-12-25 14:28

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。

风流三月1·2019-12-24 10:39

阿里蚂蚁金服Java岗330道面试题（性能调优+微服务+并发编程+开源框架+分布式）

一、性能调优系列1.Tomcat性能调优JVM参数调优:-Xms表示JVM初始化堆的大小，一Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。

Java架构师那些事·2019-12-23 23:00

Spark中shuffle原理及参数调优

摘要：1shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle操作问题解决2.1数据倾斜原理2.2数据倾斜问题发现与解决2.3数据倾斜解决方案3sparkRDD中的shuffle算子3.1去重3.2聚合3.3排序3.4重分区3.5集合操作和表操作4sp

liuzx32·2019-12-20 01:30

HIVE SQL产生的文件数量及参数调优

产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key#hive分区字段--hive-partition-value#hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。sethive.exec.dynamic.partition.mode=true;--使用动态分区时，设置为ture。sethive.exec.

海贼王一样的男人·2019-12-19 21:00

MySQL 数据库规范--调优篇(终结篇)

前言这篇是MySQL数据库规范的最后一篇--调优篇，旨在提供我们发现系统性能变弱、MySQL系统参数调优，SQL脚本出现问题的精准定位与调优方法。

markfork·2019-12-17 17:25

JVM性能优化--JVM参数配置，使用JMeter简单测试配合说明参数调优

一、JVM参数配置1、常见参数配置-XX:+PrintGC每次触发GC的时候打印相关日志-XX:+UseSerialGC串行回收-XX:+PrintGCDetails更详细的GC日志-Xms堆初始值-Xmx堆最大可用值-Xmn新生代堆最大可用值-XX:SurvivorRatio用来设置新生代中eden空间和from/to空间的比例.-XX:NewRatio配置新生代与老年代占比1:2含以-XX:S

codeobj·2019-12-17 03:12

推荐频道

参数调优