参数调优

Kafka调优

配置参数调优broker配置num.recovery.threads.per.data.dir对于如下3种情况，Kafka会使用可配置的线程池来处理日志片段：服务器正常启动，用于打开每个分区的日志片段；
诺浅·2020-06-24 22:28

2.4BN与神经网络调优

2.4.1神经网络调优我们经常会涉及到参数的调优，也称之为超参数调优。
qingfengxiaosong·2020-06-24 22:13

HDP 2.2 （ Hadoop 2.6 ） 集群的内存参数配置和参数调优 (Yarn/MapReduce2)

近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数的含义。作为示例的配置集群版本是2.6，hortonworks2.2.首先要理解，hadoop中yarn作为资源管理器，起到一个底层的控制调配运算资源的作用。yarn中资源的最小单位是container。一个container可以近似认为是一个运行的jvm。一个yarn集群
onlyloveonce·2020-06-24 18:53

Hive on Spark参数调优小结

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。HiveonSpark的效率比onMR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用onYARN部署方式来说明。Executor参数spark.executor.cores该参数表示每个Executor可利用的CPU核心
LittleMagics·2020-06-24 16:04

模型评估与参数调优

基于流水线的工作流scikit-learn中的Pipeline类。它使得我们可以拟合包含任意多个处理步骤的模型，并模型用于新数据的预测。案例1：威斯康星乳腺癌数据集使用BreastCancerWisconsin数据集，此数据集共包含569个恶性或良性肿瘤细胞样本。数据集的前两列分别存储了样本唯一的ID以及对样本的诊断结果（M代表恶性，B代表良性）。数据集的3~32列包含了30个从细胞核照片中提取、
miaoyanmm·2020-06-24 14:30

hadoop 参数调优及测试

hadoop参数优化#hadoop验证版本为2.6.4，其它版本酌情参考core-site.xml参数名默认值说明hadoop.tmp.dir/tmp/hadoop-${user.name}hadoop中间临时文件最好单独指定目录，比如mrsplit信息，stag信息io.file.buffer.size4096设置IO操作缓冲区大小，较大的缓存都可以提供更高的数据传输，但这也就意味着更大的内存消
maketubu7·2020-06-24 13:14

Flume参数调优

1.Source增加Source个数（使用TairDirSource时可增加FileGroups个数）可以增大Source的读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source以保证Source有足够的能力获取到新产生的数据。batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个参数可以提高So
ITBOY_ITBOX·2020-06-24 11:28

Istio参数调优

本篇介绍和Istio性能关系较大的几个参数。仅供参考。1.keepaliveMaxServerConnectionAge这是Helm部署参数。它控制的是这是参数控制sidecar连接Polit的最长时间。在Isiot1.1中，默认时间是30分钟。我们知道，在istio中，sidecar是要和Polit进行通讯的。Polit的实例数量通常不止一个。这就带来一个问题：如果Istio的访问量突然增大，P
liqiuman180688·2020-06-24 06:43

Kudu参数调优

一，KuduTabletServers参数调节FlagVakudOptionsDefault描述–block_cache_capacity_mbinteger512分配给KuduTablet服务器块缓存的最大内存量。（虽然较高的值有助于提高读写性能，但是不要将block_cache_capacity_mb提高到内存压力阈值以上,因为这将导致即使写吞吐量很低，Kudu也会频繁刷新,建议将block_
冬瓜螺旋雪碧·2020-06-24 02:55

Spark性能优化：JVM参数调优

关于JVM垃圾回收种类MinorGC从年轻代空间（包括Eden和Survivor区域）回收内存被称为MinorGC。这一定义既清晰又易于理解。但是，当发生MinorGC事件的时候，有一些有趣的地方需要注意到：当JVM无法为一个新的对象分配空间时会触发MinorGC，比如当Eden区满了。所以分配率越高，越频繁执行MinorGC。内存池被填满的时候，其中的内容全部会被复制，指针会从0开始跟踪空闲内存
kwu_ganymede·2020-06-24 01:25

XGBoost中参数调优的完整指南（含Python-3.X代码）

CSDN：http://blog.csdn.net/kicilove/article/Github：https://github.com/zhaohuicici?tab=repositories原文链接：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-py
kicilove·2020-06-24 01:00

sklearn中模型构建、参数调优、模型验证等的使用

1、参数选择使用sklearn中算法进行建模时，算法接口提供默认的参数，为了提高模型的性能，往往需要对模型进行调参，sklearn提供两种参数搜索方式：一种是GridSearchCV搜索指定参数空间所有参数组合；另一种是RandomizedSearchCV从特定分布的参数空间中，选择一些参数组合进行搜索。fromsklearn.linear_modelimportLinearRegression,
开开_王子·2020-06-24 00:35

数据分析与挖掘实例（4）-参数调优

参数调优逻辑回归SVM决策树随机森林XGBoost使用网格搜索法对5个模型进行调优（调参时采用五折交叉验证的方式），并进行模型评估，展示代码的运行结果。
jebelyan·2020-06-23 21:33

Python机器学习----第4部分 模型评估和参数调优

1、流水线集成数据转换和训练一般为了优化性能，提高准确率，一个常见的流程如下：对数据进行标准化转换，在采用上篇文章介绍的PCA（主成分分析）技术做特征抽取进行降维；最后在使用学习算法训练模型，并评价模型性能。fromsklearn.preprocessingimportStandardScalerfromsklearn.decompositionimportPCAfromsklearn.linea
henreash·2020-06-23 14:49

Ceph配置参数分析

解释的并不多本文从当前我们的ceph.conf文件入手，解释其中的每一项配置，做为以后参数调优和新人学习的依据；参数详解1，一些固定配置参数fsid=6d529c3d-5745-4fa5-*-*mon_initial_members
for_tech·2020-06-23 08:28

【GridSearchCV，CV调优超参数使用】【K最近邻分类器 KNeighborsClassifier 使用】【交叉验证】

它其实是一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。这个方法
所谓世人·2020-06-23 07:09

Logistic 回归—SVM正则参数调优操作笔记

1、准备#首先import必要的模块importpandasaspdimportnumpyasnpfromsklearn.model_selectionimportGridSearchCV#竞赛的评价指标为logloss#fromsklearn.metricsimportlog_loss#SVM并不能直接输出各类的概率，所以在这个例子中我们用正确率作为模型预测性能的度量fromsklearn.me
二月鳥·2020-06-23 06:57

MySQL 优化

由于MySQL的性能问题是一个全方位立体的问题，上到整个业务系统的架构，读写节点的拓扑，节流策略的设置，业务侧分库分表，下到表的关系建立，表结构设计，SQL语句优化，MySQL服务器的参数调优，实时的监控
天涯泛孤舟·2020-06-23 03:57

Linux 系统内核参数调优

由于Linux的内核参数信息都存在内存中，因此可以通过命令直接修改，并且修改后直接生效。但是，当系统重新启动后，原来设置的参数值就会丢失，而系统每次启动时都会自动去/etc/sysctl.conf文件中读取内核参数，因此将内核的参数配置写入这个文件中，是一个比较好的选择。内核设置Linux操作系统修改内核参数有3种方式：修改/etc/sysctl.conf文件，加入配置选项，格式为key=valu
InnocenceYWQ·2020-06-23 03:11

Linux实例日常内核网络参数调优

本文总结了常见的Linux内核参数及相关问题。修改内核参数前，您需要：从实际需要出发，最好有相关数据的支撑，不建议随意调整内核参数。了解参数的具体作用，且注意同类型或版本环境的内核参数可能有所不同。查看和修改Linux实例内核参数方法一、通过/proc/sys/目录查看内核参数：使用cat查看对应文件的内容，例如执行命令cat/proc/sys/net/ipv4/tcp_tw_recycle查看n
Saxon_323e·2020-06-23 02:40

MySQL参数调优最佳实践

前言很多时候，RDS用户经常会问如何调优RDSMySQL的参数，为了回答这个问题，写一篇blog来进行解释：哪一些参数不能修改，那一些参数可以修改；这些提供修改的参数是不是已经是最佳设置，如何才能利用好这些参数；哪些参数可以改细心的用户在购买RDS的时候都会看到，不同规格能够提供的最大连接数以及内存是不同的，所以这一些产品规格的限制参数：连接数、内存用户是不能够修改的，如果内存或者连接数出现了瓶颈
ciqxcl15963093886·2020-06-22 23:17

吴恩达深度学习视频-笔记

改善深层神经网络：超参数调试、正则化以及优化【1.1训练/开发/测试集】超参数调优，如何构建数据，通过验证集/交叉验证集选择最好的模型经过充分验证，选定了最终模型，然后就可以在测试集上进行评估了测试集和验证集占数据总量的比例会趋向于变得更小记住
chq37777·2020-06-22 22:48

Python 随机森林6大参数调优（学习曲线与网格搜索）

关注微信公共号：小程在线关注CSDN博客：程志伟的博客主要从影响随机森林的参数入手调整随机森立的预测程度：Python3.7.3(default,Apr242019,15:29:51)[MSCv.191564bit(AMD64)]Type"copyright","credits"or"license"formoreinformation.IPython7.6.1--AnenhancedIntera
程志伟·2020-06-22 19:24

Linux上TCP的几个内核参数调优

请记住，这里只是笔者在内网进行TCP内核参数调优的经验，仅供参考。同时，笔者还会在余下的博客里面详细解释了为什么要进行这些调优！序号内核参数值备注1.1/
无毁的湖光-Al·2020-06-22 09:00

DeepMind提出新型超参数最优化方法：性能超越手动调参和贝叶斯优化

近日，DeepMind发表论文提出一种新型的超参数调优方法，该方法从遗传算法获得启发大大提升了最优超参数搜索的效率。
机器之心V·2020-06-22 07:16

hbase快速入门之---参数调优

Ø创建自定义的预分区默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。Ø增加Regionserver的处理线程hbase.
Java_Soldier·2020-06-21 22:31

超参数优化模块神器的实践

CSDN博客专家，个人研究方向：机器学习、深度学习、NLP、CVBlog:http://yishuihancheng.blog.csdn.net在机器学习、深度学习的很多任务中必不可少我们要接触到模型参数调优的工作
Python中文社区·2020-06-21 17:59

《深入理解nginx》总结

设计中的性能优化点一些指标10000个非活跃httpkeepalive连接在nginx消耗2.5MB内存单机支持10万以上并非连接和nginx有关的内核调优：可以修改/etc/sysctl.conf来更改内核参数调优
zhushengqiangzsq·2020-06-21 15:35

SVM中参数调优的方法

最近在用到svm做一些科研的工作，但是在用到svm的时候，发现在不同的svm参数下，精度差别不是一般的大。熟悉svm的大家应该都知道，svm中参数很多，其中最主要得还是-c和-g参数，所以我就主要调整这两个参数。所以，找找怎么调整合适的参数，已达到最高的精度，如下：是我亲测的两个可以很大情况下提高精度的参数值，第一种：[c,g]=meshgrid(-10:0.2:10,-10:0.5:10);[m
这孩子谁懂哈·2020-06-21 15:48

Java Web应用高并发性能优化方案汇总

优化数据库连接3.优化日志输出4.程序代码优化5.数据库设计优化6.Tomcat运行参数优化二、Tomcat集群三、网络和部署方式调优1.操作系统TCP连接数调优（仅针对Windows服务器）2.Apache参数调优
凌波微肚·2020-06-21 15:46

吴恩达深度学习——提高算法运行效率

这次内容包括深度学习的实用技巧、提高算法运行效率、超参数调优。第二课有以下三个部分，本文是第二部分。深度学习的实用指南提高算法运行效率超参数调优Mini-batc
愤怒的可乐·2020-06-21 15:16

吴恩达深度学习——深度学习的实用指南

这次内容包括深度学习的实用技巧、提高算法运行效率、超参数调优。第二课有以下三个部分，本文是第一部
愤怒的可乐·2020-06-21 15:16

机器学习可视化：模型评估和参数调优

本篇文章详细阐述机器学习模型评估和参数调优。
倔强不倒翁·2020-06-21 14:17

(终章)flume面试题集锦

Flume的ChannelSelectorsFlume参数调优Flume的事务机制Flume采集数据会丢失吗?Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume。
_张不帅·2020-06-21 14:28

贝叶斯优化原理及应用[附XGBoost、LightGBM超参数调优代码][scikit-optimize]

由于超参数的选择对模型最终的效果可能有极大的影响，为了使模型达到更好的效果，通常会面临超参数调优问题。
wonner_·2020-06-21 14:45

超参数调整

14.2.3为什么要进行超参数调优？14.2.4超参数的重要性顺序14.2.5部分超参数如何影响模型性能？14.2.6部分超参数合适的范围14.3网络训练中的超参调整策略14.3.1如何调试模型？
小葡萄co·2020-06-21 12:50

机器学习——模型参数调优

超参数调优主要有以下几种方法：1、网格搜索（gridsearch）Gridsearch是一种暴力的调参方法，通过遍历所有可能的参数值以获取所有所有参数组合中最优的参数组合。
皓皓家的·2020-06-21 12:34

利用Kubernetes和Helm进行高效的超参数调优

2019独角兽企业重金招聘Python工程师标准>>>Author:[email protected]摘要：本文将讨论Hyperparameter调优在落地时面临的问题，以及如何利用Kubernetes+Helm解决这些问题。HyperparameterSweep面临的问题在进行HyperparameterSweep的时候，我们需要根据许多不同的超参数组合进行不同的训练，为同一模型进行
weixin_34407348·2020-06-21 12:00

数据库智能管理助手-CloudDBA

并且通过MySQL的参数调优，检测参数的不合理或者准备的延迟的情况。演讲嘉宾简介：勋臣，阿里云RDS内核团队技术专家，目前阿里云CloudDBA专家系统开发。有着丰富的数据库开发管理和优化的经验。
weixin_34074740·2020-06-21 11:29

HDP 2.2 （ Hadoop 2.6 ） 集群的内存参数配置和参数调优 (Yarn/MapReduce2)

近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数的含义。作为示例的配置集群版本是2.6，hortonworks2.2.首先要理解，hadoop中yarn作为资源管理器，起到一个底层的控制调配运算资源的作用。yarn中资源的最小单位是container。一个container可以近似认为是一个运行的jvm。一个yarn集群
tiimfei·2020-06-21 08:46

RabbitMQ进程结构分析与性能调优

腾讯云在开发云消息队列系统（CMQ）时，对RabbitMQ进行了大量的学习和优化，包括瓶颈分析、内存管理、参数调优等。下文结合Erlang和Rab
tengxy_cloud·2020-06-21 08:54

独家 | 简单三步实现Python脚本超参数调优（附代码）

作者：JakubCzakon,Neptune.ai翻译：陈之炎校对：和中华本文约1500字，建议阅读5分钟。Python机器学习模型建立起来之后，如何对它的性能进行优化？按照本指南中的三个步骤可以对任意优化库设置自动调优。在编写完成一个Python脚本之后，便可以用它训练和评估机器学习模型了，现在，问题来了，是否能对它自动调整超参数以提高其性能呢？自有办法！在本文中，将展示如何将脚本转换为可以用任
数据派THU·2020-06-21 08:21

超参数调优方法整理大全

机器学习中总是会碰见调参这种枯燥无味且消耗时间的事情，所幸，有很多可以帮助你自动调参的库以及相应的方法，在这里统一总结一下吧。一、随机森林超参数优化-RandomSearch和GridSearch（1）RandomSearch原理：超参数优化也就是常说的调参，python-sklearn里常用的有GridSearchCV和RandomizedSearchCV可以用。其中GridSearchCV的原
CtrlZ1·2020-06-21 06:14

机器学习之超参数调优

对于很多算法工程师来说，超参数调优是件非常头疼的事，这项工作比较玄学。除了根据经验设定所谓的“合理值”之外，一般很难找到合理的方法去寻找超参数的最优值。而与此同时，超参数对于模型效果的影响又至关重要。
Never-Giveup·2020-06-21 05:13

【Flink】Flink on RocksDB 参数调优指南

1.背景对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前RocksDB[1]是Flink平台上官方实现的唯一选择。业界也有使用Redis等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决[2].基于我们长期的状态调优经验，通过合理的资源分配，RocksDB方案可以稳定支持上百GB甚至上TB的总状态量；但是众所周知的是，RocksDB的可调参数非常繁琐，有上百个之多，且彼此之间
九师兄·2020-06-21 04:40

机器学习入门研究（七）-模型选择与调优

目录1.超参数搜索2.超参数调优过程3.网络搜索原理交叉验证对应的sklearn的API实例4.随机搜索原理对应的sklearn的API实例5.贝叶斯优化算法主要思想PS先验分布、后验分布、似然估计两个过程与网格搜索
好人静·2020-06-21 03:17

HDP YARN MapReduce参数调优建议

HDP平台参数调优建议根据上面介绍的相关知识，我们就可以根据我们的实际情况作出相关参数的设置，当然还需要在运行测试过程中不断检验和调整。
mnasd·2020-06-21 03:00

Ceph性能优化 之 配置参数调优

该文同时发表在盛大游戏G云微信公众号，粘贴于此，方便各位查阅Ceph，相信很多IT朋友都听过。因为搭上了Openstack的顺风车，Ceph火了，而且越来越火。然而要用好Ceph却也不是件易事，在QQ群里就经常听到有初学者抱怨Ceph性能太烂，不好用。事实果真如此吗！如果你采用Ceph的默认配置来运行你的Ceph集群，性能自然不能如人意。俗话说，玉不琢,不成器；Ceph也有它的脾性，经过良好配置优
lizhongwen1987·2020-06-21 03:19

模型评估、过拟合欠拟合以及超参数调优方法

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第十一篇！该系列的前10篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）特征工程之特征缩放&特征编码特征工程(完)常用机器学习算法汇总比较(上）常用机器学习算法汇总比较(中）常用机器学习算法汇总比较(完）简单聊聊模型的性能评估标准上一
spearhead_cai·2020-06-21 02:04

18家大厂Java面试题整理了350道（分布式+微服务+高并发）

一、性能调优系列1.Tomcat性能调优JVM参数调优:-Xms表示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。
ForFuture Group·2020-06-21 01:59
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他