参数调优第20页

Kafka参数调优

背景kafka现在是一个很流行的消息中间件,在个大架构中扮演者重要的角色,而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。眼花缭乱,刚接触kafka的朋友对这些参数并不是很了解,接下来我们就针对这些参数进行一些讨论.1.一段Kafka生产端的示例代码Propertiesprops=newProperties();props.put("bootstrap.ser

程序猿的郭鹏飞神奇经历·2020-06-29 11:29

hive的性能优化之参数调优

记录一下自己在工作中经常用到的几个参数设置，从调整的实际效果看还是有效果的。企业相关服务器资源配置：平均600台active的节点，每个节点可用的内存在200G左右，可用的memorytotal：116T1、sethive.exec.parallel=true;开启job的并行：基本每个hql脚本都会开启这个参数，默认并行度为8，在集群资源充足的情况下，可以提高job并行的数量：sethive.e

已个人·2020-06-29 10:06

JVM调优的几种方式（转）

JVM参数调优是一个很头痛的问题，可能和应用有关系，别人说可以的对自己不一定管用。

Dto·2020-06-29 07:11

机器学习面试题（三）模型评价指标、超参数调优、过拟合和欠拟合

如何评价一个模型的好坏呢，这里我们有如下几种方法：■Holdout检验即将模型分为训练集与测试集进行检验，比方说，对于一个点击率预测模型，我们把样本按照70%～30%的比例分成两部分，70%的样本用于模型训练；30%的样本用于模型验证，Holdout检验的缺点很明显，即在验证集上计算出来的最后评估指标与原始分组有很大关系。交叉检验k-折交叉验证：首先将全部样本划分成k个大小相等的样本子集；依次遍历

weixin_41611045·2020-06-29 01:18

python机器学习第六章：模型评估与参数调优实战

使⽤代码进⾏实践，通过对算法进⾏调优来构建性能良好的机器学习模型，并对模型的性能进⾏评估。我们将学习如下内容：1·模型性能的⽆偏估计2·处理机器学习算法中常⻅问题3·机器学习模型调优4·使⽤不同的性能指标评估预测模型基于流水线（pipline）的工作流1.使用pandas从UCI网站直接读取数据集：2.pipline对象拟合多个处理步骤的模型：Pipeline对象采⽤元组的序列作为输⼊，其中每个元

showdoo·2020-06-29 01:03

利用sklearn在训练模型时进行参数调优的方法

（一）GridSearchCV网格搜索交叉验证，遍历所有可能参数的组合。CV表示crossvalidation。sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1, iid=True, refit=True, cv=None, verbose=0, p

学不会coding的程序员·2020-06-29 00:08

【tensorflow2.0教程常用操作集合系列4】损失函数正则化—tf2.0如何解决模型过拟合问题

tensorflow2.0建模系列教程中，前三节我们用代码演绎了：1如何用tf2.0进行自定义层网络的设计（add.weight）2如何用tf2.0进行自定义模型的设计（Model）3如何用tf2.0实现loss函数和参数调优

AI深度学习算法实战代码解读·2020-06-28 20:23

tensorflow2.0 建模教程常用操作集合系列3—Model自定义模型的训练和参数调优loss gradient optimizer

AI深度学习算法实战代码解读·2020-06-28 20:52

tensorflow2.0 rc版使用教程常用操作集合系列1——Layer自定义层的设计add.weight（w,b权重设置）

AI深度学习算法实战代码解读·2020-06-28 20:20

Spark机器学习——模型选择与参数调优之交叉验证

spark模型选择与超参调优机器学习可以简单的归纳为通过数据训练y=f(x)的过程，因此定义完训练模型之后，就需要考虑如何选择最终我们认为最优的模型。如何选择最优的模型，就是本篇的主要内容：模型验证的方法超参数的选择评估函数的选择模型验证的方法在《统计学习方法》这本书中，曾经讲过模型验证的方法有三种，分别是简单的交叉验证，S折交叉验证，留一交叉验证简单的交叉验证即把全部数据按照比例分割成两部分，分

weixin_34290390·2020-06-28 16:05

linux题目（四）

CPU核数、服务器产商（2）某个服务的编译安装，启用或禁用的一些选项（3）服务的配置文件，参数的设置恰到何处（4）一些工具，比如memcached、keepalived以及一些负载均衡手段（5）系统的内核参数调优

weixin_34249678·2020-06-28 15:20

RDS MySQL参数调优最佳实践

前言很多时候，RDS用户经常会问如何调优RDSMySQL的参数，为了回答这个问题，写一篇blog来进行解释：哪一些参数不能修改，那一些参数可以修改；这些提供修改的参数是不是已经是最佳设置，如何才能利用好这些参数；哪些参数可以改细心的用户在购买RDS的时候都会看到，不同规格能够提供的最大连接数以及内存是不同的，所以这一些产品规格的限制参数：连接数、内存用户是不能够修改的，如果内存或者连接数出现了瓶颈

weixin_34185560·2020-06-28 13:22

(原创)（四）机器学习笔记之Scikit Learn的Logistic回归初探

目录一、ScikitLearn中有关logistics回归函数的介绍...21.交叉验证...22.使用搜索进行正则化的LogisticRegression参数调优...33.用LogisticRegressionCV

weixin_30646505·2020-06-27 22:48

人工智能关键词

数学基础：高等数据，工程数学线性代数概率论微积分常见人工智能算法主流机器学习框架人工智能数学理论矩阵凸优化流优化牛顿法特征工程网格搜索超参数调优决策树随机森林算法分类算法KNN算法的原理贝叶斯算法原理svm

weixin_30559481·2020-06-27 21:31

SVM实现分类识别及参数调优(一)

前言项目有一个模块需要将不同类别的图片进行分类，共有三个类别，使用SVM实现分类。实现步骤：1.创建训练样本库；2.训练、测试SVM模型；3.SVM的数据要求；实现系统：windows_x64、opencv2.4.10、VS2013实现过程：1.创建训练样本库；1)将图片以包含类别的名称进行命名，比如0(1).jpg等等；2)将所有已命名正确的训练样本保存在同一个文件夹中；3)在训练样本库的文件夹

weixin_30507481·2020-06-27 20:13

Linux(服务器编程):43---百万并发服务器系统参数调优

先列出文本会用到的一些知识点链接：用户级别系统限制（ulimit命令、/etc/security/limits.conf、/etc/security/limit.d/）：https://blog.csdn.net/qq_41453285/article/details/87939151内核级别系统限制（sysctl命令、/etc/sysctl.conf、/proc/sys/）：https://bl

江南、董少·2020-06-27 17:39

机器学习 | 特征工程- 超参数调优方法整理

weixin_30312557·2020-06-27 15:48

elasticsearch技术实战——第一篇（使用篇）

第二篇（配置及参数调优篇），主要围绕JVM参数调优、异常排查、安全性等方面讲解。第三篇（倒排索引原理篇），知其然知其所以然。一、技术选型

weixin_30311605·2020-06-27 15:46

尚硅谷-互联网大厂高频重点面试题（第2季）JVM+GC解析

熟悉JVM架构与GC垃圾回收机制，以及相应的参数调优，有过在Linux上进行系统优化的经验前提复习JVMGC快速回顾复习串讲类装载器子系统线程私有线程公有复制算法在年轻代使用（幸存者0区）既不浪费空间，

wangzhipeng47·2020-06-27 13:04

MapReduce任务参数调优

MapReduce任务参数调优本文主要记录Hadoop2.x版本中MapReduce参数调优，不涉及Yarn的调优。

wangjinyuan161·2020-06-27 13:06

keras参数调优

本文主要想为大家介绍如何使用scikit-learn网格搜索功能，并给出一套代码实例。你可以将代码复制粘贴到自己的项目中，作为项目起始。下文所涉及的议题列表：如何在scikit-learn模型中使用Keras。如何在scikit-learn模型中使用网格搜索。如何调优批尺寸和训练epochs。如何调优优化算法。如何调优学习率和动量因子。如何确定网络权值初始值。如何选择神经元激活函数。如何调优Dro

搬砖老头·2020-06-27 12:44

网络子系统之网络层和socket

ReceivingDataMonitoringandTuningtheLinuxNetworkingStack:SendingDataLinux的SOCKET编程详解Linux内核TCP/IP、Socket参数调优理解

vector_s·2020-06-27 11:30

sklearn-GridSearchCV,CV调节超参使用方法

它其实是一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整

·清尘··2020-06-27 05:11

Flume监控及参数调优

flume监控在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结。另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。flume各部分参数含义batchData的大小见参数：batchSizePutList和TakeList的大小见参数：transactionCapactiyChan

asin929·2020-06-27 05:16

如何快速高效的训练ResNet，各种奇技淫巧（五）：超参数

我们开发了一些超参数调优启发式算法。关于超参数调优以及如何避免它人们普遍认为神经网络的超参数选择是困难的。如果有人赞同这一观点，就会出现两种不同的行动方针。第一种方法(大致上是我们目前

ronghuaiyang·2020-06-27 02:09

安装docker和jupyter采坑历程

背景：发现自己电脑配置不够，在进行模型参数调优时基本进行不下去了。计划使用云服务器，由于自己只是用来跑模型。所以按需计费最为合适。考虑到每次使用都需要部署开发环境，索性用docker实现。

csdn_yuan88·2020-06-27 00:31

XGBoost参数调优完全指南（附Python代码）

XGBoost参数调优完全指南（附Python代码）原文地址：CompleteGuidetoParameterTuninginXGBoost(withcodesinPython)译注：文内提供的代码和运行结果有一定差异

工药叉·2020-06-26 23:53

高性能编程小结

xiao_fo·2020-06-26 22:32

deeplearning.ai 吴恩达网上课程学习（十二）——超参数调优、Batch正则化理论及深度学习框架学习

参考链接：https://www.missshi.cn/api/view/blog/5a2273939112b35ff3000002在本文中，我们将了解一些机器学习中的超参数调优、Batch正则化及深度学习框架

玥晓珖·2020-06-26 22:09

odoo服务器性能调优以及负载均衡

odoo服务器做负载均衡，空间换时间odoo使用多线程模式1.2数据库负载均衡，读写分离使用postgres_XC或pg_pool进行postgres负载均衡2数据库性能调优数据库使用物理机postgres参数调优

一六七八·2020-06-26 21:00

吴恩达 deeplearning.ai 课程《改善深层神经网络：超参数调试、正则化以及优化》____学习笔记（第一周）

____tz_zs学习笔记第一周深度学习的实用层面（PracticalaspectsofDeepLearning）我们将学习如何有效运作神经网络（超参数调优、如何构建数据以及如何确保优化算法快速运行）设置

tz_zs·2020-06-26 21:54

tomcat 参数调优--maxThreads、acceptCount（最大线程数、最大排队数）

一、不适用线程池配置：1、最大连接数maxThreadstomcat同时处理的线程数。配置依据：（1）、部署的程序偏计算型，主要利用cpu资源，应该将该参数设置小一点，减小同一时间抢占cpu资源的线程个数。（2）、部署的程序对io、数据库占用时间较长，线程处于等待的时间较长，应该将该参数调大一点，增加处理个数。应该注意：如果线程数过大，那么cpu用在线程切换的时间占的比重会增大，系统性能会降低。2

jinlong_an·2020-06-26 13:37

caffe+报错︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization

一、深度学习中常用的调节参数本节为笔者上课笔记（CDA深度学习实战课程第一期）1、学习率步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优一般来说，前1000步，很大，0.1；到了后面，迭代次数增高，下降0.01，再多，然后再小一些。2、权重梯度消失的情况，就是当数值接近于正向∞，求导之后就

悟乙己·2020-06-26 10:54

linux内存子系统常用参数调优

调整页面分配/proc/sys/vm/min_free_kbytes预留的最小进程空间，一般无法被创建使用。一般不用调，实在不行就调小一点。调整内存的过量使用，尤其在虚拟化中:/proc/sys/vm/overcommit_memory参数有012，意义如下：0启发式过量使用，系统自己决定要不要使用1总是过量使用，一上来就开swap。一般在数据库服务器上不要使用swap，太慢了。但是这也要看情况，

东风不枉·2020-06-26 10:32

Windows下使用libsvm中的grid.py和easy.py进行参数调优

(本文整理自flydreamGG博客，在此表示感谢)libsvm中有进行参数调优的工具grid.py和easy.py可以使用，这些工具可以帮助我们选择更好的参数，减少自己参数选优带来的烦扰。

他山烈石·2020-06-26 07:09

XGBoost 1 - 基础及简单调用

简介xgboost特点xgboost基本使用指南xgboost理论基础superviselearningCARTboostinggradientboostingxgboostxgboost实战特征工程参数调优

_席达_·2020-06-26 05:47

可视化机器学习工具软件的比较分析研究

然而，机器学习是一个入门门槛相对比较高的技术领域，大部分的工程技术人员和业务人员都聚焦在业务领域的特征提取，算法选择，参数调优和模型验证上，因此一个方便高效的可视化工具，对于降低用户的机器学习学习曲线、

rain_88·2020-06-26 05:22

Python sklearn模型参数调优

参数调优往往是数据挖掘和分析中至关重要的一步，一组好的参数能够使模型的预测或者分类更加的准确，使得模型能够完美的刻画数据的规律，在python中的sklearn中主要有两种参数调优的方法，分别为网格搜索法和随机搜索方法

Parallax_2019·2020-06-25 23:45

JVM核心基础知识

文章目录JVM的历史Java内存结构堆栈方法区JVM参数配置配置参数详解设置最大堆内存设置新生代比例参数设置新生与老年代代参数设置栈内存大小JVM参数调优总结内存溢出和内存泄漏的区别JVM垃圾回收机制概述

裸奔的肉夹馍·2020-06-25 23:09

机器学习入门笔记01-机器学习概述

(Semi-supervisedLearning)强化学习(ReinforcementLearning)机器学习模型常见的机器学习算法机器学习的注意事项分类和回归术语表损失函数优化方法评价指标模型选择参数调优机器学习概述机器学习发展历程机器

Yexiaomola·2020-06-25 06:56

梯度下降法及matlab实现

id=162梯度下降法（gradientdescent），是机器学习中最常用的参数调优算法，所谓梯度下降，就是对于一个模型的代价函数而言，从某个初始参数开始，逐渐将参数朝“使得代价函数减小最快”的方向调整

qq_32216775·2020-06-25 05:30

超参数有哪些调优方法？

为了进行超参数调优，我们一般会采用网格搜索，随机搜索，贝叶斯优化等算法。在具体介绍算法之前，需要明确超参数搜索算法一般包括哪几个要素。一时目标函数，即算法需要最大化。最小化的目标。

光英的记忆·2020-06-25 04:01

机器学习实践（八）—sklearn之交叉验证与参数调优

一、交叉验证与参数调优交叉验证(crossvalidation)交叉验证：将拿到的训练数据，分为训练集、验证集和测试集。

轻风凉晨·2020-06-25 04:50

Spark Shuffle原理、Shuffle操作问题解决和参数调优

1shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle操作问题解决2.1数据倾斜原理2.2数据倾斜问题发现与解决2.3数据倾斜解决方案3sparkRDD中的shuffle算子3.1去重3.2聚合3.3排序3.4重分区3.5集合操作和表操作4spark

qq_26091271·2020-06-25 02:24

Tensorflow-2-Tensorboard使用

自己设置的参数和关键变量，如果能看到在训练时的变化情况，可以为后面的参数调优阶段提供很大的便利。Tensorboard就是这样一个工具。

darkie·2020-06-25 02:32

hdfs+yarn 参数调优

1.系统参数调整中文名称英文名称默认值推荐值或推荐策略修改命令作用备注socket的监听队列最大值net.core.somaxconn1281024或更大echo1024>/proc/sys/net/core/somaxconn增大打开文件数据和网络连接上限，调整内核参数net.core.somaxconn，提高读写速度和网络带宽使用率如果是hadoop使用，需重启hadoop才能有效，并且要配合

qq_19917081·2020-06-25 00:13

Kafka调优

配置参数调优broker配置num.recovery.threads.per.data.dir对于如下3种情况，Kafka会使用可配置的线程池来处理日志片段：服务器正常启动，用于打开每个分区的日志片段；

诺浅·2020-06-24 22:28

2.4BN与神经网络调优

2.4.1神经网络调优我们经常会涉及到参数的调优，也称之为超参数调优。

qingfengxiaosong·2020-06-24 22:13

HDP 2.2 （ Hadoop 2.6 ）集群的内存参数配置和参数调优 (Yarn/MapReduce2)

近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数的含义。作为示例的配置集群版本是2.6，hortonworks2.2.首先要理解，hadoop中yarn作为资源管理器，起到一个底层的控制调配运算资源的作用。yarn中资源的最小单位是container。一个container可以近似认为是一个运行的jvm。一个yarn集群

onlyloveonce·2020-06-24 18:53

Hive on Spark参数调优小结

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。HiveonSpark的效率比onMR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用onYARN部署方式来说明。Executor参数spark.executor.cores该参数表示每个Executor可利用的CPU核心

LittleMagics·2020-06-24 16:04

推荐频道

参数调优