参数调优

（分类）KNN算法- 参数调优

在此专栏的上一篇文章的基础上，进行交叉实验获取最佳的K值上一篇文章：KNN算法案例-鸢尾花分类数据拆分的过程：交叉验证（CrossValidation）是一种在机器学习中广泛使用的模型评估和参数调优方法
阿龙的代码在报错·2023-12-02 06:57

hive性能优化及参数调优

记录一下自己在工作中经常用到的几个参数设置，从调整的实际效果看还是有效果的。企业相关服务器资源配置：平均600台active的节点，每个节点可用的内存在200G左右，可用的memorytotal：116T1、**sethive.exec.parallel=true;**开启job的并行：基本每个hql脚本都会开启这个参数，默认并行度为8，在集群资源充足的情况下，可以提高job并行的数量：sethi
严亮_8ded·2023-12-01 19:53

JVM参数调优

1、为什么会有JVM参数调优优化在项目运行过程中，往往会出现各种各样的性能瓶颈而影响程序的运行，或者用户的体验，每当遇到这些的问题的时候，都需要进行相应性能优化。
BUG指挥官·2023-11-30 07:45

spark-submit参数调优

一:spark-submit提交job的参数说明示例:spark-submit--masteryarn--classxxxx--executor-cores5--executor-memory5G--num-executor4xxx.jar解释:1.–executor-cores作用:决定了任务的并行度假设一个任务要想运行完成需要200个task,一个cpu核数同一时间只能运行一个task,目前总
是谁注册了我的2052·2023-11-29 12:07

机器学习中四种调参方法总结

超参数调优的越好，得到
小小杨树·2023-11-27 15:44

GC回收算法、堆参数调优

GC回收算法、堆参数调优文章目录GC回收算法、堆参数调优一.GC回收算法1.引用计数法2.复制算法3.标记清除算法4.标记整理算法二.总结三.堆参数调优1.堆空间调整参数2.获取堆内存信息3.调整堆参数
Keep hunger·2023-11-26 19:09

多家大厂 JAVA 面试题整理分布式 + 微服务 + 高并发 + 性能优调 + 框架源码

一、性能调优系列1.Tomcat性能调优JVM参数调优:-Xms表示JVM初始化堆的大小，一Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。
90后小伙追梦之路·2023-11-26 14:26

mysql 性能参数调优详解

1优化连接池连接池运行机制MySQL连接器中的连接池，用以提高数据库密集型应用程序的性能和可扩展性，默认启用。MySQL连接器负责管理连接池中的多个连接，自动创建、打开、关闭和破坏连接，多个连接的创建，可满足多客户端的频繁连接，连接的重复使用获得最佳性能。MySQL连接器每三分钟运行一次后台作业，并从池中删除闲置（未使用）超过三分钟的连接。池清理释放客户端和服务器端的资源。这是因为在客户端每个连接
懒鸟一枚·2023-11-25 11:30

6 Elasticsearch 优化

本文从性能和稳定性两方面，从linux参数调优、ES节点配置和ES使用技巧三个角度入手，介绍ES调优的基本方案。当我们发现es使用还是非常慢，需要优先关注在以下这两类的运行情况。
静艺·2023-11-25 08:48

ES03# Elasticsearch性能调优点梳理

引言本文主要梳理了Elasticsearch集群常见优化点，就一些主要项能够在实践中指导使用，本文主要内容有：JVM参数调优系统参数调优写性能调优点读性能调优点分片均衡优化案例一、JVM参数调优1.参数设置修改
瓜农老梁·2023-11-25 08:10

Elasticsearch集群调优

文章目录一、服务器硬件以及内存调优1、调整交换区的swap大小2、调整普通用户打开文件数以及线程数的限制3、调整ES的JVM堆内存大小二、ES的参数调优1、集群自动发现机制2、集群的主节点选举3、集群的故障检测
TUJC·2023-11-25 08:38

spark submit——yarn模式参数调优

spark官网上的参数默认值设置：https://spark.apache.org/docs/latest/configuration.html#spark-streaming此处记录一下最近整理的spark集群模式提交yarn的部分常用参数设置（友情提示：以下代码块中注释部分未加注释标#）spark-submit--masteryarn-cluster\yarn模式--name${APP_NAM
凌寒独自开·2023-11-25 01:16

成为AI产品经理——模型构建过程(上)

处理文本特征）网络关系型数据③特征选择④训练集/测试集一、背景虽然产品经理不需要参与到模型构建工作中，但是我们需要对模型构建过程有一定的了解，有点两点好处：1.对内配合算法同学进行数据收集、模型训练、参数调优
爱学习的时小糖·2023-11-24 02:37

机器学习调参指南：提升模型性能的关键步骤

诸神缄默不语-个人CSDN博文目录文章目录1.理解模型的参数和超参数2.使用网格搜索进行超参数调优3.随机搜索4.贝叶斯优化5.使用交叉验证避免过拟合6.考虑正则化7.调整学习率和其他优化器参数8.实验和记录
诸神缄默不语·2023-11-24 01:51

吴恩达深度学习笔记8-Course3-Week1【机器学习策略（ML Strategy）1】

结构化机器学习项目机器学习策略（MLStrategy）1一、机器学习策略介绍（IntroductiontoMLStrategy）1、机器学习策略就是超参数调优的策略，怎么调？怎们评估调优的效果？
Wang_Jiankun·2023-11-23 19:58

hadoop性能调优之参数调优

本文转载自：http://blog.csdn.net/fp196391196391/article/details/8302121这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentma
我是机智的鱼油·2023-11-22 09:12

Hadoop参数调优

Hadoop参数调优性能调优涉及4个方面：CPU利用率、内存占用情况、磁盘I/O和网络流量。有很多因素会对HadoopMapReduce性能产生影响。
MrZhangBaby·2023-11-22 09:05

Centos7 网卡绑定（链路聚合）

链路聚合多网卡bonding内核参数调优net.ipv4.tcp_low_latency=1优化反应速度，低延时，用户的感受度好net.ipv4.tcp_low_latency=0优化吞吐量（default
运维开发_西瓜甜·2023-11-22 00:28

【案例分享】BenchmarkSQL 5.0 压测 openGauss 5.0.0

实际生产性能压测，还需结合服务器软硬件配置、数据库性能参数调优、BenchmarkSQL配置文件参数相结合，是一个复杂的过程。
renxyz·2023-11-21 00:57

Flink on RocksDB 参数调优指南

对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前RocksDB[1]是Flink平台上官方实现的唯一选择。业界也有使用Redis等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决[2]。基于我们长期的状态调优经验，通过合理的资源分配，RocksDB方案可以稳定支持上百GB甚至上TB的总状态量；但是众所周知的是，RocksDB的可调参数非常繁琐，有上百个之多，且彼此之间还相互影
pucheung·2023-11-18 19:59

大数据毕设选题 - 机器学习餐厅销量预测（大数据 python）

前言1模型简介1.2ARIMA模型介绍2模型识别3模型检验3.1半稳性检验3.2白噪声检验(纯随机性检验)4Python实战4.1导入工具及数据4.2原始序列的检验4.3一阶差分序列的检验4.4定阶（参数调优
caxiou·2023-11-17 15:57

Kafka Producer通过参数调优提高数据发送速度

1.前言最近项目现场发生了日志文件积压的情况，日志文件的大概处理流程是：读取日志文件->进行结构化->发送到kafka以一个7.57M的日志文件为例（约58400条日志信息），程序需要16.8s才能将其处理完，也就是说平均每秒只能处理约3500条数据，经过验证，其中瓶颈在数据发送到Kafka这一步。这个根据经验，明显肯定是没有达到Kafka的瓶颈的，应该是自己producer程序有问题，于是去Ka
Daphnis_z·2023-11-17 09:23

Ray 分布式简单教程（1）

在RayCore上有几个库，用于解决机器学习中的问题:Tune:可伸缩的超参数调优RLlib：工业级强化学习RayTrain:分布式深度学习Datasets:分布式数据加载和计算(beta)以
求则得之，舍则失之·2023-11-17 06:06

java开发校招面试，面试真题解析

阿里系的lazada一面现场（50min）①sync的底层实现，锁优化，和lock的对⽐等②jvm参数调优详细过程，到为什么这么设置，好处，⼀些gc场景，如何去分析gc⽇志③redis数据结构，使⽤场景
最新Java面经·2023-11-16 11:20

HBase原理 | HBase Compaction介绍与参数调优

我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。MinorCompaction称为小合并，主要是选取
create17·2023-11-15 17:13

Spark 调优

Spark调优一、Spark资源参数调优二、开发调优**调优思路：**优先使用参数调优，如果参数调优不能满足我们的业务场景，这里就要涉及到代码调优一、Spark资源参数调优•num-executors：
栗子呀！·2023-11-14 06:13

Redhat Linux v8.2 实时内核环境配置及参数调优

BC-LinuxV8.2实时内核环境配置及参数调优-------物理机&虚拟机一、前言本文档包含有关RedhatLinuxforRealTime的基本安装和调试信息。
沉浮简·2023-11-14 03:14

Day125.JVM：栈、堆、GC 垃圾回收机制

目录一、JVM体系结构概述★★★栈(stack)堆(Heap)新生区、养老区、永久代(元空间)堆参数调优OOM问题定位解决二、GC垃圾回收1、垃圾判定2、垃圾回收算法★★3、垃圾收集器(了解)说出你常遇到的五个运行时异常请谈谈你对
焰火青年··2023-11-09 09:13

java jvm参数可以设置多大_JVM面试复习系列：JVM参数调优

JVM参数调优前言你说你做过JVM调优和参数配置，请问如何盘点查看JVM系统默认值使用jps和jinfo进行查看-Xms：初始堆空间-Xmx：堆最大值-Xss：栈空间-Xms和-Xmx最好调整一致，防止
weixin_39649490·2023-11-09 05:27

【面试题总结】JVM02：JVM参数调优、类加载机制

四、JVM参数调优1、调优工具(1)jvisualvm：jdk提供的性能分析工具，可以监控java进程，对dump文件分析；查看应用程序的详细信息，针对不同插件，实现监控GC过程、内存、进程、线程等，也可以实现对
哥们要飞·2023-11-09 05:41

nginx参数调优能提升多少性能

声明一下，测试流程比较简单，后端服务也很简单，测试时间也很短，所以实验并不严谨，结果仅作参考，需要根据实际情况进行参数调优。文章或有错误和疏漏之处，欢迎各位大佬指出或补充。
荔枝味奶糖·2023-11-08 21:25

zookeeper版本选择与配置参数调优

一、zookeeper发布策略ApacheZooKeeper社区一次支持两个发布分支：stable和current。ZooKeeper的稳定版本是3.7.x，当前版本是3.8.x。一旦发布新的次要版本，稳定版本预计将很快退役，大约半年后将宣布为End-of-Life。在半年的宽限期内，预计只会为该版本发布安全和关键修复程序。宣布EoL后，社区不再提供进一步的补丁。所有ZooKeeper版本都可以从
柠檬味的鱼°·2023-11-07 05:41

ZooKeeper参数调优

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：Client-Server通信心跳时间Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=20002.initL
weixin_34345753·2023-11-07 05:10

【大数据】搭建Hadoop集群，超级详细

2章调优2.2.1项目经验之HDFS存储多目录2.2.2集群数据均衡2.2.3项目经验之支持LZO压缩配置2.2.4项目经验之LZO创建索引2.2.5项目经验之基准测试2.2.6项目经验之Hadoop参数调优完结撒花
小 源·2023-11-05 00:29

kafka调优

配置参数调优broker配置num.recovery.threads.per.data.dir对于如下3种情况，Kafka会使用可配置的线程池来处理日志片段：服务器正常启动，用于打开每个分区的日志片段；
刘栉风·2023-11-03 18:32

XGBoost调参指南

本文内容结构主要参考CompleteGuidetoParameterTuninginXGBoostwithcodesinPython及其中文翻译XGBoost参数调优完全指南。
井底蛙蛙呱呱呱·2023-11-03 16:34

JVM参数调优

一、背景以前有一篇文章讲到JVM堆内存分代划分和对象在堆上的分配机制，详细可读JVM堆内存解析，今天我们来聊一下怎么通过配置JVM参数，对系统性能进行优化，本文以JDK1.8做为实验环境二、基本参数介绍1、常用堆分配参数-Xmx：最大堆内存，如果程序运行超过这个值会报OOM，如果不设置一般默认为操作系统物理内存的1/4。-Xms：初始堆内存，当初始堆不够，虚拟机会对堆空间扩展直至上限为最大堆空间，
程序员青菜学厨艺·2023-11-01 13:25

python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例

超参数调优的目标通常是最小化泛化误差(generalizationerror)，也可以
缪之初·2023-11-01 13:44

参数调优为什么要采样_一文详解超参数调优方法

原标题：一文详解超参数调优方法©PaperWeekly原创·作者｜王东伟单位｜Cubiz研究方向｜深度学习本文介绍超参数(hyperparameter)的调优方法。
weixin_39639286·2023-11-01 13:13

Linux 性能调优之网络优化

写在前面考试整理相关笔记分享一些Linux中网络内核参数调优的笔记理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。
山河已无恙·2023-10-31 06:42

机器学习算法④—【随机森林】超参数调优实现更高预测准确率

随机森林是一种强大的集成学习算法，它在决策树的基础上引入了样本抽样和特征抽样两种随机性，通过组合多个决策树来提高模型的性能和泛化能力。接下来我们来实现这种算法：首先导入模块：fromsklearn.model_selectionimporttrain_test_split#数据集划分fromsklearn.ensembleimportRandomForestClassifier#导入随机森林模型f
数字生命Allen·2023-10-31 02:07

Kafka参数调优(二)-消费者Consumer

一、Consumer参数说明1、enable.auto.commit该属性指定了消费者是否自动提交偏移量，默认值是true。为了尽量避免出现重复数据（假如，某个消费者poll消息后，应用正在处理消息，在3秒后kafka进行了重平衡，那么由于没有更新位移导致重平衡后这部分消息重复消费）和数据丢失，可以把它设为false，由自己控制何时提交偏移量。如果把它设为true，还可以通过配置auto.comm
Java部落格·2023-10-30 10:51

elasticsearch一条命令查看集群全部的配置参数

需求：我想研究以下es参数调优问题，第一步需要先知道集群所有的参数。但是在网上搜了好多，都是从官网上cv的，很明显不够。我可以用下边的一条命令，来查看全部的参数，包含已经配置的，和默认的。
水的精神·2023-10-30 06:50

Netty优化-参数优化

Netty优化-参数优化1.1参数调优1）CONNECT_TIMEOUT_MILLIS2）SO_BACKLOG3）ulimit-n4）TCP_NODELAY5）SO_SNDBUF&SO_RCVBUF6）
Filwaod·2023-10-29 22:07

基于PCA的字体分类代码

目录1数据集介绍2PCA3SVM4参数调优使用pca和机器学习算法，完成不同字体的分类模型，详细代码请私信，包含数据集，完整的jupyter代码，英文报告。
王小葱鸭·2023-10-29 09:17

JVM参数调优

一、堆内存调优参数-Xms：初始堆大小-Xmx：最大堆大小-Xmn：新生代大小-XX:NewRatio：新生代和老年代的比例-XX:SurvivorRatio：Eden区和Survivor区的比例二、GC调优参数-XX:+UseSerialGC：使用串行垃圾回收器-XX:+UseParallelGC：使用并行垃圾回收器-XX:+UseConcMarkSweepGC：使用CMS垃圾回收器-XX:+U
睡不醒的猪儿·2023-10-29 03:15

Nginx入门及正向代理实例

前言本文主要讲述Nginx功能、代理部署方式，下一次将讲述Nginx内部参数调优设置和常见问题解决方案。简介Nginx作为一种基于REST架空的Web跨平台服务器。
时暑·2023-10-29 00:09

Task04回归模型的评估和超参数调优

1.回归模型的评估模型的评估包含三个指标：SSE(误差平方和)、R-square(决定系数)和AdjustedR-Square(校正决定系数）1.1SSE–误差平方和公式如下：对同一个数据集，不同模型会有不同的SSE，SSE越小，说明模型的误差越小，准确率越高。对不同的数据集，随着数据集的增加，误差也会增大，因此此时研究SSE没有意义。1.2R-square–决定系数决定系数是通过数据的变化来表征
LucyFang2020·2023-10-28 00:49

Java-JVM详解

MethodArea方法区2.stack栈3.NativeMethodStack(本地方法栈)4.堆YoungGenerationSpace新生区Tenuregenerationspace养老区(老年代)永久代堆参数调优入门
风生u·2023-10-28 00:26

可视化数据挖掘开源软件的比较分析

然而，机器学习是一个入门门槛相对比较高的技术领域，大部分的工程技术人员和业务人员都聚焦在业务领域的特征提取，算法选择，参数调优和模型验证上，因此一个方便高效的可视化工具，对于降低用户的机器学习学习曲线、
weixin_30568591·2023-10-27 11:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他