参数调优

【面试虐菜】—— Jboss调优

JBOSS参数调优配置deploy/jboss-web.deployer/server.xml文件.maxThreads：表示最多同时处理的连接数。
weixin_34082695·2020-07-28 18:12

Jvm 的内存结构与GC 及 jvm参数调优

一、JVM内存结构1、对象主要存放在堆内存中；方法和属性主要存放在栈内存中。2、栈是运行时单位，用来解决程序运行时的问题，堆是存储单位，解决数据存储的问题。3、堆伴随着JVM的启动而创建。结构图1、类加载子系统--------负责从文件系统或者网络加载Class信息，加载的信息存放在一块称之方法区的内存空间。2、方法区(method)--------存放类、常量、常量池信息、包括字符串字面量和数字
兮家小二·2020-07-28 08:04

java内存模型，JVM参数调优技巧，GC故障解决

一、JVM内存区域模型是啥样？这个是JVM大致的内存分布模型，看起来比较直观：1.方法区：也称”永久代”、“非堆”，它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。可以说方法区就是公共存放常量等静态的常量池。运行时常量池：是方法区的一部分，Class文件中除了有类的版本、字段、方法、接口等描述信息外，还有一项信息是常量池，用于存放编译器生成的各种符号引用，这部分内容将在类加
你是我的天晴·2020-07-28 01:24

决策树参数调优建议

建议一：三个最重要的参数为:树的数目、树的深度和学习率。建议参数调整策略为:–采用默认参数配置试试–如果系统过拟合了,降低学习率–如果系统欠拟合,加大学习率建议二：–n_estimators和learning_rate:固定n_estimators为100(数目不大，因为树的深度较大,每棵树比较复杂),然后调整learning_rate–树的深度max_depth:从6开始,然后逐步加大–min_
二月鳥·2020-07-27 21:50

sklearn中决策树的GridSearchCV参数调优

决策树的超参数有：max_depth（树的深度）max_leaf_nodes（叶子结点的数目）max_features（最大特征数目）min_samples_leaf（叶子结点的最小样本数）min_samples_split（中间结点的最小样本树）min_weight_fraction_leaf（叶子节点的样本权重占总权重的比例）min_impurity_split（最小不纯净度）也可以调整1、数
二月鳥·2020-07-27 21:50

Xgboost建模

对于给定的学习速率和决策树数量，进行决策树特定参数调优(max_depth,min_
aliexie2869·2020-07-27 18:07

MySQL高级---第二部分【索引优化】

看看生产的慢SQL情况；2.开启慢查询日志，设置阈值，必读超过5秒就是慢SQL，并将它抓取出来；3.ecplain+慢SQL分析4.showprofile5.运维经理orDBA，进行SQL数据库服务器的参数调优
Wnlife·2020-07-27 17:52

大数据学习之问题解决+经验+调优方法整理(持续更新)

文章目录1Hadoop1.1MapReduce执行速度过慢1.2Yarn节点负载不均衡1.3Yarn节点上任务数太多，资源利用率太高1.4Hdfs参数调优1.5目录配置1.6Hadoop宕机（项目遇到）
Long.JK·2020-07-27 14:24

深入探究jvm之GC的参数调优

在上一篇博客记录了GC的算法及种类，这篇博客主要记录一下GC的参数如何调整以提高jvm的性能。一、堆的回顾：堆的内存空间总体分为新生代和老年代，老年代存放的老年对象，新构造的对象分配在eden区中（栈上分配及新生代内存不足的情况除外）。在经过GC之后，幸存下来的对象会被分配到幸存代中，s0与s1是两块完全相同的内存区域，采用复制算法，在迭代后交换内存空间。经过若干次GC后，仍然未被回收的对象会被分
weixin_30892889·2020-07-27 11:18

Linux上TCP的几个内核参数调优 - 无毁的湖光-Al - 博客园

请记住，这里只是笔者在内网进行TCP内核参数调优的经验，仅供参考。同时，笔者还会在余下的博客里面详细解释了为什么要进行这些调优！序号内核参数值备注1.1/
·2020-07-22 10:00

数据挖掘竞赛总结——津南数字制造算法赛

5、算法选择、参数调优。在实际参赛中，往往会感受到“玄学”的力量，一些很有道理的特
落在地上的乐乐·2020-07-16 06:07

spark参数调优

转载自：https://blog.csdn.net/xwc35047/article/details/71039830http://www.importnew.com/26541.htmlhttps://www.cnblogs.com/dreamfly2016/p/5720526.html(重点)https://www.ibm.com/developerworks/cn/analytics/lib
purisuit_knowledge·2020-07-16 04:00

Spark调优:提交job资源参数调优及内存模型调优

【场景】Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。spark提交作业，yarn-cluster模式示例：./bin/spark-submit\--classcom.ww.rdd.wordcount\--masteryarn\--deploy-mode
levy_cui·2020-07-16 01:40

转载 postgre调优

参照官方手册和自己在pg上做的实验,记录下pg(FREEBSD)的参数调优过程:1.postgresql.conf是pg的主要配置文件.调优主要分几个方面:优化db,从表结构,sql语句,分表,分区,分库
iteye_20219·2020-07-16 00:47

数据科学 案例3 线性回归之汽车贷款（代码）

3、多元线性回归3.1多元线性回归的变量筛选Step4、残差分析Step5、强影响点分析Step6、多重共线性分析（vif函数）Step7、正则算法1、岭回归2、使用scikit-learn进行正则化参数调优
irober·2020-07-16 00:07

spark参数调优

spark参数调优前言为什么要发这篇文章呢？因为搞了半天，感觉这个更新换代很快啊~今天运行sparksql作业的时候，发现yarn上面的CPU资源，被占用完了，这™还搞个锤子并发嘛？
MrZhangBaby·2020-07-15 18:09

spark常见资源参数调优

Spark资源调优，主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行调优建议：每个Spark作业的运行一般设置40-80个左右的Executor进程比较合适。设置太少，无法充分利用集群资源，作业很慢；设置太多，其他作业可
L13763338360·2020-07-15 17:23

GreenPlum参数调优

GreenPlum参数调优段设置确定每个段主机上段数据库的个数对整体性能有着巨大影响。这些段数据库之间共享主机的CPU核、内存、网卡等，且和主机上的所有进程共享这些资源。
Explorren·2020-07-15 17:24

JVM参数调优（堆、栈、方法区概念区别）

JVM参数调优JVM概念JVM是JavaVirtualMachine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的
詠聖wK·2020-07-15 16:22

Spark调优 | Spark SQL参数调优

前言SparkSQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set-v命令显示当前spark-sql版本支持的参数。本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。异常调优spark.s
seagle01·2020-07-15 16:51

java性能调优

三、常用的调优策略应用调优优化代码优化设计优化算法调优策略时间换空间空间换时间系统调优JVM参数调优兜底策略限流扩容四、实际运用1、java编程性能调优a.数字转字符串的效率问题publicsta
蓝胖子的白日梦丶·2020-07-15 16:57

spark SQL 参数调优

1spark.sql.codegen默认值为false，当它设置为true时，SparkSQL会把每条查询的语句在运行时编译为java的二进制代码。这有什么作用呢？它可以提高大型查询的性能，但是如果进行小规模的查询的时候反而会变慢，就是说直接用查询反而比将它编译成为java的二进制代码快。所以在优化这个选项的时候要视情况而定。2spark.sql.inMemoryColumnStorage.com
不管大小写·2020-07-15 16:53

Spark资源参数调优参数

调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，
levy_cui·2020-07-15 14:18

Otto商品分类（二）----Logistic回归预测&超参数调优

目录***训练部分***1.读取数据2.准备数据3.默认参数的LogisticRegression4.LogisticRegression+GridSearchCV超参数调优***测试部分***1.读取数据
fly_Xiaoma·2020-07-15 06:21

随机森林案例--Otto商品分类

目录***特征工程部分***1.工具准备2.读取数据3.准备数据4.默认参数的随机森林模型5.随机森林超参数调优通过计算确定n_estimators=200，调其他参数当max_features=26，
fly_Xiaoma·2020-07-15 06:48

001:spark-submit提交参数之num-executors，num-executors，executor-cores

参数调优建议：每个S
明月不归尘·2020-07-15 01:24

量化策略开发中的参数调优

量化策略研发时,进行参数调优也是很重要的一步以下例子来看这是一个使用ATR止损的策略20日一次调仓,000016(上证50),卖出价格低于close-3ATR的标的(为了过滤手续费的影响,将手续费倍率设置为
csdn_yuan88·2020-07-15 00:31

KNN SVM Softmax 在 CIFAR-10上的图像识别

概述这篇博客以CIFAR-10数据集为基础，从对图像识别基础的预处理部分分析其背后理论，到讲述对KNNSVMSoftmax的具体实现，并通过验证集进行参数调优，最后展开结果性分析，介绍基本的图像识别应用
AdamZhu_Spark·2020-07-14 18:24

GBM(梯度提升算法) xgboost

gradient-tree-boosting(注意看相关数学公式,明白原理,学习率等)用Python进行梯度提升算法的参数调整https://www.jianshu.com/p/f9b070e42b0eXGBoost参数调优完全指南
qq_26595557·2020-07-14 17:02

【机器学习】Python sklearn包的使用示例以及参数调优示例

#coding=utf-8#!/usr/bin/envpython'''''【说明】1.当前sklearn版本0.182.sklearn自带的鸢尾花数据集样例：（1）样本特征矩阵（类型：numpy.ndarray）[[6.73.5.22.3][6.32.55.1.9][6.53.5.22.][6.23.45.42.3][5.93.5.11.8]]每行是一个样本，矩阵行数=样本总数，矩阵列数=每个样
wy_0928·2020-07-13 21:59

[spark性能调优]spark submit资源参数调优及amazon集群示例

目录一、spark作业基本运行原理二、资源参数调优Spark内存管理：三、amazon集群资源参数示例一、spark作业基本运行原理资源申请与分配：我们使用spark-submit提交一个spark作业后
辰星M·2020-07-13 21:11

linux内核参数调优,缓冲区调整,tcp/udp连接管理,保持,释放优化,gossary,terms

linux内核参数调优,缓冲区调整,tcp/udp连接管理,保持,释放优化,gossary,termschangingareadonlyfile(linusingleusermode)执行mount-oremountrw-text3
weixin_33946020·2020-07-13 18:42

连接池你用对了吗?一次Unexpected end of stream异常的排查

更加了解TCP协议Redis与客户端关闭连接的机制基于ApacheCommon连接池的参数调优Linux网络抓包情况简介近期迁移了部分应用到K8s中，业务开发人员反馈说，会发现频繁出现:redis.clients.jedis.exceptions.JedisConnectionException
weixin_30642267·2020-07-13 17:15

机器学习系列(12)_XGBoost参数调优完全指南（附Python代码）

机器学习系列(12)_XGBoost参数调优完全指南（附Python代码）原文链接：http://blog.csdn.net/han_xiaoyang/article/details/52665396原文地址
sherri_du·2020-07-13 13:43

linux-内核参数优化参考指标

民间最全的Linux系统内核参数调优说  相信做运维的同仁，进行运维环境初建时，必须要考虑到操作系统内核参数的优化问题，本人经历数次的运维环境重建后，决定要自行收集一份比较完善的系统内核参数优化说明文件出来
dlm520947·2020-07-13 04:31

DM8(达梦8)数据库安装和使用

抄袭必究目录达梦数据库入门及使用...11介绍...32安装环境要求...42.1操作系统...42.2数据库版本...42.3连接工具...43开始安装...53.1安装前准备...53.1.1操作系统参数调优
cnor·2020-07-13 03:52

JPS无法查看已经启动的Java进程信息

问题描述：启动Hbase集群中RegionServer后，通过JPS无法查看到该进程号，导致无法通过jstat来查看regionserver的内存情况，来做一些JVM参数调优。
一个行走的民·2020-07-12 19:30

JVM参数调优（内存溢出解决办法）

JVM参数调优（内存溢出解决办法）设置堆内存大小错误原因:java.lang.OutOfMemoryError:Javaheapspace堆内存溢出解决办法:设置堆内存大小：-Xms10m-Xmx10m-XX
詠聖wK·2020-07-12 18:20

基于sklearn实现kNN

春节前的一篇文章给大家介绍了kNN算法，算法有助于大家理解运行机制，方便对参数调优。成熟的算法，自然已经有现成的模块可以使用。
大鹏1987·2020-07-12 18:33

linux IO 内核参数调优 之 原理和参数介绍

1.pagecachelinux操作系统默认情况下写都是有写缓存的，可以使用directIO方式绕过操作系统的写缓存。当你写一串数据时，系统会开辟一块内存区域缓存这些数据，这块区域就是我们常说的pagecache（操作系统的页缓存）。查看系统内存常用的命令有：vmstat、free、top等。可以使用cat/proc/meminfo查看详细的内存使用情况其中的Cached为140M左右（pagec
lsletter·2020-07-12 18:14

BN与神经网络调优

学习目标目标知道常用的一些神经网络超参数知道BN层的意义以及数学原理应用无2.4.1神经网络调优我们经常会涉及到参数的调优，也称之为超参数调优。
Lansonli·2020-07-12 16:48

oracle 参数调优

一.升级到11gR2之后oracle数据库升级助手(DBUA)配置工具包括一个自动扩展系统文件的命令选项，能够从oracleexpress(XE或免费版)升级到其他版本。升级前脚本检查以下各项：1.无效用户或角色2.无效数据类型或对象3.不支持的字符集4.统计信息的收集5.足够的资源（undo/rollback段，表空间和空闲磁盘空间）6.缺失的升级需要的脚本7.运行的监听器8.oracle数据库
weixin_34362790·2020-07-12 10:04

kafka生产环境规划-kafka 商业环境实战

线上真实环境实战及调优进阶系列kafka商业环境实战-kafka生产环境规划kafka商业环境实战-kafka生产者和消费者吞吐量测试kafka商业环境实战-kafka生产者Producer参数设置及参数调优建议本套系列博客从真实商业环境抽取案例进行总结和分享
weixin_34275734·2020-07-12 09:41

Kafka参数调优实战

1、背景引入：很多同学看不懂kafka参数今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。此时就会导致他们看团队里的一些资深同事写的一些代码，会看不懂是怎么回事，不了解背后的含义
weixin_34014277·2020-07-12 08:28

7.10 参数调优

7.10.1grid_search.GridSearchCV类sklearn库提供了grid_search模块，用来对模型参数进行调优。gridsearch采用基于网格搜索的交叉验证法来选择模型参数，避免了参数选择的盲目性和随意性。其中grid_search类的GridSearchCV方法实现了fit，predict，predict_proba等方法，并通过交叉验证对参数空间进行求解，寻找最佳的参
火锅侠·2020-07-12 08:52

linux服务器一键优化脚本

服务器一键优化脚本，高亮显示内容：关闭selinux、时间同步设置、永久静态路由天添加、常用软件安装高并发参数调优：文件句柄数调优、防火墙表空间调优测试环境：centos6#/bin/bashecho"
weixin_33890526·2020-07-12 08:17

Tomcat性能优化及常用命令整理

1汤姆猫性能优化1.1连接参数1.1.1默认连接配置默认连接器采用阻塞式IO，默认最大线程数为200，配置如下：1.1.2连接参数调优可通过下面属性配置优化默认连接器：参数解释如下：参数配置参数含义maxProcessorsTomcat4
weixin_30843605·2020-07-12 07:16

Tomcat调优配置技巧

一、Tomcat设置Gzip，减少网络流量二、TOMCAT性能参数调优环境：Windows2003、jdk1.6以上、tomcat6.0以上设置tomcat的java虚拟机参数catalina.sh/batJAVA_OPTS
灵魂代码·2020-07-11 10:46

Tomcat的参数调优

、Tomcat内存优化：Tomcat内存优化主要是对tomcat启动参数优化，可以修改catalina.sh中设置JAVA_OPTS参数1.JAVA_OPTS参数说明-server启用jdk的server版；-Xmsjava虚拟机初始化时的最小内存；-Xmxjava虚拟机可使用的最大内存；配置如下：[root@server3bin]#vim/usr/local/tomcat8.0/bin/cata
cuichunchi·2020-07-11 04:09

JVM参数调优

基本常识堆内存=Eden+old+Metaspace（perm）总内存=堆+栈+堆外内存+jvm等内部使用的内存system.gc最常见的场景是RMI/NIO下的堆外内存分配等java-verbose:class-version：查看jvm启动时被加载的类OutOfMemoryError分配内存当Eden内存不够用的时候，某些情况下会尝试到Old里进行分配(比如说要分配的内存很大)，如果还是没有分
啊浪的博客·2020-07-11 02:23
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他