参数调优

MySQL性能调优（系统参数调优）总结

          最近，发现数据库中偶尔会发现丢失数据的问题，为了解决此问题，查询了很多资料，最终优化mysql。查看项目log，发现丢失数据的时间点报错1205，通过查询mysql官方错误代码对照表得知，1205是数据库发生阻塞。经过分析发现，项目中某些表会不断的进行写操作，而读操作却很少，写操作意味着排它锁（写锁），如果线程太多，某个线程进行写操作，同时会锁表，其他线程只能处于等待状态，My
老牛吃嫩草_·2018-08-02 00:00

Java架构学习（十二）java内存结构&新生代&老年代&JVM参数调优&堆内存参数配置&解决堆栈溢出

JVM参数调优与垃圾回收机制一、java内存结构Java内存模型：是多线程里面的，jmm与线程可见性有关Java内存结构：是JVM虚拟机存储空间。
leeue·2018-07-31 16:32

TCP网络参数调优。

要能够建立一个TCP连接，必须知道对方的IP和一个未被使用的端口号，由于32位操作系统的端口号通常由两个字节表示，也就是只有65535个，所以一台主机能够同时建立的连接数是有限的，当然操作系统还有一些0~1024是受保护的，如80端口、22端口，这些端口都不能被随意占用。在Linux中可以通过查看/proc/sys/net/ipv4/ip_local_port_range文件来知道当前这个主机可以
孤芳不自賞·2018-07-31 10:47

spark 并行度

参数调优建议：Spark作业的默认task数量为500~1000个较为合适。很多同学常犯的一个错误就是不去设置这个参数，那么此时就会导致Spark自己根据底层HDFS的block数量来设置task
chbxw·2018-07-30 21:49

民间最全的Linux系统内核参数调优说明

本人经历数次的运维环境重建后，决定要自行收集一份比较完善的系统内核参数优化说明文件出来，于是就有了下文，本文当前值是官方默认参数，建议参数直接添加于sysctl-a输出的结果每一行的后面，希望对运维的同仁做系统内核参数调优时有所帮助
183530300·2018-07-30 16:21

Python sklearn包的使用示例以及参数调优示例

coding=utf-8!/usr/bin/envpython””’【说明】1.当前sklearn版本0.182.sklearn自带的鸢尾花数据集样例：（1）样本特征矩阵（类型：numpy.ndarray）[[6.73.5.22.3][6.32.55.1.9][6.53.5.22.][6.23.45.42.3][5.93.5.11.8]]每行是一个样本，矩阵行数=样本总数，矩阵列数=每个样本特征数
cutwind·2018-07-20 17:58

LightGBM介绍及参数调优

1、LightGBM简介LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：1）更快的训练效率2）低内存使用3）更高的准确率4）支持并行化学习5）可以处理大规模数据与常见的机器学习算法对比，速度是非常快的2、XGboost的缺点在讨论LightGBM时，不可避免的会提到XGboost，关于XGboost可以参考此博文关于XGboost的
微笑sun·2018-07-19 17:00

spark on yarn 资源分配

Yarn集群参数调优（以CDH集群为例）一、CPU配置：ApplicationMaster虚拟CPU内核yarn.app.mapreduce.am.resource.cpu-vcores//ApplicationMaster
YiRan_Zhao·2018-07-17 21:51

mysql日常运维与参数调优

日常运维DBA运维工作日常导数据，数据修改，表结构变更加权限，问题处理其它数据库选型部署，设计，监控，备份，优化等日常运维工作：导数据及注意事项数据修改及注意事项表结构变更及注意事项加权限及注意事项问题处理，如数据库响应慢导数据及注意事项数据最终形式（csv,sql文本，还是直接导入某库中）导数据方法（mysqldump，selectintooutfile，）注意事项导出为csv格式需要file权
lwh9606·2018-07-17 11:20

可视化数据挖掘开源软件的比较分析

然而，机器学习是一个入门门槛相对比较高的技术领域，大部分的工程技术人员和业务人员都聚焦在业务领域的特征提取，算法选择，参数调优和模型验证上，因此一个方便高效的可视化工具，对于降低用户的机器学习学习曲线、
kdy·2018-07-16 17:00

hadoop 调优

hadoop性能调优与运维硬件选择操作系统调优与JVM调优hadoop参数调优hive性能调优hadoop运维硬件选择hadoop运行环境如何选择合适的硬件主从节点可靠性：主节点可靠性要好于从节点单节点选型
我思念的城市ZZZ·2018-07-15 22:46

JVM参数调优与垃圾回收机制

Java虚拟机原理所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机，大名鼎鼎的VisualBox、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机典型代码就是Java虚拟机，它专门为执行单个计算程序而计算，在Java虚拟机中执行的指令我们成为Java自己码指令。无论是系统
贾红平·2018-07-15 16:30

LVS、Nginx压测与性能调优

LVS和Nginx作为一个常用的负载均衡软件，充当集群流量入口的角色，需要承载的业务流量一般都比较大，这个时候对LVS/Nginx节点进行一些参数调优，对于发挥它们的性能有很大的帮助。
Mr萝卜·2018-07-14 21:50

Oracle ---参数优化

四：参数优化数据参数调优数据库安装完成后，调优以下参数SQL>altersystemsetopen_cursors=500scope=spfile;SQL>altersystemsetsession_cached_cursors
Sxyang_Me·2018-07-12 13:55

机器学习-特征选择

2.模型评估和参数调优1）数据切分、可能切偏，真正使用数据乱序加上交叉验证。2）k折交叉验证（分层抽样通常，保证比例），交叉验证得分。3）网格搜索，找
cxlhuihui·2018-06-29 14:23

Java性能调优

一、Tomcat服务器1、Jvm参数调优Tomcat的启动参数位于tomcat的安装目录\bin目录下，如果你是Linux操作系统就是catalina.sh文件，如果你是Windows操作系统那么你需要改动的就是
丰极·2018-06-28 11:00

linux IO 内核参数调优(路径修正)

转自：https://blog.csdn.net/oceansw/article/details/78271187pagecachelinux操作系统默认情况下写都是有写缓存的，可以使用directIO方式绕过操作系统的写缓存。当你写一串数据时，系统会开辟一块内存区域缓存这些数据，这块区域就是我们常说的pagecache（操作系统的页缓存）。查看系统内存常用的命令有：vmstat、free、top
wbqsteven·2018-06-26 14:03

Hive参数调优

一、Map阶段的优化（Mapphase）1.Map数的计算公式为：num_Map_tasks=max[${Mapred.min.spilt.size},min(${dfs.block.size},${Mapred.max.split.size})]Mapred.min.spilt.size指的是数据的最小分割单元大小（默认为1B）Mapred.max.split.size指的是数据的最大分割单元大
凌洪涛·2018-06-22 10:37

hive参数调优

MapReduce数量相关数据分片大小(分片的数量决定map的数量)计算公式:splitSize=Math.max(minSize,Math.min(maxSize,blockSize))setmapreduce.input.fileinputformat.split.maxsize=750000000;单个reduce处理的数据量(影响reduce的数量)计算公式:Max(1,Min(hive.
qq_34124060·2018-06-12 19:28

模型评估和参数调优

本篇文章详细阐述机器学习模型评估和参数调优。
qq_34872501·2018-06-10 22:22

kaggle：预测泰坦尼克号幸存者（决策树算法，网格搜索模型参数调优）

%matplotlibinlineimportmatplotlib.pyplotaspltimportnumpyasnpimportpandasaspddefread_dataset(fname):#指定第一列作为行索引data=pd.read_csv(fname,index_col=0)#列索引为csv文件第一行#丢弃无用的数据data.drop(['Name','Ticket','Cabin'
Douhh_sisy·2018-06-07 22:53

kaggle：预测泰坦尼克号幸存者（决策树算法，网格搜索模型参数调优）

%matplotlibinlineimportmatplotlib.pyplotaspltimportnumpyasnpimportpandasaspddefread_dataset(fname):#指定第一列作为行索引data=pd.read_csv(fname,index_col=0)#列索引为csv文件第一行#丢弃无用的数据data.drop(['Name','Ticket','Cabin'
Douhh_sisy·2018-06-07 22:53

PHP参数调优

的配置文件由两个，一个是development，另一个是production两个的区别：生产场景php.ini的日志都是关闭或者输出到文件中的，所以我们在生产环境中把非程序上的输出都关闭或隐藏二php.ini参数调优日志的关闭与隐藏就
长跑者1号·2018-06-03 16:08

Spark性能优化篇一：资源调优

Spark性能优化篇一：资源调优所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。
野狼e族·2018-05-28 17:45

第一步：oracle安装

https://blog.csdn.net/kenny1993/article/details/75038670作者这边文章还是很详细的，我这里就不细说安装过程了，但是需要强调以下几点：1.服务器内核参数调优需要根据服务器实际的内存
泡菜爱上WaSabi·2018-05-28 14:08

Java整理关键词

hashmap的问题concurrentHashMap分段锁-jdk1.7ConcurrentHashMap乐观锁-jdk1.8NIO,IO,异同，以及NIO特点，详细过程mysql索引结构jvmgc调优（参数调优
一枚程序员·2018-05-16 09:31

机器学习 --超参数调优

一学习率参数调优的原理超参数调优，经常会遇到两个问题：1、模型发散，参数随着迭代数值绝对值越来越大，甚至发散到无穷，从损失函数来看，误差也会越来越大。
drawsky·2018-05-13 04:39

Go语言构建千万级在线的高并发消息推送系统实践

2、Go语言在基础服务开发领域的优势机器性能方面，该系统的单机在测试环境下，如果只挂长连接（系统参数调优之后），数据往往取决于掉线率。在连接稳定的情况下发出广播，心跳时间不受影响，内部QPS在一个可
IT技术精选文摘·2018-05-10 16:02

XGBoost参数调优完全指南（附Python代码）

XGBoost参数调优完全指南（附Python代码）原文地址：CompleteGuidetoParameterTuninginXGBoost(withcodesinPython)译注：文内提供的代码和运行结果有一定差异
AiFool·2018-05-03 14:54

如何实现AutoML -- 先Auto每个环节

前言先给AutoML做个定义：用户给出可能的raw数据（但是经过标注），机器自动完成整个特征化，模型训练，模型选择/组合，超参数调优，部署上线。
祝威廉·2018-05-02 15:25

如何实现AutoML -- 先Auto每个环节

前言先给AutoML做个定义：用户给出可能的raw数据（但是经过标注），机器自动完成整个特征化，模型训练，模型选择/组合，超参数调优，部署上线。
祝威廉·2018-05-02 15:00

Spark性能调优

参考文章：点击打开链接Spark作业运行原理Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系Spark资源参数调优•Executor的内存分为3块•第一块
贫僧洗头爱飘柔·2018-04-25 10:56

Spark性能调优

参考文章：点击打开链接Spark作业运行原理Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系Spark资源参数调优•Executor的内存分为3块•第一块
贫僧洗头爱飘柔·2018-04-25 10:56

HBase性能调优

会出现热点现象服务端调优1、Hbase常见参数调优配置1、hbase.hregion.majorcompaction配置major合并的间隔时间，默认为1天，可设置为0
菜鸟级的IT之路·2018-04-15 22:12

spark -SQL 配置参数

Spark-Sql的参数调优：官网：http://spark.apache.org/docs/latest/sql-programming-guide.html缓存表参考：https://blog.csdn.net
点点渔火·2018-04-15 17:41

【深度学习篇】--神经网络中的调优一，超参数调优和Early_Stopping

二、神经网络超参数调优1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了，很长一段时间人们满足了就没有去探索深度神经网络
L先生AI课堂·2018-03-28 11:00

CatBoost、LightGBM、XGBoost，这些算法你都了解吗？

从那时起，我一直对每个模型精细的工作，包括参数调优、优缺点，都非常好奇，因此决定写下这篇文章。尽管最近神经网络重新出现并流行，我还是着重关注Boosting算法
中国计算机报·2018-03-19 00:00

卷积神经网络 - 卷积核越小越好吗？

深度学习工程师50%的时间都是在进行参数调优，那么，卷积神经网络中卷积核越小越好吗？
DefineClass·2018-03-07 19:45

深度 | 机器学习中的模型评价、模型选择及算法选择

文章还将就机器学习算法中的超参数调优给出尽可能的建议，用以实现最佳的算法效果。文中内容涉及很多常用方法，比如模型评估和选择中的Holdout方法等
AI科技大本营·2018-02-13 00:00

GBDT、XGBoost、LightGBM 的使用及参数调优

GBDT概述GBDT是梯度提升树（GradientBoostingDecisonTree）的简称，GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，同时迭代思路和Adaboost也有所不同。GBDT通过多轮迭代，每轮迭
火眼0狻猊·2018-02-09 10:04

eclipse修改jvm参数调优方法(2种)

本文介绍了eclipse修改jvm参数调优方法(2种)，分享给大家，具体如下：一般在不对eclipse进行相关设置的时候，使用eclipse总是会觉得启动好慢，用起来好卡，其实只要对eclipse的相关参数进行一些配置
qq_38835878·2018-02-07 10:13

Linux内核 TCP/IP、Socket参数调优

详见http://blog.csdn.net/u010009038/article/details/51917460
goldfishe·2018-01-22 22:09

MySQL之SQL语句优化步骤

MySQL查询截取分析步骤：一、开启慢查询日志，捕获慢SQL二、explain+慢SQL分析三、showprofile查询SQL语句在服务器中的执行细节和生命周期四、SQL数据库服务器参数调优一、开启慢查询日志
DrDanger·2018-01-18 10:23

MySQL之SQL语句优化步骤

MySQL查询截取分析步骤：一、开启慢查询日志，捕获慢SQL二、explain+慢SQL分析三、showprofile查询SQL语句在服务器中的执行细节和生命周期四、SQL数据库服务器参数调优一、开启慢查询日志
DrDanger·2018-01-18 10:23

Linux允许打开最大文件句柄数的参数调优-"too many open files"问题

都知道Linux系统的特性，一切皆文件，所以在运行zabbix这样的服务时，其中重要的一个调优就是调整linux系统的最大文件句柄数，解决“toomanyopenfiles”的问题，增大程序运行允许打开的文件数，提高性能。一．查看系统运行打开的文件句柄数#ulimit-acorefilesize(blocks,-c)0datasegsize(kbytes,-d)unlimitedschedulin
移望yuan·2018-01-13 16:49

Spark调优-参数及配置

参数调优1资源类11num-executors12executor-memory13executor-cores14driver-memory15sparkdefaultparallelism16sparkstoragememoryFraction17sparkshufflememoryFractiongetMaxExecutionMemorygetMaxStorageMemory1
graphnj·2018-01-10 23:30

Tomcat JVM参数调优

Tomcat的缺省配置是不能稳定长期运行的，也就是不适合生产环境，它会死机，让你不断重新启动，甚至在午夜时分唤醒你。对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。Tomcat7.pngTomcat的优化不像其它软件那样，简简单单的修改几个参数就可以了，它的优化主要有
zengwj1949·2018-01-09 16:57

超参数调优

超参数调优超参数调优我们以learningrate和正则强度为例介绍搜索策略一般的超参数调优采用分阶段搜索的方式，1.最开始定义一个广泛的搜索区间，以learningrate为例，可以选取[1e-3,1e
lanmengyiyu·2018-01-08 23:23

游戏服务器JVM优化

参数调优入门级别的配置一般是：java
nohup·2018-01-03 00:00

tomcat面试题

1.JVM参数调优：-Xms表示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。
Efforts_To_Advanced·2017-12-29 11:57
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他