参数调优第18页

Oracle 内存参数调优设置

1主要系统参数调优介绍2系统内存参数的分配2.1Oracle实例=内存结构+进程结构内存结构=SGA+PGASGA(系统全局区)：用户存储数据库信息的内存区，该区域为数据库进程所共享。

a77687789·2020-07-11 01:16

facebook faiss的安装测试

它还包含了用于评估和参数调优的支持代码。Faiss是用C++编写的，带有Python/numpy的完整包装。其中最

sparkexpert·2020-07-10 18:25

web服务器-tomcat （JVM,HTTP,GZIP）调优

JVM参数调优使用64位JDK1.6+&Tomcat6+。

北漂青年003·2020-07-10 16:37

redigo的redis.Pool 配置参数调优

reids.Pool结构介绍//github.com/garyburd/redigo/redis/pool.gotypePoolstruct{//Dial()方法返回一个连接，从在需要创建连接到的时候调用Dialfunc()(Conn,error)//TestOnBorrow()方法是一个可选项，该方法用来诊断一个连接的健康状态TestOnBorrowfunc(cConn,ttime.Time)e

xiaohu50·2020-07-10 12:13

jvm详解、GC、堆内存参数调优

一些常见面试题：JVM的位置（运行在操作系统上，与硬件没有直接的交互）一、jvm体系结构（记住背下来）运行时数据区：有亮色的有灰色的，灰色的就是占得内存非常小，几乎不存在GC垃圾回收，并且线程独占的，亮色的存在垃圾回收，并且所有线程共享。二、类装载器（看做成快递员，把class文件（class文件开头有特定的文件标示cafebabe）字节码加载到内存，并将这些内容转换成方法区中的运行时数据结构并且

春_·2020-07-10 10:26

spark submit参数调优

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪

不言尘世·2020-07-10 10:07

Hive引擎替换为Spark（Hive on Spark）

4、hiveonspark配置集群模式5、hiveonspark参数调优6、结束语1、背景HiveonSpark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark

Ethan130·2020-07-10 10:40

快速入门Java虚拟机

Java虚拟机不难理解，通过这篇文章你能快速get到：1.Java类加载的过程及常见的3种类加载器2.JVM体系结构3.堆体系结构丶常见的两种JVM异常以及简单的参数调优4.垃圾回收简单介绍------

菜是原罪·2020-07-10 09:18

kafka生产者Producer参数设置及参数调优建议-kafka 商业环境实战

weixin_34138255·2020-07-10 08:06

kafka生产者和消费者吞吐量测试-kafka 商业环境实战

线上真实环境实战及调优进阶系列kafka商业环境实战-kafka生产环境规划kafka商业环境实战-kafka生产者和消费者吞吐量测试kafka商业环境实战-kafka生产者Producer参数设置及参数调优建议本套系列博客从真实商业环境抽取案例进行总结和分享

weixin_33919950·2020-07-10 07:02

Ceph配置参数分析

解释的并不多本文从当前我们的ceph.conf文件入手，解释其中的每一项配置，做为以后参数调优和新人学习的依据；参数详解1，一些固定配置参数fsid=6d529c3d-5745-4fa5-*-*mon_initial_members

Joncc·2020-07-10 07:22

JVM系列（四）之GC调优

JVM内存参数调优为什么要GC调优？

varyall·2020-07-10 05:25

Hadoop常用参数整理（HDFS/Yarn/MapReduce/GC）

本来想在这里把Hbase参数也带上的，由于Hbase参数调优细节太多，所以单独抽了出来，在未来的几天内我会补上。

九师兄·2020-07-09 22:32

Spark的Shuffle的四种机制以及参数调优

(1)shuffle概述：大多数spark作业的性能主要就是消耗了shuffle过程，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。stage的划

qichangjian·2020-07-09 21:32

JVM参数调优

自动内存管理机制Java虚拟机原理所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机，大名鼎鼎的VisualBox、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机典型代码就是Java虚拟机，它专门为执行单个计算程序而计算，在Java虚拟机中执行的指令我们成为Java自己码

q908544703·2020-07-09 21:38

linux中tcp连接内核参数调优somaxconn

永久生效：vim/etc/sysctl.confnet.core.somaxconn=32768sysctl-p立即生效：sysctl-wnet.core.somaxconn=32768sysctl-a显示所有内核参数看其解析：对于一个TCP连接，Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,我们可以看到端口的状态由LISTEN转变为ESTABLISHED,接着这条链

风云叶易·2020-07-09 18:28

postgresql调优一：postgresql参数调优

iteye_4537·2020-07-09 17:09

Hadoop2.7实战v1.0之JVM参数调优

Hadoop正式上线之前，首先要调整的是各个进程的JVM参数设置，特别是对于HDFSNamenode来说。HDFS的JVM参数配置文件:hadoop-env.shNamenode进程的JVM配置:HADOOP_NAMENODE_OPTSDatanode进程的JVM配置:HADOOP_DATANODE_OPTSclient命令行的JVM配置:HADOOP_CLIENT_OPTS对于Namenode而

crazy_stone0002·2020-07-09 14:45

---Spark学习-shuffle和RDD

SortShuffle改进Tungsten计划sparkshuffle参数调优SparkRDDRDD机制RDD持久化原理不使用RDD的持久化使用持久化checkpoin

-无妄-·2020-07-09 13:18

Intellij Idea使用调优

启动参数调优启动参数配置在bin/idea64.exe.vmoptions或idea.exe.vmoptions（32位）参考https://gist.github.com/P7h/4388881-server-Xms2048m-Xmx2048m-XX

黑客日·2020-07-09 03:43

mysql参数调优

[client]port=3306socket=/tmp/mysql.sockdefault-character-set=utf8[mysql]no-auto-rehashdefault-character-set=utf8[mysqld]port=3306character-set-server=utf8socket=/tmp/mysql.sockbasedir=/usr/local/mysql

袋鼠mysql·2020-07-09 02:27

linux系统参数调优

一CPU参数调优1.1性能模式调整1.2开启服务器超线程功能1.3Numa参数调整二内存参数调优2.1THP(TransparentHugePages)2.2ksm调整2.3swappiness调整2.4min_free_kbytes

武晓兵·2020-07-09 00:27

（转）XGBoost参数调优完全指南

原文（英文）地址：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/原文（翻译）地址：https://www.2cto.com/kf/201607/528771.html简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBo

fwj7·2020-07-08 21:37

交叉验证以及scikit-learn中的cross_val_score详解

K折验证交叉验证总的来说，交叉验证既可以解决数据集的数据量不够大问题，也可以解决参数调优的问题。这块主要有三种方式：简单交叉验证（HoldOut检验）、k折交叉验证（k-fold交叉验证）、自助法。

Macan_ML·2020-07-08 20:28

TIDB 优化--TiKV 性能参数调优

TiKV最底层使用的是RocksDB做为持久化存储，所以TiKV的很多性能相关的参数都是与RocksDB相关的。TiKV使用了两个RocksDB实例，默认RocksDB实例存储KV数据，RaftRocksDB实例（简称RaftDB）存储Raft数据。TiKV使用了RocksDB的ColumnFalimies特性。默认RocksDB实例将KV数据存储在内部的default、write和lock3个C

DBASpace·2020-07-08 18:35

tikv性能参数调优

tiKV最底层使用的是RocksDB（tidb3.0版本中将使用tian存储引擎）做为持久化存储，所以TiKV的很多性能相关的参数都是与RocksDB相关的。TiKV使用了两个RocksDB实例，默认RocksDB实例存储KV数据，RaftRocksDB实例（简称RaftDB）存储Raft数据。TiKV使用了RocksDB的ColumnFamilies(CF)特性。默认RocksDB实例将KV数据

weixin_34357887·2020-07-08 18:40

k8s内核参数调优

cat/etc/sysctl.confkernel.core_uses_pid=1kernel.pid_max=4194303kernel.ctrl-alt-del=1#kernel.core_pattern=/disk/ssd00/cores/corekernel.msgmnb=65536kernel.msgmax=65536kernel.shmmni=4096kernel.shmmax=858

weixin_34144848·2020-07-08 17:22

cent OS 7 内核参数调优

为什么80%的码农都做不了架构师？>>>[1]net.core#net.core.netdev_max_backlog = 30000#进入包的最大设备队列.默认是1000#net.core.optmem_max = 10240#socket buffer的最大初始化值,默认20K. #TCP数据发送窗口#net.core.wmem_default = 109568#默认212992net.cor

weixin_33933118·2020-07-08 16:16

HBase最佳实践－CMS GC调优（从gc本身参数调优）

同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbasegc调优方向从0.94版本提出MemStoreLAB策略、MemstoreChuckPool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内存，可

weixin_33854644·2020-07-08 15:49

xgboost 参数调优指南

一、XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势：1正则化标准GBDT的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以“正则化提升(regularizedboosting)”技术而闻名。2并行处理XGBoost可以实现并行处理

weixin_33724570·2020-07-08 15:07

XGBoost参数调优小结

https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247485630&idx=1&sn=9edf2bfd771cf4bd6de51a7510415517&chksm=fb39adb5cc4e24a358c98aade3612d3fc9b6209f768ce8035496c59b05ad024ca71f834cef54&mpshare=1&

weixin_30826761·2020-07-08 14:47

Spark Shuffle原理、Shuffle操作问题解决和参数调优

摘要：1shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle操作问题解决2.1数据倾斜原理2.2数据倾斜问题发现与解决2.3数据倾斜解决方案3sparkRDD中的shuffle算子3.1去重3.2聚合3.3排序3.4重分区3.5集合操作和表操作4sp

weixin_30800987·2020-07-08 14:32

mysql优化———第二篇：数据库优化调整参数

摘要参数调优内容：1.内存利用方面2.日志控制方面3.文件IO分配，空间占用方面4.其它相关参数一摘要通过参数提高MYSQL的性能。核心思想如下：1提高mysql内存大小。这是最重要的参数。

weixin_30764883·2020-07-08 14:04

IDEA虚拟机参数调优设置

-Xmx2048mJavaHeap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定-Xms2048mJavaHeap初始值，Server端JVM最好将-Xms和-Xmx设为相同值，开发测试机JVM可以保留默认值;-XX：MaxPermSize=256m永久代最大内存-XX：ReservedCodeCacheSize=512m设置代码编译时使用-ea-Dsun.

ysun9621·2020-07-08 13:49

linux内核参数调优

kernel.shmmax、kernel.shmall、net.ipv4.tcp_mem根据实际服务器内存大小进行调整echo"net.ipv4.ip_forward=1net.ipv4.conf.all.rp_filter=1net.ipv4.conf.default.rp_filter=1net.ipv4.conf.all.accept_source_route=0net.ipv4.conf.

wc1695040842·2020-07-08 12:46

对docker container进行内核参数调优(tune)

对于dockercontainer的调优还是和普通的Linux调优有很大的区别修改最大文件数(openfiles)直接修改container的/etc/security/limits.conf无效正确的做法是(以CentOShost为例)在host上执行sudosh-c'printf"\nulimit-HSn999999\n">>/etc/sysconfig/docker'sudoserviced

CodeProject-Jerry·2020-07-08 12:51

Tomcat参数调优--简单介绍

前言介绍首先我们明白几个概念：吞吐量表示的是请求成功多少次/秒准备工作我们这里以Ecilpse为准，先建立一个maven的web工程pom文件4.0.0com.xiyoutest-tomcat0.0.1-SNAPSHOTwarjavax.servletjavax.servlet-api3.1.0providedIndexServlet：importjava.io.IOException;impor

红烧咸鱼丶·2020-07-08 11:00

机器学习中梯度下降（Gradient Descent）的来龙去脉(第一部分)

误区1：不求甚解，只是知道梯度下降是用来参数调优的一种方法。误区2：死钻牛角尖，陷入梯度下降的数学过程中无法自拔。

gongchenghhu·2020-07-08 10:20

Nginx高级篇-性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。

风流三月1·2020-07-08 10:35

Nginx性能参数调优

1.worker_processes语法:worker_processesnumber|auto;*number：Nginx进程最多可以产生的工作进程数量*auto：Nginx进程将自动检测Nginx服务器实现并发处理服务的关键。每个worker进程都是单线程的进程，它们会调用各个模块以实现多种多样的功能。如果这些模块确认不会出现阻塞式的调用，那么，有多少CPU内核就应该配置多少个进程；反之，如果

@子敬·2020-07-08 08:52

高性能Linux：TCP/IP内核参数调优之Linux TCP内核参数解析

内核参数本文总结Linux内核中关于TCP协议相关的内核参数含义及其相关配置。目的是指出可能在某些情况下提高TCP网络性能的潜在内核可调参数，请确保在进行调整之前和之后进行测试以获得可测量的定量结果。TCP状态转移图TCP连接的任意一端，在任一时刻都处于某一状态，当前状态可以通过netstat命令查看。上图中的粗虚线表示典型的服务器端的状态转移图，粗实线表示典型客户端连接的状态转移图。建立连接相关

Bob Liu·2020-07-08 08:17

垃圾回收器及参数调优

一、新生代回收器——ParNew1、工作原理ParNew垃圾回收器如果一旦在合适的时机执行MinorGC的时候，就会把系统程序的工作线程全部停掉，禁止程序继续运行创建新的对象，然后自己就用多个垃圾回收线程去进行垃圾回收，回收的机制和算法就跟之前说的是一样的。我们启动系统的时候可以指定垃圾回收器，使用-XX:+UseParNewGC选项，只要加入这个选项，JVM启动之后对新生代进行垃圾回收的，就是P

hurusea·2020-07-08 02:47

Keras Tuner模型自动超参数调优

KerasTuner安装pipinstallkeras-tunerfromtensorflow.kerasimportlayersfromtensorflowimportkerasfromkerastuner.tunersimportRandomSearchfromkerastuner.tunersimportBayesianOptimization(x,y),(val_x,val_y)=kera

baihaisheng·2020-07-08 01:27

Java虚拟机参数配置

你说下你熟悉那些jvm参数调优堆的参数配置XX:+PrintGC每次触发GC的时候打印相关日志-X

JavaAlliance·2020-07-08 00:56

Spark提交命令和参数调优

参数意义和参考值：1.num-executors 线程数：一般设置在50-100之间，必须设置，不然默认启动的executor非常少，不能充分利用集群资源，运行速度慢2.executor-memory线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/23.executor-cores线程CPUco

从一点一滴做起·2020-07-08 00:08

随机森林算法工作原理

随机森林是一种灵活且易于使用的机器学习算法，即便没有超参数调优，也可以在大多数情况下得到很好的结果。它也是最常用的算法之一，因为它很简易，既可用于分类也能用于回归任务。

柚子一只·2020-07-07 21:30

Linux 系统内核参数调优

通过调试系统内核参数使系统性能最大化如：最大并发数（ab–n10000–c100http://hosts:port/app/api）sysctl-a查看所有系统变量-n：打印值时不打印关键字；-e：忽略未知关键字错误；-N：仅打印名称；-w：当改变sysctl设置时使用此项；-p：从配置文件“/etc/sysctl.conf”加载内核参数设置；-a：打印当前所有可用的内核参数变量和值；-A：以表格

Men-DD·2020-07-07 17:57

CMS参数调优

1:-XX:+UseConcMarkSweepGCCMS全称ConcurrentMarkSweep，是一款并发的、使用标记-清除算法的垃圾回收器，如果老年代使用CMS垃圾回收器，需要添加虚拟机参数-"XX:+UseConcMarkSweepGC"。2：–XX:CMSInitiatingOccupancyFraction=nCMS的另一个缺点是它需要更大的堆空间。因为CMS标记阶段应用程序的线程还是

这瓜保熟么·2020-07-07 15:20

Linux文件系统性能优化

总的来说，主要可以从三个方面来做工作：1、Disk相关参数调优2、文件系统

刘爱贵·2020-07-07 14:19

tomcat性能调优

1.JVM参数调优：-Xms表示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。

艾伦蓝·2020-07-07 12:53

推荐频道

参数调优