参数调优

Kafka关键参数设置

生产环境中使用Kafka，参数调优非常重要，而Kafka参数众多，我们的java的Configuration代码中，经常设置的参数如下：Propertiesprops=newProperties();props.put
wwcom123·2019-07-14 12:00

基于centos 7的Redis群集原理及配置

博文大纲：一、Redis群集原理二、Redis群集架构细节三、redis-cluster选举四、部署Redis群集环境关于Redis的性能调优参数的说明，可以参考博文：centos7之Redis数据库详解及参数调优一
warrent·2019-07-09 11:37

centos 7之Redis数据库详解及参数调优（内附搭建群集案例）

博文目录：一、关系型数据库与非关系型数据库的区别。二、Redis数据库介绍。三、Redis的安装部署。四、Redis命令工具及常用命令五、Redis群集配置实例。一、关系型数据库与非关系型数据库的区别：Redis数据库是一个非关系型数据库，和oracle、mysql、sqlserver等关系型数据库不是同一类型。NoSQL是非关系型数据库的总称，主流的NoSQL数据库有redis、MongBD等。
warrent·2019-07-08 22:02

回归问题示例

一个完整的机器学习项目主要有以下几个步骤组成：探索性数据分析（EDA）特征工程和选择（FeatureEngineeringandSelection）机器学习模型比较（ModelComparison）超参数调优
sunwq06·2019-07-08 17:00

centos 7 之haproxy的配置文件详解及haproxy参数调优

这篇博文不谈如何配置haproxy，主要来聊一下它的配置文件说明以及生产环境中的参数调优
@ Ray·2019-07-06 13:49

centos 7 之haproxy的配置文件详解及haproxy参数调优

这篇博文不谈如何配置haproxy，主要来聊一下它的配置文件说明以及生产环境中的参数调优
warrent·2019-07-06 13:49

Spark参数调优

请带着下面的疑问读本博客，如果可以了解，请绕行别处！！！下面4个参数代表什么意思，相互之间什么关系？1.spark.executor.memory2.yarn.scheduler.maximum-allocation-mb3.spark.yarn.executor.memoryOverhead4.spark.executor.extraJavaOptions-XX:MaxDirectMemoryS
purisuit_knowledge·2019-07-04 11:23

快速入门JVM

目录1.JVM体系结构概述2.堆体系结构概述3.堆参数调优入门4.总结1.JVM体系结构概述JVM概述和类加载器JVM与硬件无关JVM位置JVM是运行在操作系统之上的，它与硬件没有直接的交互JVM调优和垃圾回收
A记录学习路线·2019-07-03 22:41

尚硅谷-互联网大厂高频重点面试题 （第2季）JVM+GC解析

熟悉JVM架构与GC垃圾回收机制，以及相应的参数调优，有过在Linux上进行系统优化的经验前提复习JVMGC快速回顾复习串讲类装载器子系统线程私有线程公有复制算法在年轻代使用（幸存者0区）既不浪费空间，
A记录学习路线·2019-07-01 19:28

【大数据】HIVE常用优化

一hive性能优化优化并非完全针对时间，也可以针对内存:防止倾斜问题使用Mapjoin设置合理的mapreduce的task数裁剪过滤小文件进行合并降低内存占用二HIVE数据倾斜问题1.参数调优sethive.groupby.skewindata
菜丸子·2019-06-30 18:56

JVM常用基础参数-PrintGCDetails回收前后对比

是否知道什么是GCRoots2、你说你做过JVM参数调优和参数配置，请问如何盘点查看JVM系统默认值3、你平时工作中用过的JVM常用基本配置参数有哪些？4、强引用、软引用、弱引用、虚引用费别是什么？
Drogon Brother·2019-06-28 10:50

JVM常用基础参数-元空间MetaspaceSize讲解

是否知道什么是GCRoots2、你说你做过JVM参数调优和参数配置，请问如何盘点查看JVM系统默认值3、你平时工作中用过的JVM常用基本配置参数有哪些？4、强引用、软引用、弱引用、虚引用费别是什么？
Drogon Brother·2019-06-28 10:03

JVM常用基础参数-栈内存Xss讲解

是否知道什么是GCRoots2、你说你做过JVM参数调优和参数配置，请问如何盘点查看JVM系统默认值3、你平时工作中用过的JVM常用基本配置参数有哪些？4、强引用、软引用、弱引用、虚引用费别是什么？
Drogon Brother·2019-06-28 10:55

Java堆内存初始大小

是否知道什么是GCRoots2、你说你做过JVM参数调优和参数配置，请问如何盘点查看JVM系统默认值3、你平时工作中用过的JVM常用基本配置参数有哪些？4、强引用、软引用、弱引用、虚引用费别是什么？
Drogon Brother·2019-06-28 10:19

Linux系统重要参数调优

当前会话生效ulimit-u->查看当前最大进程数ulimit-n->查看当前最大文件数ulimit-uxxx->修改当前最大进程数为xxxulimit-nxxx->修改当前最大文件数为xxx永久生效1.vi/etc/security/limits.conf，添加如下的行softnoproc11000hardnoproc11000softnofile4100hardnofile4100说明：代表针
Stitch_x·2019-06-26 23:37

JVM参数调优-设置堆、新生代、老年代、持久代大小

一、根据程序的运行状况查看其活跃的数据量①、活跃的数据：1.应用程序运行于稳定状态时，老年代占用的java堆大小2.应用程序运行于稳定状态时，永久代占用的java堆大小其实就是FullGc后这2个数据的大小②、动手测试：1.测试代码：publicclassA{   int[]storage=newint[102400];   int[]extra=newint[200000];    public
坚持是一种修行·2019-06-25 23:38

Ceph优化系列（二）：Ceph主要配置参数详解

解释的并不多本文从当前我们的ceph.conf文件入手，解释其中的每一项配置，做为以后参数调优和新人学习的依据；参数详解1，一些固定配置参数123fsid=6d529c3d-5745-4fa5-be5f
亚历山大的陀螺·2019-06-24 15:06

KNN(K近邻算法) 中超参数调优，如何生成所有的指标排列组合.

KNN(K近邻算法)中超参数调优，如何生成所有的指标组合.在KNN算法中，参数的调优要么调整特征的组合，要么改变K值。
birdflyinhigh·2019-06-21 18:27

数据挖掘下的一般步骤与套路

2.一般步骤Step1:明确问题的类型Step2:数据准备第一步:时间窗口(TimeWindow)第二步:特征工程第三步:变量评价和筛选第四步:数据处理(Optial)Step3:模型训练样本切分模型参数调优不同模型的比较
LuCh1Monster·2019-06-16 00:55

大数据技术之_30_JVM学习_01_JVM 位置+JVM 体系结构概览+堆体系结构概述+堆参数调优入门+JVM 的配置和优化+Tomcat 的配置和优化...

原文链接：http://www.cnblogs.com/chenmingjun/p/11029371.html1、JVM位置2、JVM体系结构概览3、堆体系结构概述4、堆参数调优入门5、JVM的配置和优化
aodawu2891·2019-06-15 23:00

LightGBM参数调优代码详解

文章目录1.总体调参思路2.学习率和估计器及数目2.max_depth和num_leaves3.min_data_in_leaf和min_sum_hessian_in_leaf4.feature_fraction和bagging_fraction5.正则化参数6.降低learning_rate1.总体调参思路对于基于决策树的模型，调参的方法都是大同小异。一般都需要如下步骤：首先选择较高的学习率，大
dzysunshine·2019-06-15 17:45

BIO、NIO、AIO理解

比如修复代码级别的性能Bug、JVM参数调优、IO优化等等。
const_·2019-06-14 18:48

【机器学习】回归和超参数调优Regression and Hyper-parameter Optimisation

什么是超参数所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。什么是GridSearch网格搜索？GridSearch：一种调参手段；穷举搜索：在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表
Victorrrrr·2019-06-13 13:45

XGBoot参数调优代码详解

加载需要用到的库2.加载数据3.写一个大的函数完成以下的功能4.对于高的学习率找到最合适的estimators个数5.max_depth和min_child_weight调参5.1粗调5.2细调6.gamma参数调优
dzysunshine·2019-06-12 20:10

Nginx优化 参数调优

优化Nginx服务的worker进程个数在高并发、高访问的Web服务场景，需要事先启动好更多的Nginx进程，以确保快速响应大量并发的用户请求。根据该服务器所有的CPU颗数的核数加起来总和*2=worker_processesXX;官方建议是和核数相同例如一台2颗物理CPU每个CPU的核数为4核；计算结果就是8*2=16（为worker_processesXX）[root@blog~]#vi/et
丁广鹏·2019-06-11 20:04

3-2JVM-垃圾收集器&性能监控工具&实战参数调优案例分析

JVM参数配置-XX:+PrintGC每次触发GC的时候打印相关日志-XX:+UseSerialGC串行回收-XX:+PrintGCDetails更详细的GC日志-Xms堆初始值-Xmx堆最大可用值-Xmn新生代堆最大可用值-XX:SurvivorRatio用来设置新生代中eden空间和from/to空间的比例.-XX:NewRatio配置新生代与老年代占比1:2含以-XX:SurvivorRat
肥嘉请求集合·2019-06-10 14:29

模型的超参数调优

为了进行超参数调优，我们一般会采用网格搜索、随机搜索、贝叶斯优化等算法。在具体介绍算法之前，需要明确超参数搜索算法一般包括哪几个要素。
code__online·2019-06-09 21:52

Linux内核参数调优(生产慎用)

Linux中出现大量TIME_WAIT的解决办法实际工作中，最好让运维去调整。查看命令：netstat-ae|grep"TIME_WAIT"|wc-l通过调整内核参数解决：vi/etc/sysctl.conf，加入以下内容net.ipv4.tcp_tw_reuse=1开启重用，允许将TIME-WAITsockets重新用于新的TCP连接net.ipv4.tcp_tw_recycle=1开启TCP连
爱与梦想·2019-06-09 00:18

谈谈我的面试经历：大数据开发如何面试？

技术难度二：实时处理时的常见内存溢出问题和参数调优。技术难度三：设计
非科班大数据工程师·2019-06-02 17:13

spark submit参数调优

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪
kdy·2019-05-29 14:00

堆参数调优

1.Heap堆（Java7之前）：一个JVM实例只存在一个堆内存，堆内存的大小是可以调节的。类加载器读取了类文件后，需要把类、方法、常变量放到堆内存中，保存所有引用类型的真实信息，以方便执行器执行。堆内存逻辑上分为三部分：新生+养老+永久新生区新生区是类的诞生、成长、消亡的区域，一个类在这里产生，应用，最后被垃圾回收器收集，结束生命。新生区又分为两部分：伊甸区（Edenspace）和幸存者区（Su
阳沐之·2019-05-24 09:30

机器学习之模型评价篇

目录带你认识各种评价指标sklearn中的调用方法模型评估的方法过拟合和欠拟合过拟合的几种解决方法超参数调优模型评估面试题记录带你认识各种评价指标常见的指标以及其术语：混淆矩阵、准确率(Accuracy
earnestbin·2019-05-20 22:39

数据挖掘方面的比赛及代码资料整合（另附NLP相关知识）

8977a2d97234XGboost论文翻译：https://blog.csdn.net/qdbszsj/article/details/79615712GBDT、XGBoost、LightGBM的使用及参数调优
Rudy95·2019-05-20 19:22

文本情感分析(一)：基于词袋模型(VSM、LSA、n-gram)的文本表示

通过这个情感分析的题目，我会整理做特征工程、参数调优和模型融合的方法，这一系列会有四篇文章。这篇文章整理文本特征工程的内容。文本的特征工程主要包括数据清洗、特征构造、降维和特征选择等
weixin_30664539·2019-05-19 10:00

SpringCloud-zuul网关高性能调优

zuul参数调优适用版本：spring-boot:1.4.x.RELEASEspring-cloud：Camden.SR3Hystrix:1.5.6spring-boot-tomcat优化参数：主要只有
现象挖掘机·2019-05-17 10:57

一文读懂 HBase 使用场景

微信公众号：大数据手稿笔记HBase、ES、Kafka，Spark、Flink等各种组件的架构解析、案例分享、参数调优等，欢迎关注。
大数据手稿笔记·2019-05-17 00:00

Mysql高级

整顿SQL2、开启慢查询日志，抓取执行慢的SQL3、Explain开始分析（应该会找到问题所在）4、Showprofile（比explain更加细粒度，基本95%的问题就解决了）5、配合DBA开始各种参数调优
好耶纸初·2019-05-14 21:00

linux服务器springboot或tomcat项目启动，进行jvm参数调优设置

简介在实验环境或生产环境中，往往一台linux服务器需要添加启动n个项目，但是项目启动占用的jvm内存默认值基本上都是很大的，800m到2G都有，这样很容易将服务器的内存吃垮，从而导致系统强制oom（内存泄露），不留任何情面；所以，我们在部署项目的时候需要进行jvm参数的调优设置，保证内存使用的稳定性；实践1.首先执行命令：free-h，查询当前的内存占用情况，从下图可看出，内存已被撑爆；2.开始
尘光掠影·2019-05-09 16:02

【Spark2参数调优】submit Spark sql脚本并行度调优

spark2submitSparksql脚本并行度调优疑问：关于spark.default.parallelism现象：每个executor所分配的core小于activetask的数量解决：指定spark.sql.shuffle.partitions数量都说程序员不配享受生活，最近几个月一直在吃“两条线”，白天挖焦煤，晚上扒火车，真是比铁道游击队还苦逼！疑问：关于spark.default.pa
Jack_Roy·2019-04-28 15:21

(二).SpringCloud 从入门到放弃-Eureka注册中心深入

RESTAPI简介RESTAPI列表RESTAPI实例Eureka的核心类Eureka的设计理念服务实例如何注册到注册中心服务实例如何从注册中心剔除分布式系统的CAP特性PeertoPeer架构Eureka参数调优及监控核心参数参数调优总结深入了解
扶苏l·2019-04-25 10:17

达观杯参数调优

达观杯参数调优网格搜索法调参模型融合网格搜索法调参用5000条数据，调参时采用五折交叉验证的方式importpandasaspdimportnumpyasnpfromsklearn.model_selectionimporttrain_test_splitfromsklearn.feature_extraction.textimportTfidfVectorizerfromsklearnimpor
devcy·2019-04-16 14:08

任务五：使用LightGBM对数据进行分类并评估

1.对前几部得到的特征进行分类，主要用到sklearn中的LightGBM进行评估，并用网格搜索进行参数调优。
Dxy17·2019-04-15 09:06

数据框架部分总结

RDD进行持久化4)尽量避免使用shuffle类算子5)使用map-side的预聚合的shuffle6)使用高性能的算子7)广播大变量8)使用Kryo优化序列化性能9)优化数据结构2.资源调优1)资源参数调优
DeaSun·2019-04-07 23:29

HBase最佳实践－CMS GC调优（从gc本身参数调优）

同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbasegc调优方向从0.94版本提出MemStoreLAB策略、MemstoreChuckPool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内存，可
马吉辉·2019-04-02 19:13

hive任务优化、参数调优

reduce数：1.Hive自己如何确定reduce数：2.调整reduce个数方法一3.调整reduce个数方法二4.reduce个数并不是越多越好；5.什么情况下只有一个reduce；三、hive参数调优
温酒寒·2019-03-28 10:38

spring cloud 并发测试及参数调优

1、测试工具1.1、ApacheJMeter5.1.1ApacheJMeter是Apache组织开发的基于Java的压力测试工具。1.2、JavaVisualVM1.8VisualVM是一款免费的，集成了多个JDK命令行工具的可视化工具，它能为您提供强大的分析能力，对Java应用程序做性能分析和调优。这些功能包括生成和分析海量数据、跟踪内存泄漏、监控垃圾回收器、执行内存和CPU分析，同时它还支持在
秋枫落落·2019-03-23 11:55

spark submit

sparkonyarn的提交模式资源参数调优spark资源参数调优，其实主要就是对spark运行中各个使用资源的地方,通过调节各种参数，来优化资源的使用效率从而提升Spark作业的执行性能。
MrLeebk·2019-03-20 11:55

【Spark调优】提交job资源参数调优

【场景】Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。spark提交作业，yarn-cluster模式示例：./bin/spark-submit\--classcom.ww.rdd.wordcount\--masteryarn\--deploy-mode
wwcom123·2019-03-19 22:00

MYSQL基础：参数调优:1:InnoDB调优参数基本信息一览

InnoDB、MyISAM都是MySQL存储引擎，在InnoDB存储引擎中，page是最小单位，然后是extent（区），段（segment）和tablespace，和Oracle在名称上较为相似。默认情况下，表空间的page的大小为16K，但可以调整默认大小（innodb_page_size），Page的数量最少为64个，常见的组合如下所示：PageSizePageCountExtentSize
liumiaocn·2019-03-19 02:41

Nginx访问控制与参数调优的方法

Nginx全局变量Nginx中有很多的全局变量，可以通过$变量名来使用。下面列举一些常用的全局变量：变量说明$args请求中的参数，如www.123.com/1.php?a=1&b=2的$args就是a=1&b=2$content_lengthHTTP请求信息里的”Content-Length”$conten_typeHTTP请求信息里的”Content-Type”$document_rootng
mori_d·2019-03-15 09:01
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他