参数调优--maxThre

spark参数调优

摘要1.num-executors2.executor-memory3.executor-cores4.driver-memory5.spark.default.parallelism6.spark.storage.memoryFraction7.spark.shuffle.memoryFraction8.total-executor-cores9.资源参数参考示例内容1.num-executor
weixin_30907935·2020-08-11 04:15

Flink 参数配置和常见参数调优

Flink参数配置jobmanger.rpc.addressjm的地址。jobmanager.rpc.portjm的端口号。jobmanager.heap.mbjm的堆内存大小。不建议配的太大，1-2G足够。taskmanager.heap.mbtm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。taskmanager.numberOfTaskSlotsslot数量。在
小东升职记·2020-08-10 19:51

斯坦福大学深度学习公开课cs231n学习笔记（8）神经网络学习过程中的检查事项和参数调优

在这节课中，主要讲述了神经网络的检查事项（例如梯度检查，合理性检查和学习过程中对损失函数、权重、每层的激活函数与梯度分布等的检查等）和神经网络的参数调优实现方法（例如：随机梯度下降方法，动量方法，学习率退火方法等等
Naruto_Q·2020-08-09 17:49

tomcat优化

2.内存设置VM参数调优-Xms表示JVM初始化堆的大小，-Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。当应用程序需要的内存超出堆
xmh_sxh_1314·2020-08-09 03:47

实际工作中的Spark程序优化

尽可能复用RDDRDD持久化对经常使用的RDD进行持久化选择合适的持久化策略使用Kryo优化序列化性能使用广播变量合适的算子选择尽量避免使用shuffle算子在Map端进行预聚合选用更高性能的算子二.参数调优
new个对象先·2020-08-09 01:16

在 RedHat Linux 上做性能调优

查找潜在的性能问题并进行参数调优来修复。观察这些调整对系统的影响
Joe?·2020-08-09 00:52

tomcat调优

目录1、配置项1.1、线程池配置1.2、连接器配置2、参数调整2.1、maxConnections的调整2.2、acceptCount的调整2.3、maxThreads的调整3、参数调优测试3.1、数量测试
晴枫慕竹·2020-08-08 22:06

seetaface初始化参数调优

这个参数调整,主要是针对人脸检测模块初始化参数做的修改,修改后的效果是人脸距离摄像头的检测距离变短,人脸识别,特征提取,相似度计算的计算速度提升.具体修改如下:seeta::FaceDetectiondetector("./seeta_fd_frontal_v1.0.bin");detector.SetMinFaceSize(120);detector.SetScoreThresh(3.f);de
tiny_tiger·2020-08-08 21:17

HBase的这些配置参数你都懂了吗？

测试时发现理解这些参数都代表什么意义非常的重要，而且通过参数调优可以提高性能，希望仔细阅读一下每个属性代表的意义！
macyang·2020-08-08 17:37

记一次java程序假死的处理过程（JVM参数调优）

前景提要休假的时候生产服务器出现了一次假死，现象是外部无法访问，批处理任务也不再运行，由于当时不在现场，客户直接kill了进程，导致没法对现场日志或者现场情况进行采集。赶回公司后它们重启已解决问题，但是领导对这次事件反应非常强烈，要求必须查明原因，一头雾水的我就开始了这填坑之路。填坑历程由于缺失现场一手资料，只能靠他们描述的现象对事故现象进行模拟，虽然一波三折，但是最终还是在50线程每秒5次并发的
Mumug2·2020-08-08 00:52

spark 关于spark-submit 参数调优策略

--sparksubmit--num-executors该参数主要用于设置该应用总共需要多少executors来执行，Driver在向集群资源管理器申请资源时需要根据此参数决定分配的Executor个数，并尽量满足所需。在不带的情况下只会分配少量Executor。这个值得设置还是要看分配的队列的资源情况，太少了无法充分利用集群资源，太多了则难以分配需要的资源。--executor-memory设置
我丶怀念的·2020-08-07 20:51

虚拟机参数调优

前段时间又看了一遍《深入理解Java虚拟机》，感觉比以前看的理解程度多了一些。找一些以前的关于虚拟机参数的笔记内容写下来。虚拟机有很多种，一般应用的都是HotSpot虚拟机，所以大家讨论的也都是针对这款虚拟机。不同的虚拟机实现是不一样的。运行时会根据热点程序，进行不同程度的优化编译，不是编译一次就完事的。高级编译时会引入大胆的优化策略，也会留逃生门。一，注意事项虚拟机在64位机器上，内存大于32G
晴空十万里·2020-08-05 21:09

Spring Cloud 微服务开发：入门、进阶与源码剖析 —— 2.2 Spring Cloud Eureka 进阶

本节将介绍Eureka的进阶内容，包括源码的分析、设计思想以及参数调优。建议各位读者打开IDE工具一起阅读源码。2.2.1EurekaClient源
极客挖掘机·2020-08-05 16:34

【机器学习算法实战3】产品营销模型之建置及预测（CDA赛题）

本次实战以官方公布的评分标准accuracy为目标进行参数调优与建模。又探索了在不同成本收益模型下，选择不同的模型评估指标，最终得
陈同学2020·2020-08-05 12:32

MySQL数据库--查询截取分析

查询截取分析分析:1.观察，至少跑一天，看看生产的SQL的情况2.开启慢查询日志，设置阀值3.explain+慢sql分析4.showprofile分析力度更强5.运维经理或dba进行sql数据库服务器的参数调优小表驱动大表数据库最伤神的就是进行连接和释放当
MingZiTian·2020-08-05 10:02

PostgreSQL中 Vacuum 略谈

VACUUMdoc路由清理PostgreSQL需要定期维护清理，一般都是由守护进程自动清理的，我们只是需要参数调优，也可以执行脚本定时去清理回收。
将臣三代·2020-08-05 03:34

Spark性能优化

Checkpoint使用序列化的持久化级别Java虚拟机垃圾回收调优提高并行度广播共享数据数据本地化reduceByKey和groupByKey的合理使用Shuffle调优算子调优上述这几项，综合起来就是：1）配置参数调优
yihh·2020-08-04 21:24

Weka进行数据挖掘简介

他们的精力，集中在特征提取，算法选择和参数调优上。那么，一个可以方便地提供这些功能的工具，便是十分必要的了。而wek
三少GG·2020-08-04 18:47

超参数调优、Batch正则化理论及深度学习框架学习

/www.missshi.cn/api/view/blog/5a2273939112b35ff3000002Ps：初次访问由于js文件较大，请耐心等候（5s左右）在本文中，我们将了解一些机器学习中的超参数调优
WangZhe0912·2020-08-04 15:23

Hadoop笔记——技术点汇总

手工搭建集群·引言·配置机器名·调整时间·创建用户·安装JDK·配置文件·启动与测试·ClouderaManager·原理·Hadoop架构·性能调优·硬件选型·操作系统调优·JVM调优·Hadoop参数调优概况
weixin_30809173·2020-08-04 04:53

jvm参数，tomcat参数，jar包运行参数调优

jar包运行参数优化命令实例：nohupjava-Xms500m-Xmx500m-Xmn250m-Xss256k-server-XX:+HeapDumpOnOutOfMemoryError-jar$JAR_PATH/test-0.0.1-SNAPSHOT.jar--spring.profiles.active=daily-verbose:class&说明：--spring.profiles.act
王老诩·2020-08-04 03:13

JVM虚拟机—内存管理

这表示-XX：PermSIze等参数调优已经没有了意义。JVM内存区域划分如图。JVM堆中的数据
takeuheart·2020-08-04 01:41

移动端图片格式调研

在这篇文章里我会分析一下目前主流和新兴的几种图片格式的特点、性能分析、参数调优，以及相关开源库的选择。
系统信息·2020-08-02 20:13

自然语言处理一：基于朴素贝叶斯的语种检测

本文使用朴素贝叶斯完成一个语种检测的分类器，准确度经过简单的参数调优可以达到99.1%。
数据阿伯·2020-08-02 20:53

MySQL查询 截取分析

explainSQL分析showprofileDBA或运维进行SQL服务器参数调优查询优化永远小表驱动大表永远小表驱动大表，因为先查小表可以得到一些接下来查询的过滤条件，再查大表时可以根据这些过滤条件用上索引等内容增加整
~无关风月~·2020-08-02 20:23

MySQL 查询截取分析

3、explain+慢SQL分析4、showprofile5、运维经理或者DBA，进行SQL数据库服务器的参数调优。总结：1、慢查询的开启并捕获。
王学政·2020-08-02 19:30

tomcat链接数过大，导致超时问题解决

tomcat参数调优（1）不使用线程池的情况后两个参数意义：maxThreads：tomcat启动时候创建的最大线程数，即同时处理的任务个数，默认值为200acceptCount：当tomcat启动时候的线程数达到最大时
坚持，坚持，再坚持·2020-08-02 12:22

jvm GC参数调优

(本篇主要以CMS-GC为主,如果对G1感兴趣的我后面也可以补充)一、GC参数说明与介绍1.1jvm启动参数分为三类:类型描述第一类是标准参数（-）所有的JVM实现都必须实现这些参数的功能，而且向后兼容第二类是非标准参数（-X）默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容第三类是非Stable参数（-XX）此类参数各个jvm实现会有所不同，将来可能会随时取消，需
他是人间惆怅客·2020-08-01 15:00

科学回测中的大学问

对策略进行参数调优：当
BigQuant·2020-08-01 09:25

postgresql调优一：postgresql参数调优

1。pg中性能相关常调参数参数名称参数意义优化思路shared_buffers数据库服务器将使用的共享内存缓冲区大小，该缓冲区为所有连接共用。从磁盘读入的数据（主要包括表和索引）都缓存在这里。提高该值可以减少数据库的磁盘IO。work_mem声明内部排序和哈希操作可使用的工作内存大小。该内存是在开始使用临时磁盘文件之前使用的内存数目。数值以kB为单位的，缺省是1024(1MB)。请注意对于复杂的查
mydownloador·2020-07-31 20:25

CS231n 图像分类

图像分类目标：例子困难和挑战图像分类流程NearestNeighbor分类器k-NearestNeighbor分类器用于超参数调优的验证集NearestNeighbor分类器的优劣小结目标：就是在已有固定的分类标签集合
不知哪来的烦恼·2020-07-31 18:09

使用Weka进行数据挖掘

他们的精力，集中在特征提取，算法选择和参数调优上。那么，一个可以方便地提供这些功能的工具，便是十
lengwuqin·2020-07-30 19:17

自动机器学习工具全景图：精选22种框架，解放炼丹师

AdithyaBalaji王小新编译自GeorgianImpactBlog量子位出品|公众号QbitAI构建一个典型的机器学习项目，一般分成以下步骤：收集原始数据、合并数据源、清洗数据、特征工程、模型构建、超参数调优
量子位·2020-07-30 19:16

TensorFlow模型导出，部署，客户端调用

综合案例：模型导出与部署学习目标目标掌握TensorFlow模型的导出(saved_model格式)掌握Tensorflow模型的部署掌握TensorFlow模型的客户端调用掌握TensorFlow模型的超参数调优使用应用无
一只小鱼儿·2020-07-30 19:13

因为参数调优，遂整理JVM，工作调优+面试，都能帮你从容应对

最近因为工作和面试的原因（大boss也不知道咋想的，把面试的任务给了我一部分，我之后是总监面，要了命了）那就跟随市场潮流吧，市场上什么比较火热，我就用什么技术问白，正好公司业务中最近也用到了jvm的相关的内容，所以也算是自己回忆复习，也算是总结吧，我把常用的jvm调优的参数进行整理，并且在最后，我将jvm所涉及的知识点进行了详细的整理SunJDK监控和故障处理工具常用命令：1.jps-l查询LVM
Java架构师联盟·2020-07-30 13:50

Hadoop-优化-常用的参数调优，MapReduce优化方式

Hadoop常用的参数调优，MR优化方式文章目录Hadoop常用的参数调优，MR优化方式MapReduce跑的慢的原因1MapReduce优化方法1.1数据输入1.2Map阶段1.3Reduce阶段1.4I
Demik·2020-07-30 12:28

因为参数调优，遂整理JVM，工作调优+面试，都能帮你从容应对

关注公众号：Java架构师联盟，每日更新技术好文部分资料已经上传到我的git仓库中：有需要的可以下载https://gitee.com/biwangsheng/mxq最近因为工作和面试的原因（大boss也不知道咋想的，把面试的任务给了我一部分，我之后是总监面，要了命了）那就跟随市场潮流吧，市场上什么比较火热，我就用什么技术问白，正好公司业务中最近也用到了jvm的相关的内容，所以也算是自己回忆复习，
盟主123·2020-07-29 22:00

Task4 LightGBM算法梳理

leaf-wiseVSlevel-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.应用场景9.LightGBM参数10.CatBoost(了解)Task4LightGBM算法梳理LightGBM介绍及参数调优
AI_100·2020-07-29 21:40

postgresql 性能参数调优

max_connections=100#(changerequiresrestart)unix_socket_directories='.'#comma-separatedlistofdirectoriesshared_buffers=194GB#尽量用数据库管理内存，减少双重缓存，提高使用效率，大小应该为操作系统内存的25%~40%huge_pages=on#on,off,ortry，使用大页w
lxc950318·2020-07-29 20:58

Nginx访问控制与参数调优

Nginx作为高性能web服务器深受广大开发者喜爱。为了安全我们要做好Nginx访问控制，比如允许和禁止某个IP访问、禁止访问某个目录、反爬虫等。同时可以适当调优配置使Nginx性能更加强悍。Nginx全局变量Nginx中有很多的全局变量，可以通过$变量名来使用。下面列举一些常用的全局变量：变量说明boxClass需要执行动画的元素的变量说明$args请求中的参数，如www.123.com/1.p
LanceZhen·2020-07-29 20:48

mysql性能调优——缓存命中率innodb_buffer_pool_size

目录1、简介：2、命中率计算：（1）查询参数：（2）值计算公式：（3）差值计算公式：3、参数调优：1、简介：众所周知，系统读取数据时，从内存中读取要比从硬盘上速度要快好几百倍。
LSY_csdn_·2020-07-29 13:18

或许是东半球最好用的超参数优化框架#2：Optuna 进阶使用

作为主要面向深度学习超参数调优开发的框架，Optuna在实现之初就考虑到了大型模型参数调优的各种实际情况，并逐一针对它们设计了解决方案。
Tigeraus·2020-07-29 08:41

机器学习工程师心得：特征工程比超参数调优更重要

事实上，特征工程比超参数调优更重要，这是作为一个教训和一个重要的提醒而言的，这将彻底改变在构建任何机器学习模型之前处理问题和数据的方式。
Wang_AI·2020-07-29 04:44

JVM参数调优

说明：原文参考蚂蚁课堂余胜军老师。Java虚拟机原理所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机，大名鼎鼎的VisualBox、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机典型代码就是Java虚拟机，它专门为执行单个计算程序而计算，在Java虚拟机中执行的指令我们
Garry1115·2020-07-29 03:57

WAS的一些重要调优参数

尤其是应用程序的优化，通过对应用程序中影响性能的部分进行重新的设计和调整，往往能够带来比单纯的参数调优更为巨大的性能提升。
zhenglib18·2020-07-29 03:23

JVM 参数调优

JVM参数调优某大型（bat）公司推荐的调优方案最终推荐的jvm模版##垃圾回收器首先：熟悉jvm的几个垃圾回收器，如下图。
yanghaibobo110·2020-07-29 01:22

hadoop的调优参数，性能优化

~~Hadoop性能调优，性能优化~~核心答案讲解：Hadoop参数调优一、hdfs-site.xml配置文件1、dfs.blocksize参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位
世俗人。·2020-07-28 23:46

日均百万JVM调优设置

日均百万JVM调优设置JVM参数调优是个很头痛的问题，设置的不好，JVM不断执行FullGC，导致整个系统变得很慢，网站停滞时间能达10秒以上，这种情况如果没隔几分钟就来一次，自己都受不了。
没意思,·2020-07-28 23:37

机器学习入门笔记(1):墨尔本房价预测-决策树模型使用

注：本文为MachineLearning的个人学习笔记，学习站点：Kaggle.com搭建一个最简单的机器学习模型仅需3步：收集数据，数据清洗；特征工程；模型选择、整合，参数调优；收集数据墨尔本市房产信息数据都存放在这个
euston01·2020-07-28 22:49

记一次STS.ini参数调优--合理设置JVM参数值

个人的sts.ini方案以及后面的详细说明sts.ini方案：-startupplugins/org.eclipse.equinox.launcher_1.5.400.v20190515-0925.jar--launcher.libraryplugins/org.eclipse.equinox.launcher.win32.win32.x86_64_1.1.1000.v20190125-2016-
小小孟啊·2020-07-28 20:57
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他