参数调优

大数据开发的高质量面试题

l技术难度二：实时处理时的常见内存溢出问题和参数调优。l技术难度
SmartBrain·2019-03-13 15:30

Hive性能调优方法--（王家林视频教程) 学习笔记

的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化，而不会革命性的优化Hive的性能，产生这种现象的原因有：历史原因和思维定势：大家学习SQL的时候一般都是单机Database，这个时候性能优化技巧确实主要是SQL语法和参数调优
Lynn_Yuan·2019-03-05 09:41

Linux内核 TCP/IP、Socket参数调优

原文地址：https://www.cnblogs.com/zengkefu/p/5749009.htmlDoc1:/proc/sys/net目录所有的TCP/IP参数都位于/proc/sys/net目录下（请注意，对/proc/sys/net目录下内容的修改都是临时的，任何修改在系统重启后都会丢失），例如下面这些重要的参数：参数（路径+文件）描述默认值优化值/proc/sys/net/core/r
cn_yaojin·2019-02-28 14:38

JVM（Java Virtual Machine）

写代码使得分别出现StackOverflowError和OutOfMemoryErrorJVM的常用参数调优你了解吗？内存快照抓取和MAT分析hprof文件干过吗？
嘤 嘤 嘤·2019-02-17 20:14

决策树（十三）--XGBoost参数调优完全指南

转自：https://blog.csdn.net/han_xiaoyang/article/details/526653961.简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。
Eason.wxd·2019-02-15 01:16

查询截取分析

比如超过5秒钟的就是慢SQL，并将它抓取出来3、explain+慢SQL分析4、showprofile查询sql在MySQL服务器里面的执行细节和生命周期情况5、运维经理ordba进行sql数据库服务器的参数调优
史赞·2019-02-13 23:16

spark调优

sparks调优参数调优参数虽名目多样，但最终目的是提高CPU利用率，降低带宽IO，提高缓存命中率，减少数据落盘。
小小的_我·2019-02-13 09:52

RocketMQ-4.4.0集群安装

rocketmq/tree/release-4.4.0将rocketmq-master导入到Eclipse中，编译：mvn-Prelease-all-DskipTestscleaninstall-U系统参数调优使用
pigcoffee·2019-01-25 15:01

JVM参数调优(一)

过了段时间没写日志了，今天有空写下，下面写的是jvm相关的概念及调优，开发的朋友平时可以读读其他的书，比如散文方面，为人处世方面的。1、-XX:+PrintGC每次触发GC的时候打印相关日志-XX:+UseSerialGC串行回收-XX:+PrintGCDetails更详细的GC日志-Xms堆初始值-Xmx堆最大可用值-Xmn新生代堆最大可用值-XX:SurvivorRatio用来设置新生代中ed
browser123·2019-01-24 11:22

算法工程师的生存危机，我们怎么破？

大部分人在入门后便进入漫长的平台期，把日子耗在无穷尽的参数调优中。如何破解算法工程师的危机，找
阿里技术_·2019-01-23 08:00

算法工程师的生存危机，我们怎么破？

大部分人在入门后便进入漫长的平台期，把日子耗在无穷尽的参数调优中。如何破解算法工程师的危机，找
阿里技术_·2019-01-23 08:00

[Python嗯~机器学习]---用python3来分析和预测加州房价

加州房价分析和预测步骤1、分析工作内容2、获得数据3、分析和预处理数据4、选择模型并训练5、参数调优6、描述我们最终方案7、上线我们的系统数据集的几个来源1、加州大学欧文分校机器学习数据库2、Kaggle
暴走的鹏鹏哥哥·2019-01-14 09:54

Hive常用参数调优(较全)

1、limit限制调整一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，避免这种情况---对数据源进行抽样sethive.limit.optimize.enable=true---开启对数据源进行采样的功能sethive.limit.row.max.size---设置最小的采样容量sethive.limit.optimize.limit.file---
SunWuKong_Hadoop·2019-01-09 16:15

HBase LRUBlockCache与BucketCache二级缓存机制原理剖析与参数调优

本文章来自转载，转载地址：https://juejin.im/post/5bfd666a6fb9a049ea38a55a在此需要着重感谢华为的架构师秦凯新大佬1BlockCache唯一性一个RegionServer只有一个BlockCache。BlockCache的诞生就是用来优化读取性能的。HBaseBlock目前主要有DATA，ENCODED_DATA，META，FILE_INFO，ROOT_
快看，阳光！·2018-12-24 15:00

天翼云RDS试用系列之二----使用天翼云RDS需注意的主要事项

默认天翼云的数据库时区在0区，与中国相隔8个时区，最后你会根据自己对mysql数据库的理解程度结合业务实际情况对数据库的一些高级参数进行调整，大概就是这些吧，下面我将就以上这些操作从创建用户包括权限分配、RDS参数调优
新兴ICT项目支撑·2018-12-24 13:42

JVM体系结构（上）

3.JVM常用参数调优有哪些？4.内存快照抓取和MAT分析DUMP文件5.GC的四种算法正文开始JVM的位置：JVM运行在操作系统之上的，与硬件没有直接的交互。-----------------
磨剑十年，只挥剑一次·2018-12-20 17:30

IDEA与eclipse:vm参数调优笔记

原文链接：http://www.cnblogs.com/yswyzh/p/10138699.html我的电脑配置12G内存，64位，win10系统。首先，idea，是在idea中安装目录下的bin目录下面找到idea64.exe.vmoptions，要是有32位的同学注意找到idea32.exe.vmoptions的文件去编辑。更改文件，无非大多数情况下就是堆和栈的溢出或者编码格式问题。如果出现堆
aigan8070·2018-12-18 17:00

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。
极客Array·2018-12-14 23:43

XGBRegressor 参数调优

摘自大黄有故事https://yq.aliyun.com/articles/572590这一篇博客的内容是在上一篇博客Scikit中的特征选择，XGboost进行回归预测，模型优化的实战的基础上进行调参优化的，所以在阅读本篇博客之前，请先移步看一下上一篇文章。我前面所做的工作基本都是关于特征选择的，这里我想写的是关于XGBoost参数调整的一些小经验。之前我在网站上也看到很多相关的内容，基本是翻译
csiao_bing·2018-12-12 20:12

JVM参数调优学习笔记

JVM参数调优文章目录JVM参数调优一.OS不同情况的设置二.JVM内存模型及参数调优1.Non-Heap2.Heap三.垃圾收集器选择一.OS不同情况的设置一般情况下，64位的OS性能比32位的好。
Sucre_yy·2018-12-08 00:05

一次性能测试调优总结

调优过程在压测时首先要排除的是高消耗SQL（经过AWR报告分析后HSC没有出现高消耗SQL）本次SZ割接压测经过以下几个关键点的调优：1)脚本参数调优（数据已存在，字段值太长错误较多调节脚本参数模式及参数长度
小强测试·2018-11-29 09:59

mysql如何分析sql执行效率和进行效率优化

、开启慢查询日志，设置阈值，比如超过5秒钟就是慢sql，并将它抓取出来；步骤3、explain+慢sql分析；步骤4、showprofile；（推荐）步骤5、运维经理或dba，进行sql数据库服务器的参数调优
PacosonSWJTU·2018-11-27 22:35

springcloud参数调优

Tomcat配置参数server:tomcat:max-connections:0max-threads:0Hystrix配置参数#如隔离策略是THREAD：hystrix.threadpool.default.coreSize:10hystrix.threadpool.default.maximumSize:10hystrix.threadpool.default.maxQueueSize:-1
风情客家__·2018-11-22 17:29

TCP连接与参数调优详解

在TCP/IP协议中，TCP协议提供可靠的连接服务，采用三次握手建立一个连接。第一次握手：建立连接时，客户端发送syn包(syn=x)到服务器，并进入SYN_SEND状态，等待服务器确认；第二次握手：服务器收到syn包，必须确认客户的SYN（ack=x+1），同时自己也发送一个SYN包（syn=y），即SYN+ACK包，此时服务器进入SYN_RECV状态；第三次握手：客户端收到服务器的SYN＋AC
qq5a7b1104dca7a·2018-11-21 00:26

Spark ML Pipeline模型选择及超参数评估调优深入剖析 -Spark商业ML实战

模型选择同样可以基于整套流水线进行参数调优
weixin_34168880·2018-11-18 03:24

hive 常用知识点

hive-1.2.1支持`insert,update,delete`的配置hive表中的锁基本知识导入数据到hive表load命令orc格式表map,reduce知识hive优化hiveonspark知识参数调优字符串处理
ikeguang·2018-11-04 21:02

hive on spark 性能参数调优

select*fromstg_bankcard_auth_applywherelength(idcardno)>=1andlength(idcardno)>setspark.master=yarn-client;sethive.execution.engine=spark;setspark.eventLog.enabled=true;setspark.eventLog.dir=hdfs://mas
Ebaugh·2018-11-03 10:51

Java web知识点

Velocity,FreeMarker持久层技术——JDBC，MyBatis,HibernateSpring,SpringMVC项目构建工具Maven日志Log4j版本控制Git数据库技术：SQL语句参数调优操作系统
今天的技术超过许嵩了吗？·2018-11-03 10:33

Deep Learning.ai学习笔记_第二门课_改善深层神经网络：超参数调试、正则化以及优化

目录第一周（深度学习的实践层面）第二周（优化算法）第三周（超参数调试、Batch正则化和程序框架）目标：如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习
舞动的心·2018-10-30 15:00

MySQL高级课程

课程目的：写出高质量SQL语句，数据库参数调优，建立使用索引1.MySQL架构介绍高级内容包括：内核可以优化改写，服务器配置文件可以优化改写，参数常量优化，sql优化，主从复制，软硬件升级，容灾备份，sql
0x2333·2018-10-27 23:20

php.ini参数调优

php.ini参数调优无论是Apache还是Nginx，php.ini都是适合的，而php-fpm.conf适合nginx+fcgi的配置1、打开php的安全模式PHP的安全模式是个非常重要的PHP内嵌的安全机制
long9617·2018-10-14 17:28

贝叶斯优化: 一种更好的超参数调优方式

简介本文受浅析Hinton最近提出的Capsule计划启发，希望以更通俗的方式推广机器学习算法，让有数学基础和编程能力的人能够乐享其中。目前人工智能和深度学习越趋普及，大家可以使用开源的Scikit-learn、TensorFlow来实现机器学习模型，甚至参加Kaggle这样的建模比赛。那么要想模型效果好，手动调参少不了，机器学习算法如SVM就有gamma、kernel、ceof等超参数要调，而神
This is bill·2018-10-08 13:03

JVM架构和GC垃圾回收机制详解

JVM架构图分析下图：参考网络+书籍，如有侵权请见谅（想了解Hadoop内存溢出请看：Hadoop内存溢出(OOM)分类、参数调优化）JVM被分为三个主要的子系统（1）类加载器子系统（2）运行时数据区（
JHON07·2018-09-16 17:09

JVM架构和GC垃圾回收机制--面试

JVM架构和GC垃圾回收机制详解JVM架构图分析下图：参考网络+书籍，如有侵权请见谅（想了解Hadoop内存溢出请看：Hadoop内存溢出(OOM)分类、参数调优化）JVM被分为三个主要的子系统（1）类加载器子系统
JHON07·2018-09-16 02:25

JVM架构和GC垃圾回收机制--面试

JVM架构和GC垃圾回收机制详解JVM架构图分析下图：参考网络+书籍，如有侵权请见谅（想了解Hadoop内存溢出请看：Hadoop内存溢出(OOM)分类、参数调优化）JVM被分为三个主要的子系统（1）类加载器子系统
JHON07·2018-09-16 02:25

mysql学习经验&学习资料下载

首先概览下mysql的知识体系：基础：sql语句表结构设计调优：索引、慢查询优化配置参数调优核心原理：InnoDb存储引擎（包括隔离级别
万乐荣·2018-09-12 01:48

java虚拟机（JVM）参数调优

java虚拟机（JVM）参数调优介绍：参数调优主要调堆和垃圾回收机制。一、java内存结构1、内存结构a、方法区（永久区）：static关键字修饰、常量信息当class文件被加载的时候，就会被初始化。
CoderYin·2018-09-05 16:22

手动特征工程已经OUT了！自动特征工程才是改进机器学习的方式

作者|WilliamKoehrsen译者|linstancy编辑|Jane出品|AI科技大本营【导读】近年来，我们在自动模型选择和超参数调优方面取得了进展，但机器学习流程中最重要的方面--特征工程，在很大程度上被我们所忽略
AI科技大本营·2018-09-04 19:20

干货——图像分类（下）

用于超参数调优的验证集首先，来介绍参数和超参数的基本知识。在机器学习或者深度学习领域，参数和超参数是一个常见的问题，个人根据经验给出了一个很狭隘的区分这两种参数的方法。
gzq0723·2018-08-28 11:22

JVM参数调优

参数意义-XX:PermSize分配非堆最小内存，默认为物理内存的1/64；-XX:MaxPermSize分配最大内存，默认为物理内存的1/4。-Xms分配堆最小内存，默认为物理内存的1/64；-Xmx分配最大内存，默认为物理内存的1/4。-Xss规定了每个线程堆栈的大小。一般情况下256K是足够了。影响了此进程中并发线程数大小。实战案例背景JVM垃圾收集机制请参考https://blog.csd
define_us·2018-08-27 13:01

mysql 缓存

table_cache=256#用于限制缓存表的最大数目，如果当前已经缓存的表未达到table_cache，则会将新表添加进来；若已经达到此值，MySQL将根据缓存表的最后查询时间、查询率等规则释放之前的缓存参数调优
雪剑无影·2018-08-25 12:00

【ML】随机森林（Random Forest）

Ref说说随机森林：生动形象，通俗易懂随机森林（原理/样例实现/参数调优）:各个术语、参数讲解的很明白随机森林原理介绍与适用情况（综述篇）:嗯，分门别类总结的很到位
鹅城惊喜师爷·2018-08-24 10:27

XGBoost参数调优完全指南（附Python代码）

xgboost入门非常经典的材料，虽然读起来比较吃力，但是会有很大的帮助：英文原文链接:https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/原文地址：CompleteGuidetoParameterTuninginXGBoost(withcode
chaaffff·2018-08-23 10:03

监督学习应用--Titanic数据建模

监督学习建模流程监督学习包括数据采集、数据处理、模型搭建及训练、模型测试、参数调优等阶段。这是一个不断反馈不断循环的过程。
dyna_lidan·2018-08-22 11:31

hive的基础知识以及参数调优

hive的基础知识数据类型基本数据类型数据类型长度tinyint1bytesmalint2byteint4bytebigint8bytebooleantrue或者falsefloat单精度浮点型double双精度浮点型string字符序列用单引号或者双引号timestamp整数，浮点数，字符串binary字节数组集合数据类型数据类型描述structstruct(firststring,lastst
_RyomaXu·2018-08-20 20:33

信息收集之端口扫描 -- Amap

.-6使用IPv6，默认使用IPv4扫描参数调优1.-R不识别RPC服务。默认识别RPC服务。（识别RPC服务时，会多次创建与目标机器端口的连接来识别RPC服务的类型和版本，耗费时间且易被发现）2.
Owefsad·2018-08-14 13:34

用python创建的神经网络--mnist手写数字识别率达到98%

周末根据TariqRashid大神的指导，没有使用tensorflow等框架，用python编写了一个三层神经网络，并应用再mnist手写库识别上，经过多方面参数调优，识别率竟然达到了98%。
周雄伟·2018-08-11 22:39

机器学习——什么时候需要显式的划分出“验证集”

但是假如要使用k折交叉验证来为模型进行超参数调优而言，是不需要显式的将数据集划分出“验证集”的。
JiaShengLiu111·2018-08-10 15:40

吴恩达.深度学习系列-C2神经网络进阶-W3超参数调优、批量归一与程序框架

单词学习目标1.超参数调优Hyperparametertuning1.1.调优过程Tuningprocess1.2.在合适的尺度上选择超参数Usinganappropriatescaletopickhyperparameters1.3
路飞在福州·2018-08-03 18:16

深度学习之textCNN（五）

本文主要介绍CNN在自然与言处理（文本分类）上的使用，主要分为几个结构（１）专有名词介绍（２）模型介绍（３）应用举例（４）参数调优一、专有名词介绍wordvector：词向量、将词汇转换成向量，例如将china
知然刘旭·2018-08-03 09:56
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他