LearningRate

超参数，判别生成模型，Metrics，梯度消失，正则化，VGG优点，dropout，GD和牛顿法，GD系列

超参数和参数参考这篇博客参数是模型自己学习的部分，比如卷积核的weight以及bias超参数是根据经验设定使得模型具有好的效果的参数，CNN中常见的超参数有：1卷积层层数2全连接层层数3卷积核size4卷积核数目5learningrate6
WeissSama·2018-10-19 20:54

Python机器学习（三）：梯度下降法

其中这个常数η称为学习率（LearningRate）。η为LearningRate多元线性回归中的梯度下降求梯度二元时可以把变
weixin_34190136·2018-10-03 22:00

tensorflow中实现自动、手动梯度下降：GradientDescent、Momentum、Adagrad

learningrate、step、计算公式如下：在预测中，x是关于y的变量，但是在train中，w是L的变量，x是不可能变化的。
秦伟H·2018-09-29 16:26

Pytorch中的optimizer

怎样构造Optimizer要构造一个Optimizer，需要使用一个用来包含所有参数（Tensor形式）的iterable，把相关参数（如learningrate、weig
gdymind·2018-09-14 21:48

深度学习超参数理解

1：learningrate（）学习率决定了权值更新的速度，在迭代更新权值的过程中，设置过大容易使训练的模型跨过最优值，导致过拟合；设置过小会使梯度下降过程过慢。这个参数是根据经验和不断实验来设置。
jiang_ming_·2018-09-11 19:49

Chapter 2 线性回归与多元变量 (reading notes)

Multivariatelinearregression（多元线性回归）1.1Gradientdescentinpractice1.1.1Featurescaling（特征缩放）1.1.2Meannormalization（均值归一化）；1.1.3Learningrate1.2
Andrew*·2018-09-10 16:45

Chapter 2 线性回归与多元变量 (reading notes)

Multivariatelinearregression（多元线性回归）1.1Gradientdescentinpractice1.1.1Featurescaling（特征缩放）1.1.2Meannormalization（均值归一化）；1.1.3Learningrate1.2
Andrew*·2018-09-10 16:45

python实现机器学习之多元线性回归

一元线性回归实现代码下面是多元线性回归用Python实现的代码：importnumpyasnpdeflinearRegression(data_X,data_Y,learningRate,loopNum
婉如·2018-09-06 16:20

python实现机器学习之元线性回归

一、理论知识准备1.确定假设函数如：y=2x+7其中，（x，y）是一组数据，设共有m个2.误差cost用平方误差代价函数3.减小误差（用梯度下降）二、程序实现步骤1.初始化数据x、y：样本learningrate
婉如·2018-09-06 15:50

常鸿量化机第三周周报

首先，上一周没有完成的线性回归价格线拟合，这周搞定了，y=w*x+b中，用均价作为b的值，降低LearningRate很快就可以拟合。
CCH陈常鸿·2018-08-21 08:59

神经网络最优化方法总结比较

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）学习率方法缺点优点经验手动设置学习率SGD(mini-batchgradientdescent)选择合适的learningrate
Muzi_Water·2018-08-06 14:53

深度学习超参数简单理解：learning rate,weight decay和momentum

LearningRate学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案。
Oliver Cui·2018-07-18 10:49

tf.train.exponential_decay()函数(指数衰减率的定义)

在Tensorflow中,为解决设定学习率(learningrate)问题，提供指数衰减法来解决。通过tf.train.exponential_decay函数实现指数衰减学习率。
GeorgeAI·2018-07-13 00:00

learning rate 调整方法

在模型训练DL模型时，随着模型的epoch迭代，往往会推荐逐渐减小learningrate，在一些实验中也证明确实对训练的收敛有正向效果。
hellocsz·2018-06-29 18:21

2018-06-13

上午发现没有train下去，输出的featuremap全是一样的值，但是取出weight也没出现全相同的情况，后来发现是learningrate的原因，太大了，但是后面不也decay了吗？玄学。
GoDeep·2018-06-13 19:44

Tensorflow中tf.train.exponential_decay函数(指数衰减法)

在神经网络的训练过程中，学习率(learningrate)控制着参数的更新速度，tf.train类下面的五种不同的学习速率的衰减方法。
ddy_sweety·2018-06-12 17:26

深度学习（DL）基本概念

深度学习中的batchsize、epochs、learningrate、momentum、iteration/step几个术语，这里整理一下，1.batchsize：批大小，每次训练给神经网络喂入的数据量大小
qingdujun·2018-06-10 10:58

深度学习: 学习率 (learning rate)

深度学习:学习率(learningrate)Introduction学习率(learningrate)，控制模型的学习进度：lr即stride(步长)，即反向传播算法中的ηη：ωn←ωn−η∂L∂ωnωn
liulina603·2018-06-07 09:52

tensorflow中常用学习率更新策略

神经网络训练过程中，根据每batch训练数据前向传播的结果，计算损失函数，再由损失函数根据梯度下降法更新每一个网络参数，在参数更新过程中使用到一个学习率（learningrate），用来定义每次参数更新的幅度
-牧野-·2018-04-20 13:39

梯度优化 SGD， BGD，MBD，Adagrad，Adadelta，Momentum，NAG，牛顿法

在腾讯的笔试题中，作者遇到了这样一道题：下面哪种方法对超参数不敏感：1、SGD2、BGD3、Adadelta4、Momentum神经网络经典五大超参数:学习率(LearningRate)、权值初始化(WeightInitialization
碧影江白·2018-04-09 21:49

【tensorflow】】模型优化（一）指数衰减学习率

在训练神经网络时，需要设置学习率（learningrate）控制参数的更新速度，学习速率设置过小，会极大降低收敛速度，增加训练时间；学习率太大，可能导致参数在最优解两侧来回振荡。
亮亮兰·2018-03-28 21:12

Adaptive linear neurons model 线性神经元 运用梯度下降法 进行代价函数的最优化

利用梯度下降法最优化costfunctionJ（w）对于w求偏导：=所以w更新为代码中即：self.w_[1:]+=self.eta*(X.T).dot(y-output)output=X点乘W权值w更新=eta(learningrate
Amy_mm·2018-03-23 15:37

Adaptive linear neurons model 线性神经元 运用梯度下降法 进行代价函数的最优化

利用梯度下降法最优化costfunctionJ（w）对于w求偏导：=所以w更新为代码中即：self.w_[1:]+=self.eta*(X.T).dot(y-output)output=X点乘W权值w更新=eta(learningrate
Amy_mm·2018-03-23 15:37

线性回归、预测回归、一般回归

平方误差代价函数我们的目标就是让J()尽可能的小梯度下降:=是赋值的意思αα是指learningrate(学习速度)对theta求导（斜率），theta在左半边的时候，斜率为负，所以theta会向右更新
Meyayron·2018-02-06 10:17

深度学习: 如何训练网络

合理的学习率学习率，learningrate，控制模型的学习进度。在训练过程中，根据训练轮数，合理设置动态变化的
JNingWei·2018-02-03 15:03

深度学习: 学习率 (learning rate)

Introduction学习率(learningrate)，控制模型的学习进度：lr即stride(步长)，即反向传播算法中的ηη：ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn学习率大小学习率大学习率小学习速度快慢使用时间点刚开始训练时一定轮数过后副作用
JNingWei·2018-02-02 00:00

机器学习调参经验：学习速率、正则项系数、minibatch size

学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。
class_brick·2018-01-11 16:10

超参数调优

超参数调优超参数调优我们以learningrate和正则强度为例介绍搜索策略一般的超参数调优采用分阶段搜索的方式，1.最开始定义一个广泛的搜索区间，以learningrate为例，可以选取[1e-3,1e
lanmengyiyu·2018-01-08 23:23

Tensorflow 常见函数说明

常见参数说明epoch：整个数据集，通常几个epoch，就会完整跑几轮数据集（但随机取样时不一定会全用）batch:一次训练的数据集大小，常见的128,256,…learningrate:学习速度常见函数说明获取
lainegates·2017-12-18 15:59

深度学习总结(七)——调参经验

关键词：Relu，batchnorm，dropout，adam，LearningRate设置合理观察loss胜于观察准确率，Loss设计要合理，对比训练集和验证集的loss；Relu可以很好的防止梯度弥散问题
manong_wxd·2017-12-06 21:42

深度学习总结(四)——正则项系数、Batch_size设置

1.正则项系数（λ）的设置建议一开始将正则项系数λ设置为0，先确定一个比较好的learningrate。
manong_wxd·2017-12-06 20:28

梯度下降法快速教程 | 第三章：学习率衰减因子（decay）的原理与Python实现

但是如何调整搜索的步长（也叫学习率，LearningRate）、如何加
LeadAI学院·2017-12-01 00:00

梯度下降法快速教程 | 第二章：冲量（momentum）的原理与Python实现

但是如何调整搜索的步长（也叫学习率，LearningRate）、如何加快收敛速度以及如何防止搜索时发生震荡却是一
LeadAI学院·2017-11-30 00:00

4用于cifar10的卷积神经网络-4.25/4.26Tensorflow中的四种学习率衰减方法(上/下)

TensorFlow中的可变学习率1、exponential_decay指数式衰减：功能：对输入学习率learningrate实现指数衰减。
hongxue8888·2017-11-28 00:00

cs231n assignment(1.2) svm分类器

SVM分类器练习的宗旨在于：实现全向量模式的SVM损失函数实现全向量模式的SVM梯度使用数值检测来检测结果使用验证集来调试学习率（learningrate)和正则强度(regularizationstrength
小杨cafe·2017-11-07 14:37

深度学习资料记录

NMS(非极大值抑制)：FCN:深度学习调参的小技巧：YOLO里面一些参数含义:深度学习中出现nan的情况：过拟合基于深度学习的视频方法法与人体行为识别几种常见激活函数梯度爆炸和梯度消失one-hot编码learningrate
gzj_1101·2017-11-02 11:42

【机器学习】回归分析、过拟合、分类

weight，可以转换为如下形式为了更好回归，定义损失函数，并尽量缩小这个函数值，使用MSE方法（meansquareequal）缩小方法采用梯度下降法，即不断地向现在站立的山坡往下走，走的速度就是学习速率η（learningrate
水奈樾·2017-10-23 09:00

tensorflow 调试技巧汇总

learningrate当发现loss下降，然后又开始上升。很可能是learningrate到后面太大导致的缘故。
cjopengler·2017-10-18 15:47

第2次课改善深层神经网络：超参数优化、正则化以及优化 - week3 超参数调试、Batch正则化和程序框架

1.调试处理超参数重要性排序学习速率(learningrate)α动量权重β=0.9，隐藏层节点数，mini-batchsize层数，learningratedecayAdam优化算法的参数β1=0.9
Asun0204·2017-09-30 11:57

TensorBoard 计算图的可视化

简介tensorflow配套的可视化工具,将你的张量图画出来.当训练一个巨大的网络的时候,计算图既复杂又令人困惑.TensorBoard提供了一系列的组件,可以看到learningrate的变化,看到objectivefunction
yichudu·2017-08-30 09:50

Batch Gradient Descent(python)

importnumpyasnpimporttensorflowastfdefGradientDescent(x,y,theta):m,n=x.shape#mis#trainingexample,whilenis#featureforjinrange(n):#learningrate
darkomg·2017-07-21 20:42

Coursera吴恩达机器学习课程 总结笔记及作业代码——第1,2周

Linearregression1Modelrepresentation2Costfunction3Gradientdescent4Gradientdescentforlinearregression1Mul2plefeatures2FeatureScaling3Learningrate4Featuresandpolynomialregression5Normalequa2on
启人zhr·2017-04-23 20:23

深度学习（deep learning）优化调参细节（trick）

同时为了使每一层的激励值保持一定的方差，我们在初始化参数（不包括偏置项）的方差可以与输入神经元的平方根成反比学习率（learningrate
张月鹏·2017-04-22 23:10

深度学习超参数简单理解------>learning rate,weight decay和momentum

LearningRate学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基
算法学习者·2017-04-07 19:11

神经网络训练技巧

可以先设为0，选好learningrate，再将正则系数增大或者缩
Yingying_code·2017-03-05 21:02

caffe中batch_norm层代码详细注解

caffe中batch_norm层代码注解一：BN的解释：在训练深层神经网络的过程中,由于输入层的参数在不停的变化,因此,导致了当前层的分布在不停的变化,这就导致了在训练的过程中,要求learningrate
Tiger-Gao·2016-09-18 17:08

loss=nan解决办法

好像知道为什么这样就可以，learningrate到底是怎么影响整个网络的捏？
小胖蹄儿·2016-07-25 17:08

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

（本文会不断补充）   学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就
qq_26898461·2016-04-21 15:00

《机器学习（周志华）》习题3.3答案

本题用theano实现，调参时，learningrate设为1，更大则cost会出现震荡，迭代次数设为10000可收敛，但是，训练效果并不好，最高准确率也只有70%。简单分析，根据前面knn和决策
Wiking__acm·2016-04-05 13:00

《机器学习（周志华）》习题3.3答案

本题用theano实现，调参时，learningrate设为1，更大则cost会出现震荡，迭代次数设为10000可收敛，但是，训练效果并不好，最高准确率也只有70%。简单分析，根据前面knn和决策
wiking__acm·2016-04-05 00:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他