小批量正则化

深度神经网络的不确定性（下）

目录不确定性的测量和质量估计分类任务中的不确定性测量分类任务中的数据不确定性测量分类任务中的模型不确定性测量分类任务中的分布不确定性完备数据集性能测量估计回归任务中的不确定性测量回归任务中的数据不确定性测量回归任务中的模型不确定性估计分割任务中的不确定性校准校准方法正则化方法后处理方法不确定性估计校准方法估计校准质量数据集与
视言·2022-12-14 11:59

因果模型五：用因果的思想优化风控模型——因果正则化评分卡模型

因果模型五：用因果的思想优化风控模型——因果正则化评分卡模型一、模型中的因果和相关二、不可知样本选择偏差三、因果推断四、因果与评分卡的融合五、模型效果评估5.1人工合成数据效果测试5.2YFCC100M
白白的一团团·2022-12-14 11:26

优化器模块

计算的loss使用到的数据量的大小)，可以将梯度下降法分成批梯度下降法(BatchGradientDescent，BGD)、随机梯度下降法(StochasticGradientDescent,SGD)和小批量梯度下降
沙小菜·2022-12-14 09:03

分析三种近场通信技术的特点，对未来近场通信技术的应用场景进行分析与预测

通过NFC技术，可以实现Android设备与NFCTag(target的简写）或其他Android设备之间小批量数据的传输。NFC可以在移动设备、消费类电子产品
laonanhai0902·2022-12-14 08:21

【深度学习基础】从零开始的炼丹生活08——卷积网络

往期回顾：05——深度前馈网络、神经网络概述06——深度学习中的正则化07——深度模型中的优化学习了基本的神经网络结构，以及如何进行正则化和优化之后，我们接下来转向特化的神经网络家族，允许其扩展到能够处理很大规模的数据和具有特殊结构的数据
wby1905·2022-12-14 07:38

297个机器学习彩图知识点（7）

1.均方误差2.均值漂移3.小批量随机梯度4.损失函数最小值5.闵可夫斯基距离6.参数化建模7.偏导数8.相关系数9.感知机学习10.感知机11.普拉托变换12.多项式回归13.幂函数求导14.精确度15
冷冻工厂·2022-12-14 06:45

《特征工程入门与实践》--特征选择

特征选择元指标特征选择的类型:基于统计的特征选择皮尔逊相关系数假设检验基于模型的特征选择使用机器学习选择特征针对基于树的模型线性模型和正则化《特征工程入门与实践》-特征选择元指标元指标是指不直接与模型预测性能相关的指标
「已注销」·2022-12-14 05:11

神经网络与深度学习：人工神经网络（下）

人工神经网络（下）1.小批量梯度下降法1.1批量梯度下降1.2随机梯度下降1.3小批量梯度下降2.梯度下降法的优化2.1小批量样本的选择2.2批量大小2.3学习率2.4梯度3.Keras和tf.Keras4
Twinkle1231·2022-12-14 01:26

机器学习——支持向量机——软间隔与正则化

上篇文章我们介绍以及推导了SVM的基本型,如果对数学求解过称已经很清楚的化,我们这一篇的篇幅会小很多，所以我们这里也介绍一下核函数.支持向量机简述硬间隔与支持向量文章目录软间隔0/1损失函数的引入介绍几种替代损失函数正则化核函数核函数定义几种常用的核函数总结软间隔软间隔与硬间隔的区别就是数据近似线性可分
rookie g·2022-12-14 01:22

机器学习——支持向量机——硬间隔与支持向量

支持向量机简述软间隔与正则化，核函数文章目录前言一、超平面公式引出二、最大间隔三,优化约束,拉格朗日函数,对偶问题四,最优超平面五,求解最优超平面前言硬间隔就是我们的数据线性可分的情况，是一种比较理想的模型
rookie g·2022-12-14 01:51

NNDL 作业12：第七章课后题

目录习题7-1在小批量梯度下降中，试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中，说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同
五元钱·2022-12-13 15:31

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络
五元钱·2022-12-13 15:01

实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比编程实现下面的动画并添加Adam7.3不同优化算法
岳轩子·2022-12-13 15:30

作业12：第七章课后题

目录习题7-1在小批量梯度下降中，试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中，说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中，权重衰减正则化和L_{2}正则化的效果相同
岳轩子·2022-12-13 15:25

DRCNN：超越高斯去噪:深度CNN图像去噪的残差学习

在本文中，我们通过研究前馈去噪卷积神经网络(DnCNNs)的构造向前迈进了一步，将非常深入的架构、学习算法和正则化方法融入到图像去噪中。具体来说，利用残差学习和批归一化来加速训练过程，提高去噪性能。
mytzs123·2022-12-13 07:16

神经网络迁移学习以及神经网络中间的各种参数（优化器，学习率，正则化）

迁移学习：本质上是重用预训练层，是通过类似的已经训练过的模型进行重组。目的：使用迁移学习，使用部分已经存在的模型，这样子可以增加训练速度与减少参数的训练量，这里利用的是已存在的模型的权重这一信息。注意：如果两个model之间有共享层的话，当一个model的参数改变，那么会影响另一个model的权重，可以通过clone_model进行操作。keras.clone_model(),clone.set_
羊咩咩咩咩咩·2022-12-13 01:32

《神经网络与深度学习》算法伪代码汇总

目录第三章线性模型算法3.1两类感知器的参数学习算法算法3.2一种改进的平均感知器参数学习算法算法3.3广义感知器参数学习算法第四章前反馈神经网络算法4.1使用反向传播算法的随机梯度下降训练过程第七章网络优化与正则化算法
是一个小迷糊吧·2022-12-12 18:06

第7章 网络优化与正则化

搭建神经网络的两个难点：（1）优化问题：首先，神经网络的损失函数非凸，找到全局最优解通常比较困难．其次，深度神经网络的参数非常多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法，而一阶优化方法的训练效率通常比较低．此外，深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效．（2）泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，容易在训练集上产生过拟合．因此需要
Finch4422·2022-12-12 18:01

HBU-NNDL 作业12：第七章课后题

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.在小批量梯度下降中：令，则：因此我们要使得参数最优，则为最优的时候的常数，故学习率要和批量大小成正比。
不是蒋承翰·2022-12-12 18:59

改善深度学习算法：优化（Optimization）与正则化（Regularization）

大多数人通常将生命周期的这一部分称为优化（Optimization），但实际上，它还包括深度学习理论的另一个重要领域：正则化（Regularization）。为了了解优化和正则化在深度学习模型中的作
CA727·2022-12-12 18:26

神经网络与深度学习（八）网络优化与正则化（3）不同优化算法比较

7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化的重要因素。神经网络优化中常用的优化方法也主要是如下两方面的改进，包括：学习率调整：主要通过自适应地调整学习率使得优化更稳定。这类算法主要有AdaGrad、RMSprop、AdaDelta算法等。梯度估计修正：主要通过修正每次迭代时估计的梯度方向来加快收敛速度。这类算法主要有动量法、Nesterov加
冰冻胖头鱼·2022-12-12 18:55

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化
HBU_Hbdwhb·2022-12-12 18:24

NNDL 作业12：第七章课后题

目录习题7-1习题7-2习题7-9总结ref习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.要使得参数最优，所有可以明显看出学习率，要和批量大小成正比。
沐一mu·2022-12-12 18:54

数据归一化处理方法_数据预处理：标准化，归一化，正则化

1.归一化（Normalization）归一化(Resaling)一般是将数据映射到指定的范围，用于去除不同维度放入量纲以及量纲单位。常见的映射范围有[0,-1]和[-1,1],最常见的归一化方法就是Min-Max归一化：涉及距离度量、协方差计算时不能应用这种方法，因为这种线性等比例缩放无法消除量纲对方差、协方差的影响。min_max_scaler2.标准化（Standardization）最常见
weixin_39937524·2022-12-12 17:06

【集成学习-组队学习】4.对模型超参数进行调优(调参)

对模型超参数进行调优(调参)：之前的讨论中，对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。
L1315382539·2022-12-12 16:48

17. 权重衰退（weight_decay）

之前描述了过拟合的问题，现在介绍一些正则化模型的技术。正则化：凡事可以减少泛化误差而不是减少训练误差的方法，都可以称作正则化方法。我们总是可以通过去收集更多的训练数据来缓解过拟合。
chnyi6_ya·2022-12-12 14:56

权重衰退（L2正则化）-处理过拟合方式之一

权重衰退权重衰减（weightdecay）是最广泛使用的正则化的技术之一，它通常也被称为2正则化。
囇殇·2022-12-12 14:51

Python数据分析之机器学习：回归

目录一、前情回顾二、回归的评价指标三、回归算法概述1、线性回归——最小二乘法求解回归系数2、进化线性回归——正则化（抑制过拟合）2.1L2范数正则化（RidgeRegression，岭回归）2.2L1范数正则化
啊心个。·2022-12-12 12:08

Python数据分析之特征工程

插值根据不同特征值的具体形式处理二、特征预处理1、特征选择——剔除与标注不相关或者冗余的特征过滤思想（设置过滤的阈值）包裹思想（递归特征消除法算法—RFE—resavefeatureelimination）嵌入思想（正则化
啊心个。·2022-12-12 12:38

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

NNDL实验八网络优化与正则化（3）不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性
Perfect(*^ω^*)·2022-12-12 12:37

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络优化的重要因素。神经网络优化中常用的优化方法也主要是如下两方面的改进，包括：学习率调整：通过自适应地调整学习率使得优化更稳定。AdaGrad、RMSprop、AdaDelta算法等。梯度估计修正：通过修正每次迭代时估计的梯度方向来加快收敛速度。动量法、Nesterov加速梯度方法等。本节还会介绍综合学习率
真不想再学了·2022-12-12 11:43

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

NNDL实验八网络优化与正则化（3）不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比，验证正确性
笼子里的薛定谔·2022-12-12 11:10

NNDL 作业12：第七章课后题

习题7-1在小批量梯度下降中，试分析为什么学习率要和批量大小成正比读过的一篇论文：Oneweirdtrickforparallelizingconvolutionalneuralnetworks中，有这样一句话
笼子里的薛定谔·2022-12-12 11:07

NNDL 作业12：第七章课后题

习题7-1:在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.答：在小批量梯度下降中：令，则：因此我们要使得参数最优，则αK\frac{\alpha}{K}Kα为最优的时候的常数，故学习率要和批量大小成正比
Perfect(*^ω^*)·2022-12-12 09:42

神经网络与深度学习（八）网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外，学习率和梯度估计也是影响神经网络
红肚兜·2022-12-12 09:42

NNDL 实验八 网络优化与正则化 （3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验分别实例化自定义SimpleBatchGD优化器和调用torch.optim.SGDAPI,验证自定义优化器的正确性7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化
LzeKun·2022-12-12 09:35

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】ref7.3不同优化算法的比较分析除了批大小
cdd04·2022-12-12 09:35

神经网络与深度学习作业12：第七章课后题

目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性（即公式(7.27)和公式(7.28)).习题7-9证明在标准的随机梯度下降中
红肚兜·2022-12-12 09:01

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】总结参考7.3不同优化算法的比较分析开源项目
Stacey.933·2022-12-12 09:00

NNDL 作业12：第七章课后题

目录习题7-1在小批量梯度下降中，试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中，说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中，权重衰减正则化和编辑正则化的效果相同
cdd04·2022-12-12 09:30

[2022-12-11]神经网络与深度学习 hw12 - 小作业

不知道该起个什么名字task1题目内容题目分析+题目解答题目总结task2题目内容题目分析+题目解答题目总结task3题目内容题目分析+题目解答题目总结写在最后hw12-不知道该起个什么名字task1题目内容在小批量梯度下降中
三工修·2022-12-12 09:59

Lecture7：随机梯度下降算法问题及解决、dropout正则化、学习率的选择、迁移学习

Adam算法2.学习率的选取3.正则化3.1dropout正则化4.迁移学习1.随机梯度下降算法问题及解决1.1随机梯度下降算法SGD的问题回顾之前所学习的内容，训练一个神经网络的核心是一个优化问
Courage2022·2022-12-12 08:24

[2022-12-11]神经网络与深度学习第6章 - 网络优化与正则化

contents网络优化与正则化-不同优化算法比较写在开头不同优化算法的比较分析优化算法的实验设定2D可视化实验简单拟合实验学习率调整AdaGradRMSProp梯度估计修正动量法Adam算法不同优化器的
三工修·2022-12-12 08:52

权重衰减（weight decay）的理解及Tensorflow的实现

权重衰减（weightdecay）的理解及Tensorflow的实现概要公式解析为什么会起作用Tensorflow的实现1.概要：权重衰减即L2正则化，目的是通过在Loss函数后加一个正则化项，通过使权重减小的方式
BIT可达鸭·2022-12-12 03:58

模型调参（一）：weight decay（权重衰减）【“权重衰减”也叫“L1/L2正则化”】【权重衰减系数：正则项系数 λ】【对参数w有影响、对偏置b没影响】【偏置不加正则】

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。
u013250861·2022-12-12 03:27

《动手深度学习》4.5 权重衰减Weight Decay

看图说明正则项(惩罚项)对最优解的影响参数更新的过程代码从零实现生成人工数据参数初始化定义L2范数惩罚(λ\lambdaλ后续添加)训练部分训练结果⭐⭐λ\lambdaλ的选择代码简洁实现理论目的：使用正则化技术缓解过拟合
Mavis00·2022-12-12 03:27

pytorch —— 正则化之weight_decay

1、正则化与偏差-方差分解1.1RegularizationRegularization：减小方差的策略；误差可分解为偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；偏差度量了学习算法的期望预测与真实结果的偏离程度
然后就去远行吧·2022-12-12 03:56

权重衰减（weight decay）与L2正则化

1.权重衰减（weightdecay）L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。
CPFelix·2022-12-12 03:52

权重衰减 weight_decay 是个啥

权重衰减是一种用于训练机器学习模型以防止过度拟合的正则化技术。权重衰减可以应用于模型的参数，以鼓励模型学习更简单和更通用的模式，而不是过度拟合训练数据。
子燕若水·2022-12-12 03:21

深度学习中epoch，batch概念与训练

#深度学习中epoch，batch概念与训练epoch全部数据集训练完为一epochbatch全数据集划分，批数据处理##三种梯度下降优化全梯度下降（公式内包含全部样本集）随机梯度下降小批量梯度下降(Mini-batchgradientdescent
xajt1822·2022-12-11 23:55
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他