小批量正则化

【Paper】Graph Convolutional Networks for Hyperspectral Image Classification

（1）本文从HS图像分类的角度对CNNs和GCNs（定性和定量）进行了深入的研究；（2）针对GCN计算量很大，提出了一种新的小批量
pangpd·2023-01-12 12:11

【学习周报】深度学习笔记第四周

学习目标：深度学习吴恩达lesson2-week3：超参数调试、Batch正则化和程序框架（Hyperparametertuning）深度学习吴恩达lesson3-week1：机器学习（ML）策略（1）
不要卷我啊·2023-01-12 11:18

【论文速递】ECCV2022 - ConMatch：置信度引导的半监督学习

Semi-SupervisedLearningwithConfidence-GuidedConsistencyRegularization获取地址：https://arxiv.org/abs/2208.08631博主关键词：半监督学习，对比学习，一致性正则化摘要
凤⭐尘·2023-01-12 08:07

TensorFlow 训练多个loss函数技巧： 训练步骤，冻结部分层（freeze some scopes），从tensorboard检查问题

训练方式先分别训练第一阶段的两个损失函数固定住第一阶段的网络的参数，只训练第二阶段网络参数调整三个loss函数的正则化参数，减小学习率同
my_chen_smile·2023-01-11 23:09

【论文笔记】—GoogLeNet（Inception-V1）—2015-CVPR

辅助分类头将梯度注入网络浅层实现正则化，实现多层次预测。其后续变种包括BN-Incepti
chaiky·2023-01-11 20:56

XGBoost论文解读

本博客分为三块——正则化的目标函数、切分点查找算法和高效实现，分别对XGBoost原论文的第2、3和4章进行了探讨。正则化的目标函数：XGBoost也是一种提升方法。
拖锡二傻子·2023-01-11 14:47

XGBoost论文阅读

目录1.摘要2.方法2.1正则化学习目标2.2梯度提升树2.3收缩率和列采样2.4分裂点查找算法2.5稀疏数据感知的节点分裂方法3.工程实现3.1用block按列存储每个特征3.2分布式并行加速1.摘要提出了一种新的稀疏性感知算法
Bruce-XIAO·2023-01-11 14:46

L1、L2正则化的比较

L1、L2正则化的比较L1正则化L2正则化作用防止过拟合，获得稀疏解使得权重参数减小，防止过拟合优化问题等价于凸优化问题等价于凸优化问题优化目标在限定区域在到使（误差）取得最小值在限定区域在到使取得最小值图像解释因为切向量始终指向
Bruce-XIAO·2023-01-11 14:46

ocr票据证件信息抽取正则化

Python正则表达式|菜鸟教程Python正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re模块也提
Kun Li·2023-01-11 13:54

图神经网络EEG论文阅读和分析：《EEG-Based Emotion Recognition Using Regularized Graph Neural Networks》

在本文中，提出了一种正则化图神经网络(RGNN)用于基于脑电图的情绪识别。RGNN考虑了不同脑区域之间的生物拓扑结构，以捕捉不同脑电信号通道之间的局部和全局关系。
KPer_Yang·2023-01-11 12:37

对抗训练fgm、fgsm和pgd原理和源码分析

对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力。
谈笑风生...·2023-01-11 10:22

使用超体素上下文和基于图的优化从MLS点云对城市地区的树木进行实例分割

之后，迭代执行基于局部上下文的正则化以在全局图形模型上实现全局最优，以便在空间上平滑语义标记结果。最后，根据语义标记结果进行基于
fish小余儿·2023-01-11 08:15

特征锦囊：今天一起搞懂机器学习里的L1与L2正则化

今日锦囊特征锦囊：今天一起搞懂机器学习里的L1与L2正则化今天我们来讲讲一个理论知识，也是老生常谈的内容，在模型开发相关岗位中出场率较高的，那就是L1与L2正则化了，这个看似简单却十分重要的概念，还是需要深入了解的
Pysamlam·2023-01-11 07:46

无废话的机器学习笔记（番外）（数据集，方差-偏差，过拟合，正则化，降维）

这节介绍一些机器学习中的基本概念，数据集（训练、测试、验证），方差-偏差，过拟合，正则化，降维。
全栈O-Jay·2023-01-11 07:28

深度学习笔记 3 梯度消失和梯度爆炸

目录1.产生原因1.1概念1.2产生原因2.解决方案2.1预训练（适用梯度消失/爆炸）2.2度剪切：对梯度设定阈值（适用梯度爆炸）2.3权重正则化（适用梯度爆炸）2.4选择relu等梯度大部分落在常数上的激活函数
李同学_道阻且行·2023-01-11 06:15

YOLO 系列：YOLO V2模型讲解

CVPR2017)作者使用PascalVoc与ImageNet数据集进行一个联合训练，最终可检测类别超过9000.模型性能：YOLOV2中的各种尝试：BatchNormalization：帮助训练收敛，帮助模型正则化
椰楠liu·2023-01-11 01:42

ML - SVM 支持向量机

文章目录什么是SVM不适定问题Hard&SoftMarginSVMHardMarginSVM的数学思想及求解SoftMargin和SVM的正则化核函数多项式核函数高斯核函数SVM解决回归问题什么是SVMSVM
伊织code·2023-01-10 22:56

吴恩达深度学习（笔记+作业）·第二课·第一周 深度学习的实用层面

目录一、训练集train/验证集dev(val)/测试集test二、偏差/方差三、正则化（解决高方差）（L2正则化）四、正则化如何预防过拟合五、Dropout正则化（最常用：inverteddropout
手可摘星辰不去高声语·2023-01-10 19:06

吴恩达深度学习笔记（六）——超参数调试、Batch正则化和程序框架

一、调试处理给超参数取值：网格中取样点，随机取值，由粗糙到精细的策略。为超参数选择合适的范围：随机取值不是在有效范围内随即均匀取值，选择合适的步进值很重要。比如搜索学习率α，在0.0001到1之间，如果随机均匀取值，则在0.1到1之间应用了90%的资源，在0.0001到0.1之间只有10%的搜索资源。因此，不使用线性轴，而使用对数轴会更加合理。β越接近于1越敏感，需要密集取值。超参数调试实践：照看
子非鱼icon·2023-01-10 19:06

吴恩达深度学习课程第二章第一周编程作业

编程实现1.数据2.参数初始化2.1初始化参数为02.2参数随机初始化2.3抑梯度异常初始化2.4主控函数2.5测试结果对比2.5.1初始化为02.5.2随机初始化参数2.5.3抑梯度异常初始化3.模型正则化
麻衣带我去上学·2023-01-10 19:33

动手学PyTorch | (9) 权重衰减

目录1.方法2.高维线性回归实验3.从0开始实现4.简洁实现5.小结1.方法权重衰减等价于范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较
CoreJT·2023-01-10 17:43

深度学习的权重衰减是什么_动手深度学习PyTorch（四）权重衰减

方法权重衰减等价于L2L_2L2范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是
未来世界的幸存者·2023-01-10 17:12

pytorch-权重衰退（weight decay）和丢弃法（dropout）

解决过拟合的常用两种方法：1、权重衰退常用方法：L1,L2正则化L2正则化：一个神经网络训练至loss收敛时，会有多个w，b符合条件。
我渊啊我渊啊·2023-01-10 17:42

Pytorch学习笔记-权重衰减

方法权重衰减等价于L2L_2L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
Dexter_Sun1·2023-01-10 17:11

Pytorch 权重衰减

目录1、权重衰减2、L2正则化和L1正则化3、高维线性回归演示权重衰减1、权重衰减一般来说，我们总是可以通过去收集更多的训练数据来缓解过拟合。
我和代码有个约会.·2023-01-10 17:11

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到
PyBigStar·2023-01-10 11:19

论文复现：Learning both Weights and Connections for Efficient Neural Networks

判断权重重要性的方式是对权重进行L1L1L1或L2L2L2正则化，然后按照一定的剪枝比例使正则化值较小的权重为0。
Robohaha·2023-01-10 11:04

机器学习笔记_01线性回归和逻辑回归

2.1线性回归的表达式**1.假设函数****2.优化方法****3.损失函数****4.损失函数的优化****5.过拟合和欠拟合（underfittingvsoverfitting）****6.利用正则化解决过拟合问题
程序员酱油哥·2023-01-10 10:30

【数据挖掘】模型选择中正则化、交叉验证详解及实战应用（超详细 附源码）

模型选择当假设空间含有不同的复杂度的模型时，会面临模型选择(ModelSelection)问题。我们希望所选择的模型要与真模型的参数个数相同，所选择的模型的参数向量与真模型的参数向量相近。然而，一味追求提高分类器的预测能力，所选择的模型的复杂度会比真模型要高，这种现象被称为过拟合（Over-fitting）过拟合指学习时选择的模型所含的参数过多，导致该模型对已知数据预测的很好，但对未知数据预测很差
showswoller·2023-01-10 09:56

阿里云天池大赛——机器学习篇赛题解析（赛题一）下

（2）模型的泛化与正则化泛化是指机器学习模型学习到的概念在处理训练未遇到过的样本时的表现，即模型处理新样本的能力
阿尔卑斯山林·2023-01-09 16:55

[Python] 多项式曲线拟合(Polynomial Curve Fitting)

多项式曲线拟合PolynomialCurveFitting实验目标实现过程-Step1：生成观测集和目标函数-Step2：比较不同阶数多项式的拟合效果-Step3：通过增大数据规模改善过拟合现象-Step4：通过正则化改善过拟合现象实验总结
吃吃今天努力学习了吗·2023-01-09 14:23

01线性模型

出现过拟合的原因训练集的数量集小于模型的复杂度训练集和测试集特征分布不一致噪音数据干扰过大权值学习迭代次数足够多拟合了训练数据中的噪声和训练样例中没有代表性的特征3.过拟合解决方案调小模型复杂度，使其适合自己训练集的数量集，缩小宽度和减小深度增多训练集正则化
Cyanide11·2023-01-09 14:19

线性代数笔记：逆矩阵及伪逆矩阵，最小二乘估计，最小范数估计

伪逆矩阵和最小二乘估计正则化求伪逆矩阵逆矩阵的概念矩阵A的逆矩阵（matrixinversion）记作A−1A^{−1}A−1，其定义的矩阵满足如下条件：A−1A=InA^{−1}A=I_nA−1A=In
gx-panda·2023-01-09 13:19

时序预测 | MATLAB实现SSA-CNN-LSTM麻雀算法优化卷积长短期记忆神经网络时间序列预测

优化正则化率、学习率、隐藏层单
机器学习之心·2023-01-09 11:01

正则化(1) L1和L2正则化

正则化（Regularization）参考：https://blog.csdn.net/jinping_shi/article/details/52433975https://blog.csdn.net
yaochuyi·2023-01-09 10:32

keras基础--6.正则化应用

importnumpyasnpfromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.modelsimportSequentialfromkeras.layersimportDensefromkeras.optimizersimportSGDfromkeras.regularizersimportl2#载入数据(x_t
zeronose·2023-01-09 10:32

正则化的通俗解释_正则化面经整理——from牛客

在解释正则化之前，老老实实的把李航的机器学习基础复习一遍，否则会很迷糊。
weixin_39633493·2023-01-09 10:31

L1正则化和L2正则化

文章目录写在前面一、什么是正则化？二、正则化的作用三、L1和L2正则化为什么可以防止过拟合？四、L1和L2正则化代码实现（Pytorch）写在后面一、什么是正则化？在深度学习模型中，模型的参数越
暴走乔巴·2023-01-09 10:01

L1/L2正则化使用

对于L1/L2正则化使用的疑惑究竟L1、L2正则化可以使用到哪里？是全连接层还是卷积层？
weixin_54948718·2023-01-09 10:01

Keras学习笔记13——keras.regularizers

正则化器的使用正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。网络优化的损失函数也包括这些惩罚项。惩罚是以层为对象进行的。
winter_python·2023-01-09 10:01

keras添加正则化全连接_Keras入门系列教程：两分钟构建你的第一个神经网络模型...

本教程由深度学习中文社区(Studydl.com)持续发布与更新,本系列其余教程地址见文章末尾.引言Keras是一个用于构建和训练深度学习模型的高级API,后端计算主要使用TensorFlow或者Theano,由于Theano已停止开发新功能转入维护阶段,而且目前最新版的TensorFlow已经包含了Keras模块,所以本教程采用基于TensorFlow的Keras进行讲解,TensorFlow版
weixin_39521808·2023-01-09 10:00

L1正则化、L2正则化以及dropout正则化的keras实现

#L2正则化fromkerasimportregularizersmodel=models.Sequential()#l2(0.001)是指该层权重矩阵每个系数都会使网络总损失增加0.001*weight_coefficient_value
轻羽羽·2023-01-09 10:30

Keras教学(7):Keras的正则化Regularizers，看这一篇就够了

【写在前面】：大家好，我是【猪葛】一个很看好AI前景的算法工程师在接下来的系列博客里面我会持续更新Keras的教学内容（文末有大纲）内容主要分为两部分第一部分是Keras的基础知识第二部分是使用Keras搭建FasterCNN、YOLO目标检测神经网络代码复用性高如果你也感兴趣，欢迎关注我的动态一起学习学习建议：有些内容一开始学起来有点蒙，对照着“学习目标”去学习即可一步一个脚印，走到山顶再往下看
是猪哥不是诸葛·2023-01-09 10:00

keras中的正则化(regularization)

一、keras内置3种正则化方法keras.regularizers.l1(lambda)keras.regularizers.l2(lambda)keras.regularizers.l1_l2(l1
Cold__Heart·2023-01-09 10:29

Keras 中 L1正则化与L2正则化的代码用法和原理细致总结

概念介绍我们先要理解什么是过拟合，以下图为例：图中的红线为过拟合的曲线，而中间的黑线才是我们先要得到的拟合曲线，而得到为了黑线我们可以使用以下2种方法：减小拟合函数中的参数个数（简化拟合函数）限制拟合参数的弯曲程度首先说一下L1正则化与
量化交易领域专家YangZongxian·2023-01-09 10:59

【论文精读】MVSTER

Abstract基于学习的多视图立体(MVS)方法将源图像扭曲到参考相机的视锥中以形成3Dvolume，这些volume融合为从costvolume，由后续网络进行正则化。
YuhsiHu·2023-01-09 10:27

吴恩达【深度学习工程师】学习笔记（七）

吴恩达【深度学习工程师】专项课程包含以下五门课程：1、神经网络和深度学习；2、改善深层神经网络：超参数调试、正则化以及优化；3、结构化机器学习项目；4、卷积神经网络；5、序列模型。
zchang81·2023-01-09 00:49

多层感知机（d2l学习笔记）

表达公式具体来说，给定一个小批量样本X∈Rn×d\boldsymbol{X}\in\mathbb{R}^{n\timesd}X∈Rn×d，其批量大小为nnn，输入
ly451x·2023-01-08 20:41

机器学习笔记之降维(一)维数灾难

回顾：过拟合我们在正则化介绍与岭回归一节中介绍了正则化的基本思想，正则化操作通过约束模型参数W\mathcalWW的取值来处理过拟合现象。
静静的喝酒·2023-01-08 19:24

手写算法-python代码实现Lasso回归

代码实现1、python实现坐标轴下降法求解Lasso调用sklearn的Lasso回归对比2、近似梯度下降法python代码实现LassoLasso回归简介上一篇文章我们详细介绍了过拟合和L1、L2正则化
Dream-YH·2023-01-08 14:34
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他