小批量正则化

《供应链管理》：前端防杂、后端减重、中间治乱

高复杂度是小批量、多品种行业的共性。复杂度的好坏取决于客户是否愿意埋单。价格由市场决定，成本由复杂度决定。产品的复杂度会带来组织和流程
尚寜·2023-01-26 16:47

Task6 神经网络基础

（和线性模型对比，线性模型的局限性，去线性化）深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；earlystop；Dropout层）、正则化的介绍。深度模型中
_一杯凉白开·2023-01-26 14:31

机器学习002---Logistic回归

目录问题的引入Sigmoid函数(Logistic函数)梯度下降(GradientDecent)正则化(Regularization)多元分类(Mult-classClassification)总结问题的引入上文
LXTTTTTTTT·2023-01-26 12:57

机器学习001---线性回归

FeatureNormalize)假设模型(HypothesisFunction)代价函数(CostFunction)梯度下降法(GradientDecent)正规方程法(NormalEquation)正则化
LXTTTTTTTT·2023-01-26 12:57

CV【3】：drop_out & drop_path

工作原理1.4.尺度匹配问题1.5.有效缓解过拟合的原因1.6.代码实现2.drop_path2.1.与drop_out的差异2.2.工作原理2.3.在网络中的应用2.4.代码实现前言本文主要对比了两种正则化方法
zzzyzh·2023-01-26 12:52

读书笔记：机器学习（第3章）

一、线性模型的好处权重反映了各属性的重要程度，可解释性强二、一句话描述最小二乘法试图找一条直线，使所有样本到直线的欧式距离最小三、为什么加入正则化项且这是避免过拟合的重要手段当可解出多个w都能使误差最小时
foreverbeginnerz·2023-01-26 07:30

ZF预编码，R-ZF预编码，脏纸预编码（DPC预编码）

正则化迫零预编码与脏纸预编码？
中杯冰美式·2023-01-26 01:36

写给2022年的自己

2）多品种小批量产品种类多，时间节点紧，人员匹配度不足。3）内部团队人员资历浅，供应商的帮扶与管理开展不足。4）客户端的管理要
南漂良子·2023-01-26 01:33

基于 Lp 正则化的高维稀疏解的反演

一、稀疏解的逼近问题对于高维稀疏解的逼近问题，可以归结为模型y=Ax+ϵy=Ax+\epsilony=Ax+ϵ其中，A∈RM×NA\in\mathbb{R}^{M\timesN}A∈RM×N是给定或者训练得到的M×NM\timesNM×N矩阵，y∈RM\bfy\in\mathbb{R}^My∈RM是测得的数据，ϵ\epsilonϵ是扰动噪声。我们的目的是根据已知数据y,A,ϵ\bfy,A,\eps
闲谈社·2023-01-25 22:59

生物化学 电阻抗成像OpenEIT 番外篇 EIT公式

因此，需要对反演过程进行正则化。然而，传统的基于优化的变分正则化方法由于其非线性，往往存在
FakeOccupational·2023-01-25 13:16

GAMES101-现代计算机图形学学习笔记（12）

Lecture12Geometry3GAMES101-现代计算机图形学学习笔记（12）几何网格细分LoopSubdivisionCatmull-ClarkSubdivision网格简化边坍缩与二次度量误差（QEM）网格正则化
CCCCCCros____·2023-01-25 11:38

Yolo系列理论

Yolov1总结YOLOv2Yolov2网络结构Yolov2改进细节Yolov2总结YOLOv3Yolov3网络结构YOLOv4Yolov4网络结构YOLOv4BackBone训练策略数据增强DropBlock正则化
芝士不知世_·2023-01-25 11:54

动手学深度学习——批量归一化

1、批量归一化损失出现在最后，后面的层训练较快；数据在最底部，底部的层训练的慢；底部层一变化，所有都得跟着变；最后的那些层需要重新学习多次；导致收敛变慢；固定小批量里面的均差和方差：然后再做额外的调整（
橙子吖21·2023-01-25 09:04

用于预训练词嵌入的数据集

文章目录用于预训练词嵌入的数据集1-读取数据集2-下采样3-中心词和上下文词的提取4-负采样5-小批量加载训练实例6-整合代码用于预训练词嵌入的数据集在了解word2vec模型的技术细节和大致的训练方法
未来影子·2023-01-25 07:13

机器学习第四章线性回归算法进阶4.1多变量线性回归算法（《大话Python机器学习》学习笔记）

多变量线性回归常规解法中对变量有特定要求，而实际应用中不可能并不满足这个要求，同时存在过拟合等问题，因而在基础求解上，需要引入正则化、岭回归和Lasso回归等，进一步优化与拓展多变量线性回归算法的求解。
BianchiHB·2023-01-24 15:43

《机器学习》阅读笔记 第三章

Contents1.不同学科中的线性模型[^1]2.线性模型：回归任务2.1估计方法2.2正则化2.3广义线性模型3.线性模型：分类任务3.1对数几率回归线性判别分析（LDA）[^3]多分类的基本思路1
Golden_Baozi·2023-01-24 11:28

【4-网络八股扩展】北京大学TensorFlow2.0

哔哩哔哩_bilibiliPython3.7和TensorFlow2.1六讲：神经网络计算：神经网络的计算过程，搭建第一个神经网络模型神经网络优化：神经网络的优化方法，掌握学习率、激活函数、损失函数和正则化的使用
如何原谅奋力过但无声·2023-01-24 11:21

【3-神经网络八股】北京大学TensorFlow2.0

哔哩哔哩_bilibiliPython3.7和TensorFlow2.1六讲：神经网络计算：神经网络的计算过程，搭建第一个神经网络模型神经网络优化：神经网络的优化方法，掌握学习率、激活函数、损失函数和正则化的使用
如何原谅奋力过但无声·2023-01-24 11:43

机器学习之模型评估

机器学习之模型评估1.模型评估2.交叉验证2.1回归问题的验证2.2分类问题的验证2.3精确率和召回率2.4F值3.正则化3.1过拟化3.2正则化的方法3.3正则化的效果3.4分类的正则化3.5包含正则化项的表达式的微分
长路漫漫，道阻且长·2023-01-24 10:01

西瓜书机器学习_三章

采用最小二乘法可求得：当为满秩矩阵或正定矩阵时，令上式等于0，可求得：当不满秩时，可能出现多解，此时需要依靠算法的归纳偏好决定模型的取舍，常见做法为引入正则化项。
CNGauss·2023-01-23 20:09

吴恩达机器学习Day5

overfitting）：即使非常适合训练集但也因为太适合数据，因此是过拟合（高方差）；这个模型不具有泛化到新样本的能力；欠拟合（高偏差）；适中（泛化）；解决过拟合：①更多的训练数据；②是否可以使用更少的特征；③使用正则化来减小参数的大小
Tezzz·2023-01-23 19:25

【源码解析】如何从零实现一个回归模型？

简单说就是模型的输出是连续的，如概率大小等目标借助DNN(DeepNeuralNetworks)网络解决一个回归问题理解基本的DNN训练技巧，如超参数的微调、特征选取、正则化根据美国某州过去五天中前四天的调查结果
要谦年人·2023-01-23 11:07

返回传播计算方法|神经网络整体架构|神经元个数对结果的影响|正则化与激活函数|神经网络过拟合解决方法

文章目录返回传播计算方法神经网络整体架构（暂时留存，等后面补）神经元个数对结果的影响正则化与激活函数神经网络过拟合解决方法返回传播计算方法实际上计算L（损失值）的时候并不是只是拿一组w来进行计算，而是由多组
Micoreal·2023-01-23 10:22

sklearn-1.1.14.被动攻击算法

然而，与感知器相反，它有一个正则化参数c。对于分类，PassiverAggressiveVClassifier可以使用loss=hinge或者loss=squared_hinge。
「已注销」·2023-01-23 08:11

深度学习之——损失函数（loss)

比如：求解一个函数最小点最常用的方法是梯度下降法：梯度下降详解（比如：全批量梯度下降BatchGD、随机梯度下降SGD、小批量梯度下降mini-batchGD、Adagrad法，Adadelta法、Adam
小羊头发长长长·2023-01-23 08:40

麻雀算法算法SSA优化LSTM实现多维输入，单维输出的预测模型

优化参数为学习率，隐藏层节点个数，正则化参数。多输入单输出预测模型，matlabID:3630681022881952
「已注销」·2023-01-22 08:46

吴恩达机器学习作业2（逻辑回归）

gradientdescent(梯度下降)1.损失梯度的推导2.代码【6】拟合参数【7】用训练集预测和验证【7】寻找决策边界1.输出最后拟合的参数2.根据边界公式计算X×θX\times\thetaX×θ3.画出图形三.正则化逻辑回归特征映射对
晨沉宸辰·2023-01-21 21:26

吴恩达机器学习day4（正则化(Regularization)）

正则化一过拟合问题二代价函数三正则化线性回归四正则化的逻辑回归模型一过拟合问题正则化(regularization)的技术，它可以改善或者减少过度拟合问题。
晨沉宸辰·2023-01-21 21:56

机器学习笔记：SGD （stochastic gradient descent）的隐式正则化

结论是：对于优化问题来说，可以逃离鞍点、极大值点，有时也可以逃离一些不好的极小值点SGD的隐式正则化：找寻宽的极小值点（flatoptima）2逃离极大值和鞍点首先回顾一下这张图：当一阶导数为0的时候
UQI-LIUWJ·2023-01-21 19:36

深度学习篇之tensorflow(2) ---图像识别

tensorflow处理图像识别图像识别图像识别的关键点及特点卷积神经网络原理视觉生物学研究神经网络优势卷积层池化层正则化层卷积神经网络实例样本数据读取urlretrieve（）方法pythontarfile
落春只在无意间·2023-01-21 10:13

吴恩达|机器学习作业目录

一个多月除了上课自习，就是在coursera和网易云课堂上学习吴恩达机器学习的课程，现在学完了，以下是一个多月来完成的作业目录，整理一下以便使用：1.0单变量线性回归1.1多变量线性回归2.0Logistic回归2.1正则化的
学吧学吧终成学霸·2023-01-21 08:48

北京大学Tensorflow2.0学习笔记 -- 神经网络优化篇

Tensorflow2.0学习笔记–神经网络优化篇本讲目标：学会神经网络优化过程，使用正则化减少过拟合，使用优化器更新网络参数预备知识条件选择函数tf.where(条件语句,真返回A,假返回B)a=tf.constant
WBZhang2022·2023-01-20 16:41

人工智能实践入门Tensorflow2.0笔记-Day2 神经网络优化过程

Tensorflow学习笔记1（北大公开课）目录神经网络优化过程一、整体知识概览二、代码实现1、预备知识2、衰减学习率3、损失函数4、正则化5、优化器神经网络优化过程继续学Tensorflow2.0，主要把这一章的课程内容做了简单整理
下雨天的小鱼·2023-01-20 16:10

北京大学Tensorflow2.0笔记

0.25之间，链式求导需要多层导数连续相乘，会出现多个0-0.25之间的连续相乘，结果趋于零，产生梯度消失，无法进行参数更新使用中应避免负数特征进入RELU函数，否则会导致神经元死亡过拟合的解决方法：L1正则化和
WY~峰·2023-01-20 16:08

【2-神经网络优化】北京大学TensorFlow2.0

哔哩哔哩_bilibiliPython3.7和TensorFlow2.1六讲：神经网络计算：神经网络的计算过程，搭建第一个神经网络模型神经网络优化：神经网络的优化方法，掌握学习率、激活函数、损失函数和正则化的使用
如何原谅奋力过但无声·2023-01-20 16:07

为什么深度神经网络验证集损失低于训练集

1.在训练的过程中应用了正则化，但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1，L2等正则项，或者dropout。
张博208·2023-01-20 13:05

深度学习——机器翻译数据集（笔记）

机器翻译将序列从一种语言自动翻译成另一种语言如何将预处理的数据加载到小批量进行训练1.下载数据集下载“英-法”数据集①数据集的每一行都是制表符\t分隔的文本序列对②序列对由英文序列和翻译后的法语序列组成
钟楼小奶糕6·2023-01-20 09:43

深度学习实战 第4章深度学习正则化笔记

第4章深度学习正则化1.机器学习的两个核心任务：尽可能地降低训练错误率提高模型的泛化能力（避免过拟合）2.可以使用正则化来尽可能地使训练错误率与测试错误率之间的差距变小。
醉一心·2023-01-20 01:06

SVM支持向量机

要使的分类最为准确，那么需要找到最近的边界的点（SupportVector），使得Margin值最大，这也是SVM命名的由来SVM优点：1.对小样本集、非线性数据集和高维空间有较好的效果2.准确率很高3.自带L2正则化
fade猫·2023-01-19 19:04

深度学习面经总结

加速模型学习速度（2）BN使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定（3）BN允许网络使用饱和性激活函数（例如sigmoid，tanh等），缓解梯度消失问题（4）BN具有一定的正则化效果劣势
Fighting_1997·2023-01-19 12:41

神经网络一般训练次数,神经网络训练时间

1、为什么要批量训练神经网络神经网络每次迭代的时候使用小批量，有两个好处，一方面可以降低参数更新时候的方差，收敛更加稳定，另一方面可以高度利用矩阵操作进行有效的梯度计算。
阳阳2013哈哈·2023-01-19 12:39

熵正则化和熵最小化：Entropy Minimization & Regularization

熵正则：EntropyRegularization1、香农熵2、熵正则化3、参考文献1、香农熵首先，你要很清楚什么是香农熵，如果不清楚的我可以贴出链接：香农熵香农熵计算公式：在EntopyRegularization
随君·2023-01-19 12:33

半监督学习之伪标签(pseudo label,entropy minimization,self-training)

形式化后等价于熵正则化（EntropyRegularization)或熵最小化（EntropyMinimization).根据半监督学习的假设，决策边界应该尽可能通过数据较为稀疏的区域，即低密度区域，从而避免把密集的样本数据点分到决策边界的两侧
头发凌乱的鳌拜·2023-01-19 11:29

深度学习 | 吴恩达深度学习课程2 Week1

神经网络模型2.3初始化为零2.3.1代码2.3.2训练2.3.3预测2.4随机初始化2.4.1代码2.4.2训练2.4.3预测2.5抑梯度异常初始化2.5.1代码2.5.2训练2.5.3预测2.6总结3正则化
写代码的阿呆·2023-01-19 09:41

【TensorFlow-windows】keras接口——BatchNorm和ResNet

为了解决这类问题，大佬们想了各种办法，比如最原始的L1,L2正则化、权重衰减等，但是在深度学习的各种技巧中，批归一化(BatchNormalization,BN)和残差网(ResidualNetwork
风翼冰舟·2023-01-19 08:42

Dropout，Batch Normalization，Maxout

article/details/50413257作者：hjimce1.算法概述我们知道如果要训练一个大型的网络，训练数据很少的话，那么很容易引起过拟合(也就是在测试集上的精度很低)，可能我们会想到用L2正则化
sousouweiba·2023-01-19 08:12

python标准化_sklearn数据预处理：归一化、标准化、正则化

归一化：1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化算法有：1.线性转换y=(x-MinValue)/(MaxValue-MinValue)２.对数函数转换：y=log10(x)３.反余切函数转换y=ata
weixin_39886469·2023-01-19 06:45

神经网络不收敛原因总结

没有对数据进行归一化忘记检查输入和输出没有对数据进行预处理没有对数据正则化使用过大的样本使用不正确的学习率在输出层使用错误的激活函数网络中包含坏梯度初始化权重错误过深的网络隐藏单元数量错误1没有对数据进行归一化问题描述
落雨飞辰·2023-01-19 05:27

神经网络不收敛原因

神经网络不收敛的原因没有对数据进行归一化忘记检查输入和输出没有对数据进行预处理没有对数据正则化使用过大的样本使用不正确的学习率在输出层使用错误的激活函数网络中包含坏梯度初始化权重错误过深的网络隐藏单元数量错误
Tail_mm·2023-01-19 05:57

第二章.线性回归以及非线性回归—弹性网

第二章.线性回归以及非线性回归2.14弹性网（ElasticNet）ElasticNet是一种使用L1和L2作为正则化矩阵的线性回归模型，这种组合用于只有很少的权重非零的稀疏模型。
七巷少年^ω^·2023-01-18 22:18
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他