小批量正则化

文献笔记|标签感知推荐|TGCN: Tag Graph Convolutional Network for Tag-Aware Recommendation

研究对象面临的问题挑战作者的方法FrameWork方法构造图标签卷积网络1类型感知邻居聚合(C1)1.1异构邻居采样1.2邻居聚合2信息更新(C2)2.1类型级信息重构2.2特征交互提取2.3高阶传播3TransTag正则化
江城暮·2022-10-18 07:31

Lesson 6.3&Lesson 6.4 正则化与sklearn逻辑回归参数详解&逻辑回归手动调参实验

Lesson6.3正则化与sklearn逻辑回归参数详解在了解了sklearn的一些常用的操作之后，接下来，我们来详细探讨关于正则化的相关内容，并就sklearn中的逻辑回归的参数进行详细解释。
Grateful_Dead424·2022-10-18 07:26

深度学习的数据增强

学习了某种正则化？一个重要的问题计算机视觉中的图像增强，是人为的为视觉不变性（语义不变）引入了先验知识。数据增强也基本上成了提高模型性能的最简单、直接的方法了。而数据增强后的网络性能为什么会变好呢？
香博士·2022-10-17 12:32

神经网络训练梯度算法详解

文章目录题目ThebasicdefinitionThemotivationPaperdetailedintroduction梯度下降变体批梯度下降随机梯度下降算法小批量梯度下降法MBGDChallengesGradientdescentoptimizationalgorithmsMomentumNesterovacceleratedgradientAdaGradRMSPropAdadeltaAda
pinn山里娃·2022-10-16 15:21

径向基RBF(radial basis function)函数、RBF神经网络、 反推(back-stepping)控制

径向基RBF(radialbasisfunction)函数、RBF神经网络、反推(back-stepping)控制文章目录1.什么是径向基函数1.1高斯径向基函数1.2反演S型函数1.3拟多二次函数2.正则化径向基神经网络
Zhao-Jichao·2022-10-16 13:40

动手学深度学习pytorch版练习解答-3.3线性回归的简洁实现

如果将小批量的总损失替换为小批量损失的平均值，你需要如何更改学习率？解：默认的其实就是平均值(meansquared)，问题问得不对，要反过来做。
Innocent^_^·2022-10-16 10:50

动手学深度学习Pytorch（二）——线性回归

文章目录1.基础知识1.1线性模型1.2模型评估1.3模型训练1.4优化方法——梯度下降小批量随机梯度下降2.代码2.1构造人为数据集2.2构造Pytorch数据迭代器2.3初始化模型2.4模型训练代码总结参考资料
冠long馨·2022-10-16 10:19

线性回归——最小二乘法

线性回归的根本就是求解最小损失函数，常用的方法有：最小二乘法，梯度下降法和正则化。1.1模型推导假设数据满足线性模型条件，可以设定线性模型为：h=a0+a1x1+a2x2+…+anxn所以预测值
Arnon_yin·2022-10-16 07:12

深度学习常见的优化算法

文章目录1.梯度下降算法（batchgradientdescentBGD)2.随机梯度下降法（StochasticgradientdescentSGD)3.小批量梯度下降(Mini-batchgradientdescentMBGD
ZhangTuTu丶·2022-10-15 07:17

目标检测之YOLO V2

BetterBatchNormalization:使用BN得到2%的提升，还能起到一定正则化
球场书生·2022-10-14 07:51

【无标题】

文章目录前言一、深入研究鸢尾花数据集二、实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建
别被打脸·2022-10-14 07:13

神经网络与深度学习（五）前馈神经网络（3）鸢尾花分类

目录4.5实践：基于前馈神经网络完成鸢尾花分类深入研究鸢尾花数据集4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
Jacobson Cui·2022-10-14 07:13

NNDL 实验五 前馈神经网络—鸾尾花分类

目录深入研究鸾尾花数据集小批量梯度下降法数据分组数据处理用DataLoader进行封装模型构建完善Runner类模型训练模型评价模
白小码i·2022-10-14 07:09

NNDL 作业4 第四章作业

习题4-7为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化？问题4-8为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令
刘先生TT·2022-10-14 07:38

HBU-NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
不是蒋承翰·2022-10-14 07:31

BP神经网络—反向传播算法

其损失函数为给定训练集D={(xn,yn)},N>=n>=0，将每个样本xn输入给前馈神经网络，得到网络输出为yn，其在数据集D上的结构化风险函数为其中W和b分别表示网络中所有的权重矩阵和偏置向量，(||W||F)^2是正则化项
fairy_zzr·2022-10-14 07:27

NNDL 实验五 前馈神经网络（3）鸢尾花分类

深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善
刘先生TT·2022-10-14 07:53

pytorch实现逻辑回归（代码实现）

pytorch实现线性回归注：pytorch实现逻辑回归与线性回归部分大体结构相似，想细致了解可以转至线性回归逻辑回归（分类）核心任务：计算属于每一类的概率：逻辑回归损失用交叉熵BCE（二元）：将小批量数据的所有
Unstoppable~~~·2022-10-13 15:29

一篇文章带你走进深度学习

1.3深度学习的应用1.4计算机视觉2.神经网络2.1前向传播2.1.1神经网络的基础2.1.2损失函数2.1.3Softmax分类器2.2反向传播2.2.1计算偏导数2.3神经网络架构细节2.3.1正则化
没有难学的知识·2022-10-13 09:52

正则化防止过拟合

一、过拟合和欠拟合正则化是防止过拟合的一种方法，因此要想知道正则化是怎样的那么必须先去认识什么是过拟合：二、正则化方法1、L1正则（Lasso）正则化的实现方法其实就是在代价函数后面加上正则化项对于lasso
醉翁之意不在酒~·2022-10-13 07:38

机器学习八——集成学习之XGboost(自己学习与理解知识点梳理)

目录XGboost的目标函数公式推导XGBoost和GBDT比较XGBoost树节点分裂方法代码XGboost的目标函数防止模型过复杂分的过细，加了正则化项。
坎坷ai路·2022-10-13 07:00

经典图像去噪算法概述

目录一、图像去噪基础知识1.图像去噪模型2.图像去噪类型2.1噪声类型——融合方式2.2噪声类型——概率分布二、非局部均值图像去噪方法三、基于图像先验的正则化去噪模型1.图像的梯度先验2.图像的非局部自相似先验
山科智能信息处理实验室·2022-10-13 07:48

吴恩达机器学习过拟合与正则化07

·首先这里有解决过拟合的三种方法：·(1).收集更多的训练数据·(2).缩小参数（w,b）的大小--正则化·(3).从原有特征中，挑选出部分特征用于训练*总结：但在实际训练的过程中，如果数据集是一定的，
·2022-10-12 20:36

博士论文——基于卷积神经网络的人脸识别研究 __张燕红

论文题目作者年份关键词链接备注基于卷积神经网络的人脸识别研究张燕红2018人脸识别；卷积神经网络；特征提取；分块策略；正则化博士论文摘要：随着信息技术的蓬勃发展，人们的学习和生活方式都发生了深刻的变化，
一只小申·2022-10-12 13:54

深度学习——day39 综述——（2019 计算机学报）深度卷积神经网络的发展及其在计算机视觉领域的应用_张顺

卷积神经网络及其相关技术2.1什么是CNN2.1.1卷积层2.1.2采样层2.1.3全连接层2.2各种技术手段对神经网络图像分类精度的提升效果2.2.1增加网络层数2.2.2增加训练数据集规模2.2.3正则化
想太多!·2022-10-11 14:44

机器学习：XGBoost 安装及实战应用

那么在求解每个树的叶子节点的权重参数时，用的目标函数是损失函数Loss和正则化惩罚项组成的，
算法channel·2022-10-11 07:49

深度学习中的 overfitting问题的几种解决方法

下面，我们就来解决overfitting（过拟合）的问题1.Regularization（正则化）我们先回顾一下逻辑回归中介绍的L2regularization，其表达式为：还有一种L1regularization
一只小申·2022-10-11 07:19

Python标准库re的使用举例(正则化匹配)

目录常用正则表达式一，必备知识1.修饰符（flag）2.匹配模式3.r的作用4.贪婪与非贪婪—通配符后面加？5.转义匹配的使用6.group(num=0)和groups()二，函数应用1.re.compile(pattern,flags=0)—自定义匹配模板2.re.match(pattern,string,flags=0)—从第一个字符开始匹配3.re.search(pattern,string
·2022-10-10 10:36

基于python代码的数据科学导引学习笔记（一）

2.2.缺失值处理和离群值检测（1）缺失值处理（2）均值填充2.3.常用的数据转换方法（1）Min-Max标准化（2）等频离散化（3）z-score标准化3.回归模型3.1.简单线性回归3.2线性回归正则化
水成丶文·2022-10-10 07:11

正则化方法笔记

能解决过拟合的方法都叫-正则化L1和L2正则化只针对W进行正则化，减少过拟合，重点还是W。
fu_gui_mu_dan·2022-10-08 18:31

使用sklearn库牛顿化、正则化的逻辑回归（代码简洁，思路推导）

目录参考学习资源资源下载A.读取数据B.二维数据图C.建立逻辑回归模型D.不同的正则化参数λE.画出决策分界线总结『机器学习』分享机器学习课程学习笔记，逐步讲述从简单的线性回归、逻辑回归到▪决策树算法▪
发现你走远了·2022-10-07 16:47

Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④

作为一个NLPer，bert应该是会经常用到的一个模型了。但bert可调参数很多，一些技巧也很多，比如加上weight-decay,layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢，有没有可能形成一个又快又好又准的大体方向的准则呢。于是，就基于这个研究、实践了一番，总结了这篇文章。1.使用误差修正，训练收敛变快，效
u013250861·2022-10-07 12:51

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7
HBU_David·2022-10-07 12:20

哈尔滨工业大学2021机器学习期末考试原题

1.参数正则化与参数先验的关系，模型估计中参数正则化的作用2.条件熵的定义，给出它在本课程中的一个应用，这样做有什么好处，给出你的直观理解，3.朴素贝叶斯满足什么假设，在参数估计中有什么作用，朴素贝叶斯分类器是否是出错概率下的最优分类器
云屿·2022-10-07 07:07

【白板推导系列笔记】降维-背景

解决过拟合问题有三种思路：加数据、正则化、降维，降维的思路来自于维度灾难已知一个正方形边长为2R2R2R，则面积为22R22^{2}R^{2}22R2，对应最大内接圆的面积为π⋅R2\pi\cdotR^
烧灯续昼2002·2022-10-06 07:22

matlab实现kmeans聚类算法_kmeans聚类算法原理总结

目录1.k-means聚类算法原理2.k-means聚类算法步骤3.k-means++聚类优化算法4.小批量处理的k-means聚类算法5.k值的选取6.k-means聚类算法不适用的几个场景7.k-means
weixin_39849254·2022-10-05 18:38

数据增广和微调

固定底层的话，相当于更加正则化。防止过拟合。
东方-教育技术博主·2022-10-05 14:51

如果你的神经网络方差很高，下列哪个尝试是可能解决问题的？-- 019

增加每个隐藏层的神经元数量    D.用更深的神经网络    E.用更多的训练数据   ♣答案部分     AE：方差较高（highvariance），表示数据过度拟合（overfitting），有两个解决方法，一个是正则化
小麦粒·2022-10-05 11:53

卷积神经网络和神经网络,卷积神经网络发展历程

目前已经探求一些两视图立体匹配，用神经网络替换手工设计的相似性度量或正则化方法。这些方法展现出更好的结果，并且逐步超过立体匹配领域的传统方法。
阳阳2013哈哈·2022-10-05 08:11

卷积神经网络理论基础,卷积神经网络基础知识

目前已经探求一些两视图立体匹配，用神经网络替换手工设计的相似性度量或正则化方法。这些方法展现出更好的结果，并且逐步超过立体匹配领域的传统方法。
技术的呼唤·2022-10-05 08:41

3.逻辑回归，损失函数，以及正则化处理

1.逻辑回归在分类问题中，我们要预测的变量y是离散的值，使用前面的线性回归似乎无法实现了，这时，就需要使用逻辑回归算法了，其实logistic就是基于线性回归的分类算法，是一种经典常用的分类算法。对于二元分类问题，因变量的可能属于的两个类别分别称为负向类和正向类，因变量的取值只能在0和1之间，通常0表示负类，1表示正类。想要分类器的输出值在0和1之间，因此希望找到一个假设函数，要求它的预测值在0和
⁠脱欢·2022-10-02 11:52

神经网络与深度学习（三）线性回归与多项式回归

目录2.2线性回归2.2.1数据集构建2.2.2模型构建2.2.3损失函数2.2.4模型优化2.2.5模型训练2.2.6模型评估2.2.7样本数量&正则化系数2.3多项式回归2.3.1数据集构建2.3.2
Jacobson Cui·2022-10-02 07:41

NNDL 实验三 线性回归

使用pytorch实现线性回归2.2线性回归2.2.1数据集构建2.2.2模型构建2.2.3损失函数2.2.4模型优化2.2.5模型训练2.2.6模型评估2.2.7样本数量&正则化系数2.3多项式回归2.3.1
乳酸蔓越莓吐司·2022-10-02 07:56

神经网络基础

前向传播整体流程softmax分类器normalize-归一化，转换为概率值整体架构权重参数矩阵吗，将输入数据，转化为隐藏层1，再经过非线性变换，再作为隐藏层2的输入正则化与激活函数神经网络过拟合解决方法每次训练
一颗西柚子·2022-10-01 07:45

【中间件学习】kafka基础学习

典型使用场景:收集日志—>日志正则化—>发送到kafka-->入库安装教程记录简易的安装过程wgethttp://mirrors.aliyun.com/apache/kafka/3.2.2/kafka_
Coder_preston·2022-09-30 07:55

YoloV2学习小总结

相比于yolov1的改进yolov11.Better1.BatchNormalizationBatchNormalization可以使模型在收敛方面速度更快，因为BatchNormalization有利于正则化的作用
Haohao+++·2022-09-30 07:18

[机器学习入门笔记] 2. 2022吴恩达机器学习Deeplearning.ai课程（回顾）

梯度下降5.多维特征6.多元线性回归的梯度下降7.特征缩放8.判断梯度下降是否收敛9.学习率10.正规方程11.逻辑回归12.决策边界13.逻辑回归的代价函数14.实现逻辑回归梯度下降15.过拟合问题16.正则化
Cyanzzy·2022-09-29 19:48

Forget-free Continual Learning with Winning Subnetworks论文阅读+代码解析

最广泛的3种类型为：基于正则化的持续学习，基于记忆重塑的持续学习以及基于动态架构的持续学习。然而，上述的方法都会造成新的内存压力，特别是对于记忆重塑和动态架构。因此，
编程龙·2022-09-28 09:28

E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network

最早的方法考虑了机遇正则化的策略（如EWC），其通过考虑网络中的重要权重来保存旧知识，但这种方法会使得这些权重无法处理好新的任务。第二种方法是基于记忆重放（GEM），通过保存一部分旧的样再之后配合新样
编程龙·2022-09-28 09:57

ONLINE CORESET SELECTION FOR REHEARSAL-BASED CONTINUAL LEARNING 论文阅读+代码解析

本篇依旧是针对持续学习的工作，也是FedWEIT的团队进行的研究，论文地址点这里一.介绍（简单描述）在持续学习中为了应对灾难性遗忘，常见的方法有基于正则化、基于记忆重塑以及基于动态架构。
编程龙·2022-09-28 09:22
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他