小批量正则化

LGB ： 关于调参的一些说明

调参核心调参1：提高准确率"：num_leaves,max_depth,learning_rate调参2：降低过拟合max_binmin_data_in_leaf调参3：降低过拟合正则化L1,L2调参4
猫咪钓鱼·2022-08-10 07:26

自然语言处理NLP面试问题

7、CRF8、HMM9、解释一下正则化二、深度学习相关模型1、CNN2、RNN3、
ㄣ知冷煖★·2022-08-09 07:55

吴恩达深度学习笔记

你将学习本系列课程(专业):神经网络和深度学习改进深度神经网络:超参数调优、正则化和优化构建你的机器学习项目吨/德卷积神经网络端到端自然语言处理:建立序列模型RNN,LSTM我的目标理解深度学习基本原理常用算法流程常用术语不求算术推导不求算术推导不求算术推导使用深度学习框架入门介绍例
reno_yuan·2022-08-08 07:22

【深度学习】笔记2-模型在测试集的准确率大于训练集

（引用我某朋友的一句话）文章目录前言1.问题描述2.解决问题2.1.欠拟合2.2.小批量统计的滞后性小结1.问题描述在模型训练过程中突然发现，模型的准确率在测试集上居然比在训练集上还要高。
阿阿阿阿锋·2022-08-08 07:03

吴恩达神经网络和深度学习第二课笔记-week1-超参数调试、正则化以及优化

一、数据集（P1）数据集分类：训练数据集（trainingset）：在训练集上之下训练算法，进行模型拟合交叉验证集（corssvalidationset/developmentset/devset）：通过交叉验证集来选择最好的模型（评估不同算法、调整模型超参数等），经过验证后，选定最终模型测试集（testset）：对最终所选定的神经网络系统做出无偏评估，用于评估模型的泛化能力各数据集的占比：传统的
m0_59838738·2022-08-07 07:17

吴恩达深度学习笔记-超参数调试、Batch正则化(第6课)

超参数调试一、调试处理二、为超参数选择合适的范围三、超参数训练的实践:PandasVSCaviar四、正则化网络的激活函数五、将BatchNorm拟合进神经网络六、BatchNorm为什么奏效？
郭少的研究生笔记·2022-08-07 07:09

dropout

目录1.理解dropout正则化2.dropout率的选择3.dropout有什么缺点?
Billie使劲学·2022-08-05 07:49

整体把握！一篇给新手的深度学习综述

本文转自人工智能与算法学习，仅交流这篇综述论文列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。
公众号机器学习与生成对抗网络·2022-08-05 07:19

机器学习-特征映射方法

在进行正则化逻辑回归的时候，需要用到特征映射的方法：将一个二维特征(x1,x2)根据自己的需要映射到高维。
旅途中的宽~·2022-08-04 07:46

简单点理解 SVM（支持向量机）

SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。可能不好理
今朝.122·2022-08-04 03:10

万字逐行解析与实现Transformer，并进行德译英实战（二）

文章目录Part2:模型训练BatchesandMaskingTrainingLoop训练数据和BatchOptimizer正则化标签平滑第一个例子造数据损失计算使用贪心算法解码(GreedyDecoding
iioSnail·2022-08-01 11:56

关于优化器的问题

Adamw即Adam+weightdecay，效果与Adam+L2正则化相同，但是计算效率更高，因为L2正则化需要在loss中加入正则项，之后再算梯度，最后再反向传播，而AdamW直接将正则项的梯度加入反向传播的公式中
麦格芬230·2022-08-01 09:56

通过PyTorch构建的LeNet-5网络对手写数字进行训练和识别

MNIST数据集训练模型，最后对生成的模型进行预测，主要包括2大部分：训练和预测1.训练部分：(1).加载MNIST数据集，通过调用TorchVision模块中的接口实现，将每幅图像缩放到32*32大小，小批量数据集数量设置为
fengbingchun·2022-08-01 07:58

吴恩达机器学习作业4：神经网络(反向传播)（Python实现）

我们将通过反向传播算法实现神经网络成本函数和梯度计算的非正则化和正则化版本，还将实现随机权重初始化和使用网络进行预测的方法。
Phoenix_ZengHao·2022-07-31 07:18

【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING

我们引入了自集成，我们使用网络在不同时期的训练输出形成对未知标签的共识预测，最重要的是，在不同的正则化和输入增强条件下。
来日可期1314·2022-07-29 11:49

【图像分类—AlexNet】ImageNet Classification with Deep Convolutional Neural Networks

20102012表现突出，top-1误差率37.5%，以及top-5误差率17.0%；网络有6000万个参数和650,000个神经元；网络结构五个卷积层，以及某些卷积层后的池化层，以及最后的三个全连接层；引入正则化方法
gkm0120·2022-07-29 07:22

机器学习考点---过拟合与欠拟合、CNN原理......

验证集：超参、模型的选择，模型评估，正则化。
空白=null·2022-07-29 07:08

机器学习算法导读篇

目录机器学习算法1机器学习分类依据1.1按照任务是否需要和环境进行交互获取经验1.1.1监督学习1.1.2强化学习1.2按照算法功能和形式的类似性1.2.1回归算法1.2.2基于实例的算法1.2.3正则化方法
LeeZhao@·2022-07-29 07:38

深度学习基础之过拟合、欠拟合问题和正则化

引自《统计学习方法》李航，当假设空间含有不同复杂度（例如，不同的参数个数）的模型时，就要面临模型选择的问题。我们希望选择或学习一个合适的模型。如果在假设空间中存在’真’模型，那么所选的模型应该逼近真模型。具体地，所选的模型要与真模型参数个数相同，所选的模型的参数向量与真模型的参数向量相近。1.过拟合过拟合现象：模型对已知数据预测的很好，对于未知数据预测很差的现象（训练集效果好，在测试集和验证集效果
hello689·2022-07-29 07:03

吴恩达机器学习视频学习笔记

PolynomialRegression正规方程NormalequationLogisticRegression单分类(OCC)One-ClassClassification多分类问题MultiClassification正则化
BubbleCodes·2022-07-29 07:56

ESWC 2018 | R-GCN：基于图卷积网络的关系数据建模

目录前言1.关系图卷积网络2.正则化3.实验3.1节点分类3.2链接预测前言题目：ModelingRelationalDatawithGraphConvolutionalNetworks会议：ExtendedSemanticWebConference
Cyril_KI·2022-07-29 07:25

【深度学习】(问题记录)＜对一个变量求梯度得到什么＞-线性回归-小批量随机梯度下降

前言博主主页：阿阿阿阿锋的主页_CSDN原文链接：原文看书看得感觉前言搭不上后语的时候，我常常忍不住怀疑是不是这书写得有点问题（有时甚至会在心里骂作者几句，怎么这么不小心）。然而经验和残留的理智仍然会提醒我，这大概率是我自己的问题。我的编程环境：Win10操作系统，python3.6初学不久，文章如有问题，欢迎指出。文章目录前言1.问题和代码2.分析问题总结1.问题和代码对于代码里sgd函数中的p
阿阿阿阿锋·2022-07-29 07:51

CNN实验报告

不同模块对CNN的影响介绍实验环境网络结构默认情况（一）添加BN（二）激活函数1.tanh2.LeakyReLU3.sigmoid（三）正则化L2正则DropOut（四）优化器Adam（五）学习率衰减learning_rate
yizhi_hao·2022-07-28 21:09

计算机网络的拥塞控制

慢启动：开始传送数据时小批量慢慢发送。避免拥塞：通过慢启动，慢慢增大数据传输量，实现避免数据过大导致拥塞。拥塞发生：出现超时情况。快重传：等待
·2022-07-28 21:49

PyTorch学习笔记【1】：使用张量表征真实数据

文章目录前言1.处理图像1.1.加载图像文件1.2.改变布局1.2.1.处理图像1.2.2.纬度变化1.3.正则化数据2.表示表格数据2.1.加载葡萄酒数据张量2.1.1.读入数据2.1.2.将读入的Numpy
zzzyzh·2022-07-25 17:42

机器学习-神经网络反向传播算法

我们同样要找到损失函数，最小化损失函数进而达到修正参数的目的反向传播算法就是完成这一功能的算法首先还是要给出损失函数这是之前逻辑回归的损失函数，假定我们神经网络的激活函数用的是sigmoid函数，后面的那项是正则化项
tomgaooo·2022-07-25 07:01

模型选择问题及诊断偏差与方差

机器学习一、下一步做什么二、评估假设三、模型选择问题和训练、验证及测试集四、诊断偏差与方差五、正则化、偏差、方差六、学习曲线七、决定接下来做什么提示：本文是基于吴恩达老师机器学习视频总结：一、下一步做什么假设我们已经实现了一个机器学习系统
only demo·2022-07-25 07:55

8.2 机器学习算法

1.机器学习算法汇总①回归模型(用于预测)：最小二乘法、逻辑回归、逐步回归、多元自适应样条法、本地权重评估、②正则化模型(提升泛化)：岭回归、LASSO回归、弹性网、最小角回归、③决策树模型(分类和预测
bigdata_gjb6666·2022-07-24 07:53

周志华《机器学习》笔记（五）——第5章 神经网络

1、正向传播（预测）2、反向传播（训练）3、问题与技巧（1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法（2）过拟合问题：早停、正则化（3）优化器：各种主流凸优化方法的归纳与总结
不会写代码的牛马·2022-07-23 13:21

《机器学习》 周志华学习笔记第五章 神经网络（课后习题） python实现

感知机与多层网络3.误差逆传播算法(A)BP算法：最小化训练集D上的累积误差标准BP算法：更新规则基于单个Ek推导而得两种策略防止过拟合：（1）早停（通过验证集来判断，训练集误差降低，验证集误差升高）（2）正则化
Rookiekk·2022-07-23 13:18

【深度学习基础】从零开始的炼丹生活09——循环神经网络

往期回顾：06——深度学习中的正则化07——深度模型中的优化08——卷积网络为了处理一维序列数据，我们转向神经网络框架中另一强大的特化，循环神经网络。
wby1905·2022-07-23 08:00

深度学习之 8 深度模型优化与正则化

本文是接着上一篇深度学习之7深度前馈网络2_水w的博客-CSDN博客目录深度模型优化与正则化1.网络优化（1）非凸优化问题（2）网络优化的改善方法2.小批量梯度下降（1）批量梯度下降(batchgradientdescent
水w·2022-07-23 08:59

深度学习之 8 深度模型优化与正则化2

本文是接着上一篇深度学习之8深度模型优化与正则化_水w的博客-CSDN博客目录4.参数初始化与数据预处理初始化方法：（1）基于固定方差的参数初始化（2）基于方差缩放的参数初始化（3）Xavier初始化（
水w·2022-07-23 07:35

分类，回归，随机小批量数据生成

importnumpyasnpfromtorchimportnn,optimfromtorch.utils.dataimportDataset,TensorDataset,Dataloaderimporttorch.nn.functionalasFfromtorch.utils.dataimportrandom_splitfromtorch.utils.tensorboardimportSumma
a_Loki·2022-07-22 11:01

基于双任务一致性的半监督医学图像分割

目的：这篇论文主要致力于“明确的构建任务级正则化”。解决方法：首次提出了一种新的“双任务一致性半监督框架”。
无咎.lsy·2022-07-21 14:14

吴恩达机器学习（十八）线性回归、逻辑回归的正则化

文章目录1.线性回归的正则化1.1梯度下降+正则化1.2正规方程+正则化2.逻辑回归的正则化1.线性回归的正则化  对于线性回归，我们之前推导了两种算法，一种基于梯度下降，一种基于正规方程，接下来将这两种算法推广到正则化线性回归中去
计算机视觉从零学·2022-07-20 07:58

【机器学习基础】正规方程法（Normal equation）（正则化和非正则化）——吴恩达课程笔记

在求使得代价函数最小的参数θ中，也可以不用梯度下降法进行逐步递归求解，可以使用正规方程法（NormalEquation）一次性算出θ。用这种方法不需要进行特征缩放（featurescaling）。在特征数少的情况（吴恩达教授的标准是一万以下）用正规方程法更好，但如果特征数较多，计算量很大，会比较慢，这个时候还是采用梯度下降法比较好。特征方程法介绍：（1）现做如下规定：假设有m个样本实例，每个样本有
EthenWillson·2022-07-20 07:53

BN（Batch normalization）原理

不用理会拟合中的droupout、L2正则化项的参数选择，采用BN算法可以省去这两项或者只需要小的L2正则化约束。原因，BN算法后，参
Mick..·2022-07-20 07:19

吴恩达机器学习ex5-matlab版学习总结笔记-正则化线性回归和偏差方差

作业任务项一：正则化线性回归代码如下：load('E:\研究生\机器学习\吴恩达机器学习python作业代码\code\ex5-biasvsvariance\ex5data1.mat')plot(X,y
Tinner_000·2022-07-20 07:47

吴恩达机器学习 手推正则化线性回归 正规方程 小白第一篇文章

没有目录哈哈哈手推机器学习小萌新一名，最近在学习AndrewNg机器学习教程，总结了一些笔记，在学习中我会陆续发布一些，希望能帮到初学者！！！
野人 也有爱·2022-07-20 07:09

深度学习中的深度前馈网络简介

代价函数也可能含有附加项，如正则化项。组合模型、代
喜欢打酱油的老鸟·2022-07-18 07:09

标准化、归一化和正则化的关系

  首先，标准化的英文是Standardization，归一化的英文是Normalization，正则化的英文是Regularization。
阿升1990·2022-07-17 09:28

标准化、归一化和正则化的关系

首先，标准化的英文是Standardization，正则化的英文是Normalization，正则化的英文是Regularization。
阿升1990·2022-07-17 09:00

Matching Networks for One Shot Learning 论文笔记

深度学习一般需要较大型的数据集，当数据集变小时，会产生过拟合问题，数据增强和正则化技术
头柱碳只狼·2022-07-17 07:16

机器学习模型训练问答

答：使用随机梯度下降（SGD）或者小批量梯度下降（mini-batchgradientdescent），如果内存允许，甚至也可以使用批量梯度下降(batchgradientdesce
毛飞龙·2022-07-16 07:06

机器学习之训练模型

解决方法：模拟退火-逐步降低学习率，开始的步长较大，然后越来越小，让算法尽量靠近全局最小值小批量随即下降：在称为小型批量的随机实例
Penguinoodle·2022-07-16 07:58

优化算法、调参基本思路、正则化方式等

引言深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一，许多卓有建树的论文已经发表，而且已有很多高质量的开源深度学习框架可供使用。然而，论文通常非常简明扼要并假设读者已对深度学习有相当的理解，这使得初学者经常卡在一些概念的理解上，读论文似懂非懂，十分吃力。另一方面，即使有了简单易用的深度学习框架，如果对深度学习常见概念和基本思路不了解，面对现实任务时不知道如何设计、诊断及调试网络，最终仍会束
流年寂寞了沧桑·2022-07-16 07:57

正则化方法之DropBlock

AregularizationmethodforconvolutionalnetworksGithub：https://github.com/miguelvr/dropblockhttps://github.com/DHZS/tf-dropblock论文主要提出了一种针对卷积层的正则化方法
watersink·2022-07-14 21:01

pyspark案例系列11-ALS推荐算法

文章目录一.需求二.解决方案2.1Spark官网demo2.1.1协同过滤2.1.2显性和隐性反馈2.1.3正则化参数的缩放2.1.4本身的策略2.1.5Python代码2.2ALS算法简要解释2.2.1
只是甲·2022-07-14 07:33

Pyspark 平台的协同过滤推荐算法应用与实现

充分对大数据时代下的Pyspark大数据处理平台原理及架构进行研究，并对ALS协同过滤算法原理研究与其在Pyspark平台上的实现推荐系统应用．实验结果表明，基于Pyspark平台的ALS算法，通过调节正则化参数为
人工智能曾小健·2022-07-14 07:32
上一页 63 64 65 66 67 68 69 70 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他