CS231n深度学习笔记第25页

动手学习深度学习笔记3：Sequential构建模型与参数初始化

一、利用Module的Sequential子类构建模型Module类是一个通用的模型构造类，是所有神经网络模块的基类。可以基于该类构建神经网络的层（layer,如Linear层）或者直接构建模型。继承该函数一般需要重载__init__函数和forward函数,分别用于创建模型参数和定义前向计算。除了采用直接继承定义模型以外，pytorch还提供了更加还实现了继承自Module的，可以方便构建模型的

GISTransport 农场·2022-08-07 07:32

深度学习笔记（七）—— 初始化权值[Weight Initialization]

这是深度学习笔记第七篇，完整的笔记目录可以点击这里查看。首先说一个误区，那就是将所有权值都初始化为0。

zeeq_·2022-08-07 07:01

深度学习笔记-013 模型权重保存

保存模型参数state_dict就是一个简单的Python字典，它将模型中的可训练参数（比如weights和biases，batchnorm的running_mean、torch.optim参数等）通过将模型每层与层的参数张量之间一一映射，实现保存、更新、变化和再存储。首先定义模型的保存位置和文件名（以.pth结尾）再save模型权重到固定路径PATH='./my_net.pth'torch.sa

地表最菜研究生·2022-08-07 07:28

深度学习笔记-10.几种权重初始化方法

深度学习中神经网络的几种权重初始化方法https://zhuanlan.zhihu.com/p/25110150https://blog.csdn.net/attitude_yu/article/details/81458172https://www.cnblogs.com/hutao722/p/9796884.html目录梯度爆炸和梯度消失的原因一、常数初始化(constant)二、随机分布初始

业余狙击手19·2022-08-07 07:27

深度学习笔记(6.DNN初始化权重和损失nan坑)

前言权重初始化程序实现比较简单，修改dnn代码很少。不同初始化方式对结果影响很大。这部分根据课件实现了3中初始化方法，基本就是copy代码。但是这部分遇到了一个大坑，梯度爆炸还是消失。导致random随机初始化调试了好久才和课件上边的结果对上。这个目前还说不清楚，只能给出实验结果和程序修改过程，说一下大致数据变化。代码已更新程序地址：https://github.com/Constellation

迷茫猿小明·2022-08-07 07:11

吴恩达深度学习笔记-超参数调试、Batch正则化(第6课)

超参数调试一、调试处理二、为超参数选择合适的范围三、超参数训练的实践:PandasVSCaviar四、正则化网络的激活函数五、将BatchNorm拟合进神经网络六、BatchNorm为什么奏效？七、测试时的batchnorm八、softmax回归九、训练一个softmax分类器十、深度学习框架十一、Tensorflow一、调试处理在模型训练中需要调试许多超参数，例如：(1)学习率α；(2)动量下降

郭少的研究生笔记·2022-08-07 07:09

深度学习笔记-----归一化方法BN

1,概述1.什么是归一化：归一化又称规范化，并不是一个完全定义好的数学操作，通常是指将数据进行偏移和尺度缩放。是数据预处理中常用的手段。一般是将输入的数据约束固定到一定的范围如【0,1】。没有固定的数学表达式，根据需求定义将数据规定到一定范围内的数学表达式；2.归一化方法的目的：实际上是通过采取不同的变换方式使各层的的输入数据近似满足独立的分布条件，并将各层的输出限定在一定的范围3.在深度学习中常

YOULANSHENGMENG·2022-08-07 07:09

深度学习经典数据集汇总

深度学习数据集Author：louwillFrom：深度学习笔记很多朋友在学习了神经网络和深度学习之后，早已迫不及待要开始动手实战了。第一个遇到的问题通常就是数据。

louwill12·2022-08-04 20:27

【深度学习】深度学习经典数据集汇总

深度学习数据集Author：louwillFrom：深度学习笔记很多朋友在学习了神经网络和深度学习之后，早已迫不及待要开始动手实战了。第一个遇到的问题通常就是数据。

风度78·2022-08-04 20:25

深度学习与计算机视觉教程(13) | 目标检测 (SSD,YOLO系列)（CV通关指南·完结）

ShowMeAI·2022-08-03 07:44

01.吴恩达神经网络与深度学习笔记（详细+不断更新）

人工智能交流群~小白零基础学习群Q711703402目录第一周：深度学习概论1.1深度学习与机器学习的关系1.2什么是神经网络？1.3用神经网络进行监督学习1.神经网络创造应用案例2.机器学习对结构化与非结构化数据的应用1.4为什么神经网络会兴起？（1遍过）1.5关于这门课可以学到什么？深度学习最重要的基础第二周：神经网络的编程基础2.1二分类1.什么是二分类2.补充：图片在计算机中如何表示3.本

玉一·2022-07-30 07:11

深度学习笔记（四）——pytorch实现神经网络案例

利用pytorch的nn工具箱，构建一个神经网络神经网络核心组件及其关系图神经网络的核心组件神经网络关键组件相互关系图神经网络实例背景说明神经网络结构代码示例导入必要的模块定义一些超参数下载数据并对数据进行预处理可视化源数据构建模型训练模型可视化训练及测试损失值如何构建神经网络构建网络层前向传播反向传播训练模型参考文献神经网络核心组件及其关系图神经网络的核心组件（1）层：神经网络的基本结构，将输入

小白成长之旅·2022-07-28 07:46

《深度学习》(美)Ian Goodfellow 花书简要笔记（第二部分：深度网络）

Taowenx·2022-07-25 07:30

深度学习笔记（二）图像分类实践

深度学习笔记（二）图像分类实践使用keras中的ResNet模型进行图像处理记忆预测importkeras#importtensorflowfromkeras.applications.resnet_v2importpreprocess_input

小菜·2022-07-21 18:29

CS231n 之 INTRODUCTION

一.一些前导和同步课程CS131：ComputerVision:FoundationsandApplicationsCS231a：ComputerVision,from3DReconstructiontoRecognitionCS224n:NaturalLanguageProcessingwithDeepLearningCS230:DeepLearning，AndrewNg二.计算机视觉的发展历程

戈扬·2022-07-19 20:58

重磅 | 李飞飞 CS231n 官方笔记授权翻译正式发布！

她在斯坦福开设的机器视觉课程CS231n一直以来都是王牌课程，惠及数十万的人工智能爱好者。笔者最近在知乎发现@杜客及其团队发布了该课程非常全面的官方中文翻译笔记，特此整理出来，供大家交流学习！

weixin_33671935·2022-07-19 20:51

深度学习笔记[1]: CNN for CV斯坦福CS231n (1)

XiaoPing88Eric·2022-07-19 19:52

CS231n——指南向report1及assignment1 solution

Lecture1CourseIntroductionLecture2ImageClassification图像识别的困难向量范数度量图片差异验证集用于超参数调优及交叉验证Assignment1k-NN算法原理代码分析k-NN评价Lecture3LossFunctionsandOptimization线性分类器LinearClassifier?Templatematching!Biastrick,I

V2beach·2022-07-19 19:50

[CS231N]Notes_1-Introduction

本节主讲人：JustinJohnsonNotes本节主讲人：JustinJohnson，2017年的第三次CS231N的课程。

GRF-Sunomikp31·2022-07-19 19:34

深度学习笔记（四）：卷积神经网络week2--深度卷积网络：实例探究

1.为什么要进行实例探究（Whylookatcasestudies）本周课程将主要介绍几个典型的CNN案例。通过对具体CNN模型及案例的研究，来帮助我们理解知识并训练实际的模型。典型的CNN模型包括：LeNet-5AlexNetVGG除了这些性能良好的CNN模型之外，我们还会介绍ResidualNetwork（ResNet）。其特点是可以构建很深很深的神经网络（目前最深的好像有152层）。另外，还

还好江南·2022-07-13 07:38

CS231n课程笔记翻译：卷积神经网络笔记

CS231n课程笔记翻译：卷积神经网络笔记笔记译自斯坦福CS231n课程笔记ConvNetnotes，课程教师AndrejKarpathy授权翻译。

AndrewZhou924·2022-07-13 07:17

深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU损失函数分析及Pytorch实现

文章目录IOU-lossGIOU-lossDIOU-lossCIOU-lossEIOU-loss和FocalEIOU-lossalphaIOU总对比参考链接：IOU-loss算法作用：Iou的就是交并比，预测框和真实框相交区域面积和合并区域面积的比值，计算公式如下，Iou作为损失函数的时候只要将其对数值输出就好了。算法代码：defIou_loss(preds,bbox,eps=1e-6,reduc

ZZY_dl·2022-07-12 07:28

HALCON 21.11：深度学习笔记---异常检测(9)

HALCON21.11：深度学习笔记---异常检测(9)HALCON21.11.0.0中，实现了深度学习方法。本章介绍了如何使用基于深度学习的异常检测。通过异常检测，我们想要检测图像是否包含异常。

机器视觉001·2022-07-12 07:58

HALCON 20.11：深度学习笔记(9)---异常检测

HALCON20.11：深度学习笔记(9)---异常检测HALCON20.11.0.0中，实现了深度学习方法。本章解释了如何使用基于深度学习的异常检测。通过异常检测，我们想要检测图像是否包含异常。

机器视觉001·2022-07-12 07:27

深度学习笔记------注意力机制

目录1.什么是注意力机制1.1Encoder-Decoder框架（编码-解码框架）1.2注意力的基础模型2空间注意力模型2.1什么是空间注意力模型2.2典型的空间注意力模型3通道注意力机制3.1什么是通道注意力3.2通道注意力机制典型网络4空间和通道混合注意力机制5，总结1.什么是注意力机制当我们人类在看东西时，一般会将注意力集中注视着某个地方，而不会关注全部所有信息。例如当我们一看到下面这张猫的

YOULANSHENGMENG·2022-07-10 13:54

深度学习笔记（40） YOLO

深度学习笔记（40）YOLO1.YOLO对象检测算法2.构造训练集3.预测3.非极大值抑制1.YOLO对象检测算法之前已经学到对象检测算法的大部分组件：博文组件作用深度学习笔记（32）目标定位目标定位标记目标位置深度学习笔记

氢键H-H·2022-07-03 07:12

YOLOv5 使用入门

YOLOv5使用入门1.源码准备2.例子3.运行1.源码准备在很早之前，在《深度学习笔记（40）YOLO》提及到YOLO目标检测目前已经出到了YOLOv5，源码放在Github上$gitclonehttps

氢键H-H·2022-07-03 07:27

动手学深度学习笔记（一）——权重衰退

一直在csdn上学习别人发的博客，第一次尝试自己写博客，今天周日，在实验室小学一会，发现自己有些不明白的点突然想明白了，想记录一下在学习过程中遇到的难点或者有些迷惑的地方，希望自己以后能掌握牢固，并把自己的一些看法分享给大家，欢迎一起讨论。目录一、引言二、权重衰退的作用和原因1、为什么权重矩阵稀疏可以防止过拟合?2、为何权重参数w减小就可以防止过拟合?其他缓解过拟合的方法：三、权重衰退的实现通过限

SaltyFish_Go·2022-07-01 07:03

跟着李沐大神动手深度学习笔记——权重衰退

使用均方范数作为硬性限制如下所示，其中l是我们要优化的损失函数，w和b是两个参数。w为权重，b为偏移，使用均方范数作为柔性限制以上可以通过拉格朗日乘子来证明，超参数λ\lambdaλ控制了正则项的重要程度。其中，w∗w^*w∗表示www的最优解。λ=0:\lambda=0:λ=0:无作用，即不会影响w的取值，等价于之前的θ−>∞\theta->\inftyθ−>∞λ−>∞\lambda->\inf

非生而知之者·2022-07-01 07:41

深度学习笔记（4）: Xavier神经网络参数初始化方法

代码：defxavier_init(fan_in,fan_out,constant=1):low=-constant*np.sqrt(6.0/(fan_in+fan_out))high=constant*np.sqrt(6.0/(fan_in+fan_out))returntf.random_uniform((fan_in,fan_out),minval=low,maxval=high,dtype

梅津太郎·2022-07-01 07:19

深度学习笔记 —— 权重衰退 + 丢弃法

硬性限制柔性限制“罚”（即后一项）的引入，使得最优解往原点走，使得w的绝对值会小一些，从而降低了整个模型的复杂度为什么要用权重衰退呢？因为数据中有噪音存在，往往使得w比较大，从而使模型得到的解与最优解相比，w会比较大。当我们采用权重衰退的方法以后，会把w拉小，因此更容易将解拉到最优解附近。此处噪音不是指固定噪音，而是随机噪音。加入了噪音，但并不希望期望有所改变dropout是一个正则项，正则项只在

Whisper_yl·2022-07-01 07:10

深度学习与计算机视觉教程(8) | 常见深度学习框架介绍（CV通关指南·完结）

ShowMeAI·2022-06-30 07:05

【深度学习笔记】自建交通标志分类数据集转换为MNIST数据格式

文章目录前言一、自建交通标志分类数据集并做预处理1.RGB图像转灰度图像2.灰度图像缩放为28*28尺寸二、转换为MNIST数据格式1.转换代码如下2.转换过程打印如下3.最终转换结果总结前言提示：个人分类数据集预处理：MNIST是经典的手写数字分类数据集，数据集中的图像是灰度图像，图像格式为png，图像尺寸为28*28，最主要的是MNIST数据集格式如下图所示。我们怎么把自己制作的分类数据集中j

雨果先生·2022-06-30 07:58

【深度学习笔记】飞桨PP-PicoDet算法训练自己数据（过程超详细）

前言最近在研究目标检测算法–PP-PicoDet算法（百度自研**)，2021年11月份新鲜出炉。官方介绍说，性能优于YOLOV5、YOLOX等算法，主要是轻量化部署贡献很大，比如在相同的精度下，PP-PicoDet推理速度高出YOLOv5s44%，可谓NB，所以作者第一步先搭建环境，试跑一下，记录使用PP-PicoDet算法在paddle框架下训练模型的整个过程，供大家参考交流，欢迎提问。PP-

雨果先生·2022-06-30 07:28

【深度学习笔记】目标检测之区域入侵判断代码

应用背景目标检测应用落地时，经常会有区域入侵的判断需求，本文主要记录一种简单高效的判断方法。不过区域划分目前只能是矩形，还不支持不规则区域。思路判断目标框是否与矩形区域有重叠。区域入侵代码代码片.#include#includeusingnamespacestd;typedefstructrectangle{floatcenterX;floatcenterY;floatwidth;floathei

雨果先生·2022-06-30 07:57

CS231n-2022 Module1: 神经网络要点概述（2）

1.前言本文编译自斯坦福大学的CS231n课程（2022）Module1课程中神经网络部分的内容：【1】NeuralNetworksPart2:SettinguptheDataandtheLoss2.ModellingOneneuronTobeadded

笨牛慢耕·2022-06-30 07:46

迁移学习技巧以及如何更好的finetune 模型

文章参考翻译自cs231n其实我们常用的直接finetunepre-trainedmodel就属于迁移学习（TransferLearning）的一种。

code_Rocker·2022-06-26 07:54

深度学习笔记七：循环神经网络RNN(基本理论)

参考:RECURRENTNEURALNETWORKSTUTORIAL,PART1–INTRODUCTIONTORNNSACriticalReviewofRecurrentNeuralNetworksforSequenceLearning李宏毅机器学习(2017)为了印象更加直观,这里贴一个前面例子的动图.到这里,关于RNN最基本的概念和运算方式就讲完了.---------------------本

喜欢打酱油的老鸟·2022-06-23 22:40

基于Seq2Seq的机器翻译-PyTorch

动手学深度学习笔记一、机器翻译1.下载和预处理数据集2.构建词表3.加载数据集二、编码器-解码器架构三、Seq2Seq1.编码器2.解码器3.损失函数4.训练5.预测6.预测序列的评估一、机器翻译机器翻译指将序列从一种语言自动翻译成另一种语言

葫芦娃啊啊啊啊·2022-06-23 07:40

深度学习笔记（三十四）经典卷积神经网络：LeNet-5 AlexNet VGG-16

文章目录一、LeNet-5二、AlexNet三、VGG-16一、LeNet-5CONV16个过滤器，过滤器尺寸为5，步长为1，填充为0POOL1过滤器尺寸为2，步长为2CONV216个过滤器，过滤器尺寸为5，步长为1，填充为0POOL2过滤器尺寸为2，步长为2FC3全连接层120个神经元FC4全连接层84个神经元OUTPUT输出层10个神经元Softmax回归需要注意的几点：在LeNet-5中，池

Mr.zwX·2022-06-23 07:02

用RNN & CNN进行情感分析 - PyTorch

动手学深度学习笔记一、情感分析及数据集1.读取数据集2.预处理数据集二、利用RNN进行情感分析1.使用RNN表示单个文本2.加载预训练的词向量3.训练和评估模型4.预测三、利用CNN进行情感分析1.一维卷积

葫芦娃啊啊啊啊·2022-06-23 07:12

李宏毅深度学习笔记 ---- 简介

文章目录概述大致类别回归二分类多分类生成具体方式监督学习增强学习无监督学习前沿研究异常检测迁移学习领域对抗学习元学习终身学习后话概述简单来说，深度学习的目的在与找到一个函数，并且该函数能帮助我们完成一些任务。至于是怎么样的一个数学函数，可能目前没人能够给出十分准确的解释，也没有人能够写出类似的复杂的数学函数。大致类别回归回归的目的，在于能够利用输入的数据和函数，来输出一个数值，整个流程可以用下图为

时闻折竹·2022-06-18 07:14

【深度学习笔记】五步教你使用Pytorch搭建神经网络并训练

文章目录前言一、准备数据&加载数据1.准备数据（分类）2.加载数据二、定义损失函数1自定义损失函数或者使用Pytorch中现有的三、定义网络四、定义优化器五、迭代训练总结前言针对刚接触深度学习的小伙伴，肯定很想自己亲手搭建一个网络模型，训练模型。今天作者就五步教大家简单快速搭建一个分类网络，并训练模型，希望对初学者有一定帮助，欢迎大家收藏关注，作者将不断分享更新深度学习中的一些重要知识点。一、准备

雨果先生·2022-06-18 07:40

【深度学习】：《PyTorch入门到项目实战》（十三）卷积神经网络：多通道输入和多通道输出

【深度学习】：《PyTorch入门到项目实战》（十三）卷积神经网络：多通道输入和多通道输出✨本文收录于【深度学习】：《PyTorch入门到项目实战》专栏，此专栏主要记录如何使用PyTorch实现深度学习笔记

JoJo的数据分析历险记·2022-06-17 07:34

Sigmoid和Relu激活函数的对比

深度学习笔记（4）——Sigmoid和Relu激活函数的对比https://blog.csdn.net/qq_21190081/article/details/64127103Relu是一个非常优秀的激活哈数

bl128ve900·2022-06-17 07:41

深度学习与计算机视觉教程：斯坦福CS231n · 全套笔记解读

ShowMeAI·2022-06-17 07:09

注意力、自注意力和多头注意力

动手学深度学习笔记一、注意力评分函数1.maskedsoftmax2.加性注意力3.缩放点积注意力二、使用注意力机制的Seq2Seq1.重新定义上下文向量2.定义注意力解码器三、多头注意力1.模型2.代码实现四

葫芦娃啊啊啊啊·2022-06-16 01:35

深度学习与计算机视觉教程(15) | 视觉模型可视化与可解释性（CV通关指南·完结）

本文讲解了一些理解CNN可视化的方法（特征、滤波器可视化），以及一些有趣的应用，如DeepDream、图像神经风格迁移（特征反演+纹理生成）等【对应CS231nLecture12】

ShowMeAI·2022-06-14 10:00

【深度学习】：《PyTorch入门到项目实战》（十二）卷积神经网络：填充(padding)和步幅(stride)

深度学习】：《PyTorch入门到项目实战》（十二）填充(padding)和步幅(stride)✨本文收录于【深度学习】：《PyTorch入门到项目实战》专栏，此专栏主要记录如何使用PyTorch实现深度学习笔记

JoJo的数据分析历险记·2022-06-14 10:14

深度学习（十二）：经典CNN

编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理深度学习500问笔记下载：深度学习个人笔记完整版CNN网络发展CNN受生物自然视觉认知机制启发而来。

打不死的小黑·2022-06-13 13:32

推荐频道

CS231n深度学习笔记