CS231n深度学习笔记第11页

深度学习与计算机视觉[CS231N] 学习笔记（3.2）：Softmax Classifier（Loss Function）

ZeroZone零域·2023-01-09 19:12

深度学习笔记：安装并使用pytorch的准备工作

查看电脑显卡1.右击此电脑–设备管理器–显示设备器查看电脑驱动信息打开cmd依次输入以下代码，就可以看到显卡驱动的信息了。如图cdC:\ProgramFiles\NVIDIACorporation\NVSMInvidia-smi如上图所示，当前驱动显卡版本为391.25输入nvidia-smi-L命令查看显卡型号：查询显卡驱动与CUDA对应表驱动与CUDA对应表根据这个表中的对应关系安装，当没有版

weixin_45617528·2023-01-09 13:11

PyTorch深度学习笔记（十八）网络模型的保存与读取

课程学习笔记，课程链接在搭建自己的神经网络模型之后，需要将模型进行保存，同时也需要读取或加载现有的神经网络模型。加载代码#File:model_load.pyimporttorch#方式1->保存方式1，加载模型importtorchvisionfromtorchimportnnmodel=torch.load("vgg16_method1.pth")print(model)#方式2，加载模

小于同学饿了·2023-01-09 13:40

深度学习笔记--基于Pytorch搭建VGG16网络

目录1--VGG16网络2--代码实现3--参考1--VGG16网络具体原理参考VGG网络的原论文：VGG原论文VGG16网络结构如下图所示：VGG16网络的实现流程如下图所示：2--代码实现fromtorchimportnnimporttorchclassVgg16_net(nn.Module):def__init__(self):super(Vgg16_net,self).__init__()

憨豆的小泰迪·2023-01-09 13:35

【cs231n Lesson4】Backpropagation

个人学习笔记Date:2023.01.06参考web:cs231n官方笔记简单表达式以及对梯度的解释Expression如下：f(x,y)=xy→∂f∂x=y,∂f∂y=xf(x,y)=xy\space

我什么都不懂zvz·2023-01-09 12:56

【cs231n Assignment1】SVM

个人学习笔记date：2023.01.03GoalsImplementandapplyaMulticlassSupportVectorMachine(SVM)classifier.完成并应用多分类SVM分类器DataLoadingandPreprocessing（一）载入图像数据\color{purple}（一）载入图像数据（一）载入图像数据#LoadtherawCIFAR-10data.cifa

我什么都不懂zvz·2023-01-09 12:26

深度学习笔记

Tensorflow中一般使用四维tensor表示一个mini_batch的图片，四个维度分别是批大小，像素行数，像素列数，通道数[batch,height,weight,channels],如tensor中的元素可以是任意内置类型，常用的为float32.Tensorflow状态操作：VariableAssigeAssignAdd神经网络相关操作：SoftMaxSigmoidReLUConvti

sky_zcan·2023-01-09 11:32

【深度学习笔记】超分辨率方向相关论文汇总【偶尔更新】

说明：除了超分领域的论文外，同时也会附加一些backbone网络或者buildingblock、去噪（Denoise）、去雾（Dehaze）、去雨（Derain）去模糊（Deblur）、修复（Restoration）等对超分领域有启发的相关领域论文！我自己是一枚科研小白，熬肝整理，希望能给大家一些帮助，如果各路大神有比较好的见解、相关资料等等，欢迎在评论区补充，多多交流！标题来源&时间方向源码状态

月满星沉·2023-01-09 08:45

CS231n ConvNet notes 卷积神经网络

https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit卷积神经网络的结构基于一个假设，即输入数据是图像。在CIFAR-10中，图像的尺寸是32x32x3（宽高均为32像素，3个颜色通道），因此，对应的的常规神经网络的第一个隐层中，每一个单独的全连接神经元就有32x32x3=3072个权重。（一个神经元就有很多权重，第一层每个神经元权重

ferb2015·2023-01-09 05:57

吴恩达深度学习笔记最全最详细！这一篇足够了！

为了方便学习深度学习课程，转载一个吴恩达老师的一个深度学习笔记，转载的网站是下面这个https://blog.csdn.net/red_stone1/article/details/80207815从去年

是小李呀~·2023-01-09 00:46

吴恩达深度学习工程师系列课程笔记（Deep Learning Specialization - deeplearning.ai）

深度学习笔记导航前言传送门完结感想前言选择吴恩达的深度学习视频作为入门是明智的选择，我对比过包括动手学深度学习在内的一些入门资料，感觉还是吴恩达的最为通俗易懂，虽然他在RNN那部分讲的一般，但是即使是这样

亦梦亦醒乐逍遥·2023-01-09 00:42

动手学深度学习笔记day3

线性回归线性模型线性假设是指目标（房屋价格）可以表示为特征（面积和房龄）的加权和，或其中，x,w∈损失函数回归问题中最常用的损失函数是平方误差函数。当样本i的预测值为y^(i)，其相应的真实标签为y(i)时，平方误差可以定义为以下公式：为了度量模型在整个数据集上的质量，需计算在训练集n个样本上的损失均值（也等价于求和）。在训练模型时，希望寻找一组参数（w∗,b∗），这组参数能最小化在所有训练样本上

努力学习的廖同学·2023-01-08 16:59

(六) 深度学习笔记｜pytorch官方demo(LeNet-5)上

一、前言前面有写过关于lenet5的博客，若对lenet5可以自行查看https://blog.csdn.net/weixin_45579930/article/details/112277024二、定义神经网络首先我们定义一个类，这个类继承nn.module父类在这个类中定义两个方法：一个是初始化函数实现搭建网络过程中网络层结构一个是在forward函数中定义正向传播的过程，按照forward进

Viviana-0·2023-01-08 15:05

深度学习CV学习笔记（Lenet）

文章目录前言图像分类篇Lenetmodel.pytrain.py导入训练数据导入测试数据关于损失的计算predict.py前言之前苦于CV不知道具体怎么入手，在看完cs231n的课程之后，算是对整体的套路和方法有了大概的认识

蜡笔tiny新·2023-01-08 14:53

深度学习笔记（二）浅层神经网络详细实现（含代码）

简单的引入简单的神经网络示意图如下：其中的每个节点都做着和logistic回归类似的工作，只不过仅输出层计算成本每一层其实就是把前一层输入的特征向量进行预测，并把这些每个节点的预测值作为新的特征向量来传给下一层。简单来说就是把原本可以”具体”反应数据的最原始的特征向量抽象化，而每个节点都有自己的参数最后通过不断迭代，得到满意的参数正向传播首先对于单个样本，在隐藏层：当隐藏层节点数很多时，这样就显得

Vonct·2023-01-08 09:15

时序数据深度学习笔记——DNN（一）

一、深度学习当数据有多个季节周期，很可能会导致残差不是正态分布并且相关，因此无法使用SARIMAX模型，此时便可以通过深度学习利用两个季节的信息来做出预测。对于时间序列预测，一般可以创建三种类型深度学习模型:单步模型、多步模型和多输出模型。单步模式是三种模式中最简单的一种，其输入可以是任意长度，输出是一个单一的值，代表着对未来一个变量的预测。1、线性模型线性模型是深度学习中可以实现的最简单的架构，

HughYue1990·2023-01-07 18:32

DL|深度学习笔记

把自己在学习深度学习过程中搜索的各种问题记到这里。X=torch.normal(0,1,size=(2,1))意思是从均值为0，标准差为1的正态分布中抽取随机数，2行1列，“size=”可以省略不写param-=lr*param.grad/batch_size这就是梯度下降。（-=已存入内存）全连接层：是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来Fashion-MNIST下

difizuhvovs·2023-01-07 13:12

深度学习笔记-使用tensorflow实现数字识别

使用tensorflow实现数字识别1.由于数据集为灰度图，这里实现的仅是进行简单的扁平化处理2.实验所用数据集为tensorflow自带的数据集，只需有网即可自动下载3.完整代码以及注释importmatplotlib.pyplotaspltimporttensorflowastfimportosimportnumpyasnpmnist=tf.keras.datasets.mnist(x_tra

噜啦啦噜啦啦噜啦噜啦嘞噜啦噜啦·2023-01-07 10:34

深度学习笔记018：数据增广与模型微调+Efficientnet微调+unexpected EOF, expected 309663195 more byte

数据增广数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强的方法模型微调“微调我认为是计算机视觉深度学习中最重要的一个技术”“微调我认为是计算机视觉深度学习中最重要的一个技术”“微调我认为是计算机视觉深

FakeOccupational·2023-01-07 09:35

【深度学习笔记（二）】之Softmax分类器

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一.Softmax分类器用SVM损失函数得出的只是一个个的分数，还要通过对比分数来分类。那么，如果直接输出结果为分类的概率，岂不是更好？这里，给出了softmax分类器，直接输出分类的概率。二．Sigmoid函数由于概率是在【0，1】之间，这时就需要引入sigmoid函数Sigmoid函数输入从负无穷到正无穷，输出在【0，1】之间。可以

开发小鸽·2023-01-07 09:17

cs231n 学习笔记（3）- 优化：SGD随机梯度下降

目录1.Introduction2.可视化Lossfunction3.优化3.1Strategy#1:随机搜索3.2Strategy#2:随机局部搜索3.3Strategy#3:沿着梯度方向搜索4.梯度计算4.1数值法4.2分析法5.梯度下降6.总结1.Introduction上一节学习了图像分类中的两个重要概念：scorefunction和lossfunction。线性函数,SVM损失为：公式（

RaymondLove~·2023-01-07 08:40

斯坦福cs231n课程记录——assignment1 Two-layer neural network

目录two-layerneuralnetwork原理某些API解释two-layerneuralnetwork实现作业问题记录two-layerneuralnetwork优化two-layerneuralnetwork运用参考文献一、两层神经网络原理通过搭建两层神经网络对图片进行分类。二、某些API解释三、实现1.定义一个类：classTwoLayerNet(object):def__init__

临江轩·2023-01-07 07:43

吴恩达深度学习1笔记week3——浅层神经网络 One hidden layer Neural Network

吴恩达深度学习笔记week3——浅层神经网络OnehiddenlayerNeuralNetwork3.1神经网络概览NeuralNetworksOverview!

Saulty·2023-01-07 07:01

深度学习笔记：神经网络（2）

对于神经网络上一篇文章，可见：https://blog.csdn.net/Raine_Yang/article/details/128473486?spm=1001.2014.3001.5501神经网络各层信号传递的实现：对于全连接网络，连接权重的个数为（前一层神经元总数*后一次神经元总数），偏置量（即图中的1）连接权重个数为后一次神经元个数对于上图，a1的值即为：如果要计算第一层加权和，可以使用

Raine_Yang·2023-01-07 06:54

动手深度学习笔记（十三）3.6. softmax回归的从零开始实现

动手深度学习笔记（十三）3.6.softmax回归的从零开始实现3.线性神经网络3.6.softmax回归的从零开始实现3.6.1.初始化模型参数3.6.2.定义softmax操作3.6.3.定义模型3.6.4

落花逐流水·2023-01-06 11:50

【深度学习笔记（十六）】之tensorflow2中模型的保存与恢复

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一．tensorflow2中模型的保存（一）概述Tensorflow2中提供了tf.train,Checkpoint这个变量保存与恢复类，可以使用save()和restore()方法将Tensorflow中所有包含CheckPointableState的对象进行保存和恢复。如，优化器tf.keras.optimizer，变量tf.Var

开发小鸽·2023-01-06 08:53

动手学深度学习笔记-线性回归的简洁实现

文章目录引入所需库生成带噪声的人造数据集随机取小批量函数定义线性回归模型（线性神经网络）初始化模型参数定义损失函数定义小批量随机梯度下降优化算法训练模块引入所需库importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2lfromtorchimportnn#nn为神经网络的缩写生成带噪声的人造数据集#生成带噪声

lalula1999·2023-01-06 04:10

深度学习笔记4：线性回归+基础优化方法

线性回归应用：如何在美国买房（房价预测问题）房价预测一个简化模型假设1：影响房价的关键因素是卧室个数、卫生间个数、居住面积，记为x1，x2，x3假设2：成交价是关键因素的加权和（权重和偏差的实际值在后面决定）线性模型给定n维输入x=[x1,x2,…,xn]T线性模型有一个n维权重和一个标量偏差w=[w1,w2,…,wn]T,b输出是输入的加权和y=w1x1+w2x2+…+wnxn+b向量版本：y=

燏羡·2023-01-06 04:09

动手学深度学习笔记-线性回归的从零开始实现

文章目录引入所需库生成带噪声的人造数据集随机取小批量函数定义线性回归模型定义损失函数定义小批量随机梯度下降优化算法初始化模型参数训练模块引入所需库若有ModuleNotFoundError:NoModulenamed'matplotlib_inline’错误，可参考博客生成带噪声的人造数据集#生成带噪声的人造数据集w=[2,-3.4]Tb=4.2defsynthetic_data(w,b,num_

lalula1999·2023-01-06 04:09

动手学深度学习笔记1-线性回归从0到1实现

fromIPythonimportdisplayfrommatplotlibimportpyplotaspltfrommxnetimportautograd,ndimportrandom#生成数据集，训练数据集样本数1000，输入个数特征数2num_inputs=2num_examples=1000#真实权重true_w=[2,-3.4]#偏差true_b=4.2features=nd.rando

输入法打可爱按第五·2023-01-06 04:09

动手学深度学习笔记第二章（预备知识）

研0深度学习小白，python也忘了很多，学习沐神的课程顺便记录一下笔记和自己遇到的一些疑问2.1数据操作求张量的形状和元素总数x=torch.arange(12)x.shape#torch.size(12)x.numel()#12reshape中的-1自动计算维度x.reshape(-1,4)==x.reshape(3,4)torch.randntorch.randn(3,4)#3行4列的均值为

冬青庭院·2023-01-06 04:09

动手学深度学习笔记第三章（线性回归网络）

3.1线性网络偏置目的是当所有特征都为0时，预测值应该为多少。线性公式就是一种放射变化，放射变化是通过加权和对特征进行线性变换，而偏置项则是来进行平移。梯度下降小批量样本回归：随机抽样一个小批量的训练样本，然后计算小批量的平均损失关于模型参数的导数（梯度）。复习python面向对象：类有一个名为init()的特殊方法（构造方法），类的实例化操作会自动调用init()方法。如下实例化类MyClass

冬青庭院·2023-01-06 04:08

2020-3-7 深度学习笔记13 - 线性因子模型 2（慢特征分析SFA，稀疏编码，PCA的流形解释）

第十三章线性因子模型官网原版2020-3-6深度学习笔记13-线性因子模型1（降维技术：概率主成分分析PCA和因子分析，独立成分分析ICA）慢特征分析(SlowFeatureAnalysis,SFA)慢特征分析是使用来自时间信号的信息学习不变特征的线性因子模型

没人不认识我·2023-01-05 22:45

2020-3-6 深度学习笔记13 - 线性因子模型 1（降维技术：概率主成分分析PCA和因子分析，独立成分分析ICA）

第十三章线性因子模型官网原版许多深度学习算法被设计为处理无监督学习问题，但不像深度学习已经在很大程度上解决了各种任务的监督学习问题，没有一个算法能以同样的方式真正解决无监督学习问题。无监督学习困难的核心原因是被建模的随机变量的高维度。这带来了两个不同的挑战：统计挑战和计算挑战。统计挑战与泛化相关：我们可能想要区分的配置数会随着感兴趣的维度数指数增长，并且这快速变得比可能具有的（或者在有限计算资源下

没人不认识我·2023-01-05 22:44

深度学习颜色识别_吴恩达深度学习笔记(136) | 语音识别

语音识别(Speechrecognition)现今，最令人振奋的发展之一，就是seq2seq模型(sequence-to-sequencemodels)在语音识别方面准确性有了很大的提升。这门课程已经接近尾声，现在我想通过剩下笔记，来告诉你们，seq2seq模型是如何应用于音频数据的(audiodata)，比如语音(thespeech)。什么是语音视频问题呢？现在你有一个音频片段x(anaudio

weixin_39747577·2023-01-05 11:53

深度学习笔记（2）——神经网络的组成

神经网络由这几部分组成1、层2、输入数据和相应的目标3、损失函数：用于学习的反馈信号4、优化器：决定学习过程如何进行层：神经网络的基本数据结构；图像数据保留在4D张量中，一般用二维卷积层来处理损失函数和优化器：损失函数——在训练过程中需要将其最小化，它能衡量当前任务是否成功完成优化器——决定如何根据损失函数对神经网络的参数进行更新，它执行的是随机梯度下降的某个变体。神经网络的优化过程：1）抽取训练

岁月静好tjj·2023-01-05 09:58

深度学习笔记（一）——什么是神经网络

生物学中的神经元的定义神经元有很多种类，下图就是其中的一种，锥体神经元。它由三部分组成，分别是树突，胞体和轴突。树突是接受输入，轴突是用于输出的。神经元的树突在接收到特定的输入刺激后，其胞体就会被激活，并通过轴突向其它神经元或神经元群输出兴奋，从而导致更多的神经元被激活，形成此起彼伏的神经元网络激活现象，而神经元间的有序激活就是产生我们的思维和行为的根本原因。神经元由静息态切换为发放动作电位状态，

yangmishiwonvshen·2023-01-05 09:43

深度学习笔记——生成模型

什么是生成模型生成模型可以描述一个生成数据的模型，属于一种概率模型。通过这个模型我们可生成不包含在训练数据集中的新的数据。每次生成模型要输出不同的内容。如果说某些特定的图片服从某些概率分布，生成模型就是尽可能的去模仿这个概率分布产生新的图像。生成模型和判别模型的区别判别模型可以简单的理解为分类生成模型的数据集是没有和判别模型类似的lable的（即标记信息，生成模型也是可以有标签的，生成模型可以根据

不愿透露姓名的小段·2023-01-05 02:28

Transformer - PyTorch

动手学深度学习笔记一、模型1.基于位置的前馈神经网络2.残差连接和层归一化二、编码器三、解码器四、训练和预测一、模型Transformer模型是完全基于注意力机制，所以在学习Transformer之前要知道什么是注意力

葫芦娃啊啊啊啊·2023-01-04 20:39

深度学习笔记（1）：caffe 添加新层 attention LSTM layer和LSTM layer代码精读

总结一下最近的工作：LSTMlayer代码，caffe加入新层AttentionLSTMlayerLSTMlayer关键代码如下，可以参考图1进行阅读，图一来自博客namespacecaffe{templatevoidLSTMLayer::RecurrentInputBlobNames(vector*names)const{names->resize(2);(*names)[0]="h_0";(*

少年冬郎·2023-01-04 14:20

cs231n作业：Assignment1-KNN

note:曼哈顿距离依赖于坐标系统的选择（向量中的元素可能都有实际的意义）d1(I1,I2)=∑p∣I1p−I2p∣d_{1}(I_{1},I_{2})=\sum_{p}|I_{1}^{p}-I_{2}^{p}|d1(I1,I2)=∑p∣I1p−I2p∣欧式距离对距离的排序不会受到坐标系统的影响d2(I1,I2)=∑p(I1p−I2p)2d_{2}(I_{1},I_{2})=\sqrt{\sum_

mrcoderrev·2023-01-04 11:40

cs231n学习笔记 assignment1 knn

**cs231n学习笔记assignment1knn**线性分类器–K近邻分类器：测试图片与和他相邻最近的K个训练集图片比较，然后将它认为最相似的那个训练集图片的标签赋给这张测试图片。

544_·2023-01-04 11:08

CS231n KNN笔记

CS231nKNN笔记文章目录CS231nKNN笔记1.参考课程笔记翻译2.笔记内容摘录2.1.最近邻和K-近邻思想简述2.2准确率2.3.

Cc1924·2023-01-04 11:36

cs231n_2020 作业knn笔记

L2距离公式：代码笔记：1.notbook导入包设置plt#此处为notebook部分代码importrandomimportnumpyasnpfromcs231n.data_utilsimportload_CIF

一个客户，两个客户·2023-01-04 11:35

cs231n 笔记 NN&KNN

很多计算机视觉问题能转化为图片分类问题。图片分类中有那些问题：1.角度变化2.大小变化3.形状变化，物体不一定是刚体，有可能极端变形4.部分遮挡5.光照条件6.背景杂斑7.同一物体但是外观不同，比如椅子，可能有很多种不同的外观图片分类问题所用到的方法一般是数据驱动的方法NN算法：1.训练时只是记住所有训练数据2.分类预测时把测试数据和所有记住的数据比较，找出距离最小的那张图的标签值，即为预测值KN

lzy我就来随便逛逛·2023-01-04 11:05

CS231n Assiganment#1解析（一）——KNN

前言前段时间学习了深度学习入门课程斯坦福CS231n，巩固和理解课程的最佳方式就是完成课后代码作业。在这里记录下本人对作业的思考和解析，以供大家参考。关于CS231n学习笔记翻译，强烈推荐知乎专栏。

不觉岁华成暗度·2023-01-04 11:34

cs231n笔记（1）——-KNN算法

图像分类：KNN算法（K—最近邻算法）一.定义定义：KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。（K在此例中为圆的半径）二.解释比如此例子中绿色为需判断类。当K=1时（即实线圆），红色三角占2/3，所以我们人为样本也是红

陈路飞·2023-01-04 11:30

2020 cs231n 作业1笔记 knn

作业链接：cs231n官网Assignment1刚开始遇到一个坑，就是py文件老是没保存，后来才知道需要运行.ipynb文件后面的代码来保存py文件打开knn.ipynb，首先要实现的是cs231n/classifiers

cheetah023·2023-01-04 11:00

[cs231n]Assignment1_Knn 代码学习

部分资料来源于网络，仅做个人学习之用目录1.DownloadtheCIFAR10datasets,andloadit2.DefineaKNearestNeighborClass3.TrainandTest4.CrossValidation1.DownloadtheCIFAR10datasets,andloaditSetupcodeimportrandomimportnumpyasnpfromcs2

Rookie’Program·2023-01-04 11:59

【cs231n Lesson3】Optimization, Gradient descent

个人学习笔记date：2023.01.03参考网站：cs231n官方笔记Optimization损失函数让我们知道权重矩阵W\boldWW的质量；优化的目的则是让我们找到合适的W\boldWW使得损失函数更小

我什么都不懂zvz·2023-01-04 11:58

推荐频道

CS231n深度学习笔记