CS231n深度学习笔记第12页

【cs231n Lesson3】Linear classifier, Loss function

个人学习笔记date:2023.01.02参考网址:CS231N官方笔记线性分类线性分类KNN有几个缺点：分类器需要存储训练集，以便于和测试图像比对。有时候训练集会达到gigabytes百亿字节。

我什么都不懂zvz·2023-01-04 11:28

cs231n作业Assignment1 knn

k-NearestNeighbor(kNN)exercisekNN分类器包含两个阶段:1.训练阶段：kNN分类器获取训练数据集，并进行存储2.测试阶段：kNN分类器将每个测试图像与所有训练图像进行比较，计算出两者之间的距离。找出k张距离最近的训练图像，在这k张距离最近的训练图像中，选择标签类别占多数的类别，作为测试图像的类别。k值的交叉验证通过交叉验证得到最优的k值#Runsomesetupcod

我是蓝银草·2023-01-04 11:58

【cs231n assignment1】KNN

个人学习笔记date：2023.01.02Goals理解图像分类步骤以及数据驱动方法（训练、预测阶段）理解如何分配训练、验证、测试集，并使用验证集进行超参数调参掌握使用Numpy书写高效向量代码的能力完成并应用KNN分类器数据集及其处理#Subsamplethedataformoreefficientcodeexecutioninthisexercisenum_training=5000mask=

我什么都不懂zvz·2023-01-04 11:25

深度学习笔记-自适应选择感受野

概述最近对卷积神经网络中的“自适应调整感受野”这样的操作很感兴趣，从字面的意思可以理解：如果可以自适应的调整感受野的大小，其背后说得应该就是自适应的选择卷积核的大小。看上去不难理解，但是仔细想想，大多的网络模型，他的BankBone和Neck和Prediction三个网络组成了神经网络，作为特征提取，卷积核是关键因素，卷积核都是固定设置的，那么如何做到对于输入的特征图，做到自适应的选择卷积核。所以

勇敢牛牛@·2023-01-04 10:39

[深度学习笔记一] batch大小对训练的影响

batch的选择，决定的是梯度下降的方向。对小的数据集，可以采用FullBatchSize,这样可以更加准确地找出最佳的梯度方向。但是不同的权重的梯度值差距巨大，因此选择全局学习率困难。可以使用Rprop单独更新各权值对大的数据集，全部载入数据，会被内存大小限制，Rprop会因为采样差异性，导致梯度互相抵消。在合理范围内，增大batch，可以提高内存利用率，更快地跑完一次数据集，下降方向更准，减少

小牛有梦想·2023-01-04 08:57

深度学习笔记01

1、下周计划（周四之前）：完成深度学习的基本环境搭建。包括在Linux环境中安装显卡驱动、CUDA驱动、CUDNN、Anaconda，利用Anaconda创建虚拟环境，虚拟环境下安装Pytorch库。注意Pytorch安装gpu版本，并与显卡要求的版本对应。显卡驱动安装：(46条消息)安装linux下显卡驱动_木黎.的博客-CSDN博客_linux安装显卡驱动CUDA等环境配置：(46条消息)【L

laihan1227·2023-01-03 08:01

台大应用深度学习笔记

deeplearningend-to-endtraining1.神经元1.1为什么需要bias？为了给对应位置一个prior，给它一个初始值，b越大，σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1越大，越趋向于1.多层神经网络：神经网络输入输出关系3.激活函数3.1为啥要非线性激活函数？4.模型评估：LossFunctioncrossentro

紫砂痕·2023-01-03 06:58

【学习周报】研究生深度学习笔记9.12~9.17

学习目标：深度学习花书一篇A类会议论文学习内容：蒙特卡罗方法——深度学习第十七章GL-RG:Global-LocalRepresentationGranularityforVideoCaptioning（IJCAI2022）了解退火算法认识MSR-VTT和MSVD了解BLEU，METEOR，ROUGE，CIDEr四种评价指标了解强化学习学习时间：9.12~9.17学习输出：蒙特卡罗方法——深度学习

Bohemian_mc·2023-01-02 18:52

深度学习笔记1：RNN神经网络及实现

首先贴出一张一般的神经网络应该有的结构图：输入层是数据输入层，隐层是模型训练的权重，输出层是经过激活函数后得出的特征。在深度学习这个领域之中，既然我们已经有了比较完善的人工神经网络和卷积神经网络，那为什么还要用循环神经网络呢？我们知道，一张图片中，各个像素点之间是没有逻辑关系的，我们输入一张图片，无论是在左上角开始输入还是在右下角输入，最终得到的结果分类都是一样的，这也就说明图像之间没有存在必然的

陆撄宁·2023-01-01 19:40

深度学习笔记-----增加网络不变性的方法（对空间变换网络和数据增强的方法进行了总结）

目录1，常见的变换2，从模型本身获取不变性2.1从网络结构获取不变性2.2学习数据变换2.2.1为什么提出空间变换网络STN（Why）2.2.2STN是什么（What）2.2.3STN是怎么做的（How）2.2.4STN小结3从数据中学习不变性3.1空间转换（随机尺寸，裁剪，翻转，旋转任意角度...）3.2像素内容变换（亮度，色度，饱和度，颜色扰动等）3.3多样本合成数据增强（SMOTE，Samp

YOULANSHENGMENG·2023-01-01 13:45

2022-12-31

1.机器学习入门：https://www.coursera.org/learn/machine-learning#syllabus2.图像识别：CS231n:ConvolutionalNeuralNetworksforVisualRecognition

我好菜啊救命·2023-01-01 09:22

L1distance和L2distance区别

L1distance和L2distance区别：L1distance即曼哈顿，即城市距离，各维度距离之和L2distance即欧式距离，两点间直线距离参考cs231n课程的一幅图，图上方形和圆形上的点都有相同距离

yanghaoplus·2022-12-31 17:26

深度学习笔记 6 卷积神经网络

目录1.概念2.结构及每层详解3.CNN特征4.卷积神经网络的流程5.可变形卷积（DCN）6.一些小问题1.1x1卷积作用2.卷积层和池化层有什么区别?3.怎样才能减少卷积层参数量4.瓶颈结构和沙漏结构5.全连接、局部连接、全卷积与局部卷积1.概念卷积神经网络（ConvolutionalNeuralNetworks，CNN），由纽约大学的YannLecun于1998年提出，其本质是一个多层感知机，

李同学_道阻且行·2022-12-31 15:21

【深度学习笔记（十四）】之Tensorflow2构建多层感知机网络并训练，测试

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一．Tensorflow2构建网络以及训练，测试流程使用tf,keras,datasets获取数据集并预处理使用tf.keras,Model和tf.keras.layers搭建模型训练模型，使用tf.keras.losses计算损失函数，使用tf.keras.optimizer优化模型测试模型，使用tf.keras.metrics计算评

开发小鸽·2022-12-31 11:30

唐宇迪深度学习笔记

【b站视频—唐宇迪深度学习网址】https://www.bilibili.com/video/BV1CE411Q7dn?from=search&seid=4714546485764005493多层感知机（MLP）多个神经元以全连接层次相连被称为前馈神经网络万能逼近原理：非线性函数的有限次复合能逼近任何函数。MLP的困境：目标函数通常为非凸函数；极容易陷入局部最优值；网络层数增加后，存在梯度消失或梯

怀着对美好生活的向往而努力·2022-12-31 08:52

【深度学习笔记】PyTorch的torch.cat()函数

一、定义torch.cat是将两个张量（tensor）拼接在一起，cat是concatnate的意思，即拼接，联系在一起。二、例子三、注意事项使用torch.cat((A,B),dim)时，除拼接维数dim数值可不同外其余维数数值需相同，方能对齐。

月满星沉·2022-12-30 23:07

深度学习笔记（李宏毅）DataWhale八月组队

文章目录机器学习介绍回归模型步骤模型假设-线性模型模型评估-损失函数最佳模型-梯度下降验证模型好坏ERRORbias大，欠拟合var大，过拟合K-fold交叉验证梯度下降法（GD）调整学习率自适应学习率Adagrad算法RMSProp算法Adam=RMSProp+MomentumLearningRateScheduling随机梯度下降（SGD）特征缩放（FeatureNormalization）标

zhaoliguaner·2022-12-30 11:22

动手深度学习笔记（三十五）6.5. 汇聚层

动手深度学习笔记（三十五）6.5.汇聚层6.卷积神经网络6.5.汇聚层6.5.1.最大汇聚层和平均汇聚层6.5.2.填充和步幅6.5.3.多个通道6.5.4.小结6.5.5.练习6.卷积神经网络6.5.

落花逐流水·2022-12-30 07:41

计算机视觉与深度学习笔记

鲁鹏老师的课十分紧凑、思路十分清晰、简明扼要、一气呵成，充满激情、十分推荐官方资料网站CV-XUEBAhttps://cv-xueba.club/点击课程资源有下图：点下载就能获取课件，速度极快内容示例：其它渠道：lulu计算机视觉（北邮-鲁鹏）课程总结-知乎(zhihu.com)点这个链接，可以找到以下信息：详情如下：推荐两个高质量笔记：但是这两个笔记都只更新到2020年，最多到第十四讲就是说这

Cai-Gbro·2022-12-30 07:09

动手深度学习笔记（四十一）7.5. 批量规范化

动手深度学习笔记（四十一）7.5.批量规范化7.5.批量规范化7.5.1.训练深层网络7.5.2.批量规范化层7.5.2.1.全连接层7.5.2.2.卷积层7.5.2.3.预测过程中的批量规范化7.5.3

落花逐流水·2022-12-30 07:38

Backpropagation, Intuitions

原文地址：http://cs231n.github.io/optimization-2/#########################################################

编号1993·2022-12-30 03:41

深度学习笔记(二):backpropagation算法

backpropagation算法原理Backpropagation核心解决的问题:∂C/∂w和∂C/∂b的计算,针对cost函数Cω324:ω243:表示第从第(3-1)层的的第4个神经元到第3层的第2个神经元的权重weightb23:b32:表示第2层的第3个神经元的偏向bais正向传播公式:αlj=σ(∑kωljkαl−1k+blj)αjl=σ(∑kωjklαkl−1+bjl)分为两步：1.

放不完的风筝·2022-12-30 03:11

PyTorch深度学习笔记-线性模型

1.DataSet数据集2.Model选择模型3.Training模型训练4.inferring推理

shmilyhnhb·2022-12-30 02:47

动手深度学习笔记（四十）7.4. 含并行连结的网络（GoogLeNet）

动手深度学习笔记（四十）7.4.含并行连结的网络（GoogLeNet）7.4.含并行连结的网络（GoogLeNet）7.4.1.Inception块7.4.2.GoogLeNet模型7.4.3.训练模型

落花逐流水·2022-12-29 23:39

PyTorch深度学习笔记（八）Transforms的使用

课程学习笔记，课程链接一、Transforms的结构及用法torchvision中的transforms主要是对图片进行一些变换。tranforms对应tranforms.py文件，里面定义了很多类，输入一个图片对象，返回经过处理的图片对象。transforms更多指的是python文件，transforms.py就像一个工具箱，里面定义的各种类就像各种工具，特定格式的图片就是输入对象，经过工具处

小于同学饿了·2022-12-29 23:04

自然语言处理与词嵌入-吴恩达深度学习笔记

文章目录自然语言处理与词嵌入词汇表征（WordRepresentation）Visualizingwordembeddings——t-SNE算法PropertiesofWordEmbeddings——CosinesimilarityEmbeddingmatrix学习词嵌入（LearningWordEmbeddings）Word2VecSkip-Gram模型负采样（NegativeSampling）

PengxiangZhou·2022-12-29 23:29

深度学习笔记：为什么(预)特征提取不能与数据增强结合使用

关于这个方法的实验参见：深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器http

笨牛慢耕·2022-12-29 16:11

深度学习笔记：在小数据集上从头训练卷积神经网络

目录0.前言1.数据下载和预处理¶2.搭建一个小的卷积网络3.数据预处理4.模型训练¶5.在测试集进行模型性能评估6.小结¶0.前言本文（以及接下来的几篇）介绍如何搭建一个卷积神经网络用于图像分类的深度学习问题，尤其是再训练数据集比较小的场合。通常来说，深度学习需要大量的数据进行训练，尤其是像在图像处理这种通常数据维度非常高的场合。但是当你没有一个足够大的数据集进行训练的时候应该怎么办呢？解决训练

笨牛慢耕·2022-12-29 16:10

深度学习笔记：利用数据增强在小数据集上从头训练卷积神经网络

目录0.前言1.数据增强处理2.为什么要数据增强？3.模型训练4.测试集上的性能5.小结0.前言本文（以及接下来的几篇）介绍如何搭建一个卷积神经网络用于图像分类的深度学习问题，尤其是再训练数据集比较小的场合。通常来说，深度学习需要大量的数据进行训练，尤其是像在图像处理这种通常数据维度非常高的场合。但是当你没有一个足够大的数据集进行训练的时候应该怎么办呢？解决训练数据集太小的方法通常有两种：(1)使

笨牛慢耕·2022-12-29 16:10

深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器

目录0.前言1.为什么可以用预训练模型？1.1特征提取1.2模型微调2.加载预训练模型3.特征提取4.训练以及评估4.1训练4.2loss和accuracy曲线4.3.在测试集进行模型性能评估5.小结0.前言本文（以及接下来的几篇）介绍如何搭建一个卷积神经网络用于图像分类的深度学习问题，尤其是再训练数据集比较小的场合。通常来说，深度学习需要大量的数据进行训练，尤其是像在图像处理这种通常数据维度非常

笨牛慢耕·2022-12-29 16:10

深度学习笔记：使用预训练模型之模型微调+数据增强

目录0.前言1.模型微调的步骤2.在已经训练好的基网络(basenetwork)上添加了自定义网络3.数据生成4.冻结基网络，训练所添加的部分5.释放基网络最后若干层，重新训练6.总结7.Reference0.前言本系列介绍如何搭建一个卷积神经网络用于图像分类的深度学习问题，尤其是再训练数据集比较小的场合。通常来说，深度学习需要大量的数据进行训练，尤其是像在图像处理这种通常数据维度非常高的场合。但

笨牛慢耕·2022-12-29 16:38

深度学习笔记-快速查看torchvision中的模型架构

在模型创建的时候，经常需要对模型进行修改，修改的时候需要查看模型架构。下面使用终端中调用IPython的方法对torchvision中的模型架构进行展示查询代码：首先ipython激活ipythonfromtorchvisionimportmodelsprint(models.resnet152())注意：resnet152后面要加（）

地表最菜研究生·2022-12-29 12:52

深度学习笔记(四):神经网络之链式法则详解

简单的说链式法则就是原本y对x求偏导，但是由于过程较为复杂，我们引入了一个中间层z，先利用y对z求偏导，在乘上z对x求偏导，这样会使整个计算更为简单。作用:通过链式法则我们就可以把最后一层的误差，一层一层的输出到中间层上面去，从而得到中间层的梯度信息，通过梯度信息我们就能很好的更新权值，从而达到更好的优化效果。从上面可以知道E为最右边，当E对w1做偏微分，可以更新w1；同理E对w2做偏微分，就更新

ZZY_dl·2022-12-29 12:33

深度学习笔记：感知机

感知机（perceptron）为神经网络的起源算法。感知机接受多个输入信号，输出一个信号。感知机信号只有0和1。在上图的感知机中，x1和x2两个输入信号会分别乘以其对应权重(weight)w1和w2，传入神经元。神经元计算传来信号综合，当总和超过某一阈值时输出1，否则输出0。阈值一般用θ表示为了后续了解神经网络，我们把θ改为-b，其中b被称为偏置。感知机计算输入信号和偏置和，如果和大于0输出1，否

Raine_Yang·2022-12-29 12:00

深度学习笔记：python的numpy和matplotlib库

1numpy库numpy为python数学计算库，里面的数组类提供大量便捷的数组和矩阵运算方法创建numpy数组：importnumpyasnpx=np.array([1.0,2.0,3.0])创建二维数组：importnumpyasnpa=np.array([[1,2],[3,4]])a.shape#output:(2,2)a.dtype#output:dtype('int64')shape:查

Raine_Yang·2022-12-29 12:30

深度学习笔记：神经网络（1）

Raine_Yang·2022-12-29 12:57

CS231n 之 SVM

SVM模型原理作者：JackMeGo链接：https://www.jianshu.com/p/6340c6f090e9来源：简书简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。SVM通过平面将空间中的实例划分到不同的类别，从而实现分类。这里的空间包括二维空间，三维空间，一直到高维空间，具体的维数等于实例的特征数量，如果我们待分类的图片是32323（长宽分别是32个像素，RGB3

戈扬·2022-12-29 11:39

cs231n svm代码解析

fromcs231n.classifiers.linear_svmimportsvm_loss_naiveimporttime#generatearandomSVMweightmatrixofsmallnumbersW

weixin_42673583·2022-12-29 11:37

cs231n svm作业笔记

1.线性分类基本概念现在假设有一个包含很多图像的训练集，每个图像都有一个对应的分类标签。对到构建一个简单的映射：假设图像只有4个像素（都是黑白像素，这里不考虑RGB通道），有3个分类（红色代表猫，绿色代表狗，蓝色代表船，注意，这里的红、绿和蓝3种颜色仅代表分类，和RGB通道没有关系），列如2.svm损失函数代表错误标签通过预测所得值，代表正确标签所得值，是超参数项，以猫猫图为例：正则化项：完整公式

一个客户，两个客户·2022-12-29 11:37

cs231n-svm作业

cs231n-svm作业svmcs231n-svm作业1.基础概念1.1向量重构1.2种类和样本数2.非向量化求导和loss2.1svm理解2.2svm求loss2.3svm求导3.向量化求导和求loss3.1

那是真的牛皮·2022-12-29 11:37

CS231N assignment1——SVM

MulticlassSupportVectorMachineexerciseCompleteandhandinthiscompletedworksheet(includingitsoutputsandanysupportingcodeoutsideoftheworksheet)withyourassignmentsubmission.Formoredetailsseetheassignmentsp

lhppom·2022-12-29 11:36

cs231n Assignment 1# SVM详细答案及总结

Assignment1#SVM线性分类器简介：scorefunction:lossfunctionnaiveimplementation:lossfunction:gradient:vectorizedimplementation:loss:gradient:线性分类器简介：在这里的两个分类器SVM和softmax都是线性分类器，也是后序神经网络的基础。他由两部分组成：scorefunction和

SUFE ctrl_F·2022-12-29 11:35

cs231n课后SVM作业

用到的公式AlossfunctiontellshowgoodourcurrentclassifierisGivenadatasetofexamples{(xi,yi)}i=1N\{(x_{i},y_{i})\}_{i=1}^{N}{(xi,yi)}i=1NWherexix_{i}xiisimageandyiy_{i}yiislabelLossfunction:L=1N∑iLi(f(xi,W),yi

vegtsunami·2022-12-29 11:05

cs231n 算svm 的loss 和dw

CS231nConvolutionalNeuralNetworksforVisualRecognition——optimization1.多类SVM的损失函数（MulticlassSVMloss）在给出类别预测前的输出结果是实数值

我已脱掉我的发脱掉了牵挂·2022-12-29 11:35

CS231n: 作业1——SVM

前言完整代码见github问答总结SVM反向传播参数梯度的推导过程？如何使用矩阵乘法的列观点向量化梯度求导过程？布尔索引(mask[score>0]=1)的含义是什么？切片索引(x[[0,1],[1,2]])的含义是什么？书写完整代码一般分为main,train,evaluate三个部分。说明他们各自的作用。文章目录一、实验目标二、数据集三、实验方法1、损失函数2、梯度更新3、加入正则项4、代码四

无聊的人生事无聊·2022-12-29 11:34

cs231n assignment1 svm作业

importnumpyasnpfromrandomimportshuffledefsvm_loss_naive(W,X,y,reg):"""StructuredSVMlossfunction,naiveimplementation(withloops).InputshavedimensionD,thereareCclasses,andweoperateonminibatchesofNexample

船桥·2022-12-29 11:04

CS231N课程作业Assignment1--SVM

Assignment1–SVM作业要求见这里.主要需要完成KNN，SVM，Softmax分类器，还有一个两层的神经网络分类器的实现。数据集CIFAR-10.SVM原理SVM(SupportVectorMachine，支持向量机)，是一种二类分类模型，其基本模型定义为特征空间上的即那个最大的线性分类器，器学习策略是间隔最大化，最终可转化为一个凸二次规划问题的解决。(线性支持向量机、非线性支持向量机)

鲁棒最小二乘支持向量机·2022-12-29 11:34

cs231n笔记：卷积神经网络（cnn）和池化（pooling）

卷积神经网络（convolutionalnuralnetwork）：更能保留输入的空间结构CNN的一些历史：感知机（perceptron）多层感知机（multilayerperceptronnetworks）反向传播AlexNet：与LetNet-5看上去差别不大，只是扩展得更大、更深。重点是能充分利用大量数据，也充分发挥了GPU并行计算能力的优势全连接层与卷积层的对比：卷积层的权重是一些小的卷积

未来我会更爱自己·2022-12-28 20:41

【CS231n assignment 2022】Assignment 2 - Part 2，优化器，批归一化以及层归一化

睡晚不猿序程·2022-12-28 19:38

「cs231n」深度学习网络训练技巧3——After training

三、Aftertraining训练好一个model后该干什么：Modelensembles；transferlearning；large-batchtraining。Modelensembles（李沐大神也提到过这个）1.训练多个独立的models2.在test时，取多个model的结果的平均值（取预测概率分布的平均，选择argmax）会得到2%左右的提升TipsandTrickscyclicle

Deserve_p·2022-12-28 17:12

推荐频道

CS231n深度学习笔记

【cs231n Lesson3】Linear classifier, Loss function

cs231n作业Assignment1 knn

【cs231n assignment1】KNN

深度学习笔记-自适应选择感受野

[深度学习笔记一] batch大小对训练的影响

深度学习笔记01

台大应用深度学习笔记

【学习周报】研究生深度学习笔记9.12~9.17

深度学习笔记1：RNN神经网络及实现

深度学习笔记-----增加网络不变性的方法（对空间变换网络和数据增强的方法进行了总结）

2022-12-31

L1distance和L2distance区别

深度学习笔记 6 卷积神经网络

【深度学习笔记（十四）】之Tensorflow2构建多层感知机网络并训练，测试

唐宇迪深度学习笔记

【深度学习笔记】PyTorch的torch.cat()函数

深度学习笔记（李宏毅）DataWhale八月组队

动手深度学习笔记（三十五）6.5. 汇聚层

计算机视觉与深度学习笔记

动手深度学习笔记（四十一）7.5. 批量规范化

Backpropagation, Intuitions

深度学习笔记(二):backpropagation算法

PyTorch深度学习笔记-线性模型

动手深度学习笔记（四十）7.4. 含并行连结的网络（GoogLeNet）

PyTorch深度学习笔记（八）Transforms的使用

自然语言处理与词嵌入-吴恩达深度学习笔记

深度学习笔记：为什么(预)特征提取不能与数据增强结合使用

深度学习笔记：在小数据集上从头训练卷积神经网络

深度学习笔记：利用数据增强在小数据集上从头训练卷积神经网络

深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器

深度学习笔记：使用预训练模型之模型微调+数据增强

深度学习笔记-快速查看torchvision中的模型架构

深度学习笔记(四):神经网络之链式法则详解

深度学习笔记：感知机

深度学习笔记：python的numpy和matplotlib库

深度学习笔记：神经网络（1）

CS231n 之 SVM

cs231n svm代码解析

cs231n svm作业笔记

cs231n-svm作业

CS231N assignment1——SVM

cs231n Assignment 1# SVM详细答案及总结

cs231n课后SVM作业

cs231n 算svm 的loss 和dw

CS231n: 作业1——SVM

cs231n assignment1 svm作业

CS231N课程作业Assignment1--SVM

cs231n笔记：卷积神经网络（cnn）和池化（pooling）

【CS231n assignment 2022】Assignment 2 - Part 2，优化器，批归一化以及层归一化

「cs231n」深度学习网络训练技巧3——After training