CS231n深度学习笔记第15页

李沐深度学习笔记-04数据操作

前言1.《动手学深度学习》https://zh-v2.d2l.ai/2.记事本https://github.com/d2l-ai/d2l-zh3.数据操作和数据预处理N维数组是机器学习和神经网络的主要数据结构数据操作数据操作实现1.首先，要导入torch，他被称为PyTorch，但我们应该导入torch，而不是Pytorch。张量表示一个数值组成的数组，这个数组可能有多个维度importtorch

爱的小胡·2022-12-15 08:04

深度学习笔记一：logistic回归模型与神经网络

神经元——最小的神经网络激活函数sigmoid——二分类logistic回归模型sigmoid的输出在0,1之间，概率正好也在0,1之间，因此我们可以做一个定义：在二分类的情况下，当输入数据的时候，属于Y=0这个类的概率为这个函数的输出。在模型的训练之后，参数会根据训练数据进行调整，使得模型能够拟合数据。在随后的测试中，一个输入将会通过模型参数得到一个输出，完成分类任务。激活函数softmax-多

weixin_43356455·2022-12-15 02:06

深度学习笔记(十):深度学习评估指标

文章目录专业名词解释一级指标二级指标深度学习评估指标专业名词解释HTC(HybridTaskCascade)-混合任务级联boundingbox-边界矩形框RoI(RegionofInterest)-感兴趣区域RolPooling-Rol池化(RoIPooling=cropfeature+resizefeature)RolAlign-解决了ROIPooling操作中两次量化造成的区域不匹配(mis

ZZY_dl·2022-12-15 02:31

深度学习笔记一：FCN讲解（转载）

flybird7·2022-12-15 02:58

torch 梯度计算出现错误a leaf Variable that requires grad has been used in an in-place operation和梯度NoneType问题

aleafVariablethatrequiresgradhasbeenusedinanin-placeoperation.unsupportedoperandtype(s)for*:‘int’and‘NoneType’在CS231n

月下花弄影·2022-12-14 13:19

语音识别技术概述

深度学习数据集Author：louwillFrom：深度学习笔记语音识别（SpeechRecognition）是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类的语音。

louwill12·2022-12-14 06:55

【(强推)李宏毅2021/2022春机器学习课程】专栏汇总

又找到一个好的博客合集--李宏毅深度学习笔记

I"ll carry you·2022-12-13 17:40

MoCo论文详解

MoCo论文详解–潘登同学的深度学习笔记文章目录MoCo论文详解--潘登同学的深度学习笔记前言整体架构对比学习大而一致的字典实验LinearClassificationProtocol其他下游任务前言MoCo

PD我是你的真爱粉·2022-12-13 12:49

我的深度学习过程，你可以借鉴我的方法，该方法对初学者友好

Beginner-friendlyDeepLearningProcess1.观看李飞飞和吴恩达的机器学习系列课程斯坦福李飞飞CS231n计算机视觉课程吴恩达机器学习系列课程2.Pytorch入门课程Pytorch

Anefuer_kpl·2022-12-13 08:20

深度学习笔记------Faster_RCNN

目录1Faster_rcnn网络结构2Faster_RCNN的输入3RPN(RegionProposalNetworks)4ROIPooling5分类（Classification）1Faster_rcnn网络结构FasterRCNN是两阶段的目标检测算法，包括阶段一的Regionproposal以及阶段二的boundingbox回归和分类。用一张图来直观展示FasterRCNN的整个流程：Con

YOULANSHENGMENG·2022-12-12 20:45

深度学习笔记-3.Faster RCNN复现

FasterRCNN复现FasterRCNN源码解读1-整体流程和各个子流程梳理FasterRCNN源码解读2-_anchor_component()为图像建立anchors（核心和关键1）FasterRCNN源码解读3.1-_region_proposal()筛选anchors-_proposal_layer()（核心和关键2）FasterRCNN源码解读3.2-_region_proposal

业余狙击手19·2022-12-12 20:45

吴恩达深度学习笔记2.2 logistic回归

regression:回归supervised:有监督的logistic回归是一种学习算法被用于有监督学习问题,当y全都是0或1时例子:判断是否有猫给定一个由特征向量x代表的图像,那个算法将会估计猫是否在那个图像里的可能性logistic回归的参数如下:转载于:https://www.cnblogs.com/Dar-/p/9310066.html

banghu8816·2022-12-12 19:40

深度学习（三）转-可视化理解卷积神经网络直接查看卷积神经网络的过程特征...

www.cnblogs.com/DOMLX/p/9579461.html参考博客：http://blog.csdn.net/hjimce/article/details/50544370作者：hjimce这是深度学习笔记的第三篇

weixin_34258078·2022-12-12 19:07

深度学习笔记：卷积神经网络的可视化--特征图

目录1.前言2.模型的训练3.特征图可视化3.1加载保存的模型¶3.2图像预处理：将图像转换为张量3.3例化一个模型用于返回各层激活输出（即featuremap）3.5各层各通道汇总可视化4.小结参考文献1.前言人们常说，深度学习模型是“黑盒”，即模型学到的东西对于人类来说很难理解。对于很多深度学习模型来说的确是这样的，但是对于卷积神经网络（CNN）却并不尽然。CNN学习到的东西非常适合于可视化，

笨牛慢耕·2022-12-12 19:04

通俗理解卷积神经网络

通俗理解卷积神经网络（cs231n与5月dl班课程笔记）1前言2012年我在北京组织过8期machinelearning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。

gldbys·2022-12-12 01:09

【三种计算样本欧氏距离的方法——样本数据表示为矩阵】

三种计算样本欧氏距离的方法——样本数据表示为矩阵背景近期在看CS231n课程，作业中有关于计算图像样本间Kmeans距离的代码编写，涉及到的距离例如为欧氏距离，计算的三种方法效率由低到高，在学习的过程中令我收益匪浅

乎啦啦·2022-12-11 20:52

李宏毅深度学习笔记07（Brief Introduction of Deep Learning)

Deeplearning的历史Deeplearning的过程依旧是机器学习的三个过程：step1:defineasetoffunction;step2:goodnessoffunction;step3:pickthebestfunction.只不过step1用到neuralnetwork。它也有对应的公式：根据相应的数学计算得到输出值。一些问题1.Howmanylayers?Howmanyneur

稀里糊涂的小楠～·2022-12-11 17:11

深度学习理论知识

深度学习笔记：深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积）卷积中的不一样的操作_呆呆象呆呆的博客-CSDN博客_小卷积代替大卷积vs深度可分离卷积深度学习笔记（二）：Normalization

m0_61899108·2022-12-11 09:01

李宏毅深度学习笔记——呕心整理版

李宏毅深度学习笔记——呕心整理版闲谈叨叨叨:之前看过吴恩达的一部分课程，所以有一定理论基础，再看李宏毅的课程会有新的理解。

_Elf_·2022-12-11 04:22

李宏毅深度学习笔记——深度学习基本概念

深度学习神经网络神经元示意图（转载）Inputs：输入。Weights：权值，权重。Bias：偏置，或者称为阈值(Threshold)。Activationfunction：激活函数。1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输

在水一方_果爸·2022-12-11 04:51

Pytorch迁移学习

Alphapeople·2022-12-10 14:28

PyTorch中文教程 | (4) 迁移学习教程

CoreJT·2022-12-10 14:57

深度学习Review【四】编解码

课程地址动手学深度学习笔记【三】一、编码-解码二、Seq2seqtorch一、编码-解码编码（训练）：处理输出，把输入编程成中甲你表达形式（特征）解码（预测）：生成输出，把特征解码成输出fromtorchimportnnclassEncoder

舒克儿不开飞机·2022-12-10 08:55

【CS231n 学习笔记】Lecture7：Convolutional Neural Networks

CS231n学习笔记目录（2016年AndrejKarpathy主讲课程）Lecture1：Introduction（介绍）Lecture2：ImageClassificationPipeline（数据驱动的图像分类方式

Panpanpan！·2022-12-10 06:59

CS231n lecture 5 Convoluntional Neural Networks 卷积神经网络

lecture5ConvoluntionalNeuralNetworks卷积神经网络卷积层卷积神经网络可以保留输入图像的结构。滤波器的深度和输入图像的深度是一样的。在卷积层，滤波器会对图片进行扫描，类似于网格平移一样的，每次扫描就是直接相乘求和再加上bias得到一个值。最后可以得到一个28281的activationmap如果有6个5*5的滤波器，那么会得到6层activationmap卷积神经网

QingYuAn_Wayne·2022-12-10 06:28

CS231n-Lecture9:CNN架构

CNN架构AlexNetVGGNetGoogLeNetResNetWhyResNet？深度残差学习referenceAlexNet1.CONV1输入数据：227×227×3卷积核：11×11×3（步长：4；数量：96）卷积后数据：55×55×96relu1后的数据：55×55×96Maxpool1的核：3×3，步长：2Maxpool1后的数据：27×27×96norm1：local_size=5（

二叉树不是树_ZJY·2022-12-10 06:25

人工智能 - 扩展阅读

Transformer1.illustrated-transformer2.AttentionIsAllYouNeed：https://arxiv.org/abs/1706.03762神经网络入门1.CS231n

JYCJ_·2022-12-09 17:43

动手深度学习笔记（十六）4.2. 多层感知机的从零开始实现

动手深度学习笔记（十六）4.2.多层感知机的从零开始实现4.多层感知机4.2.多层感知机的从零开始实现4.2.1.初始化模型参数4.2.2.激活函数4.2.3.模型4.2.4.损失函数4.2.5.训练4.2.6

落花逐流水·2022-12-09 09:35

CS231n Lecture 4: 神经网络和反向传播

Lecture4神经网络和反向传播Lecture4:神经网络和反向传播神经网络线性分数函数：f=Wx+bf=Wx+bf=Wx+b2层神经网络：f=W2max(0,W1x+b1)+b2f=W_2max(0,W_1x+b_1)+b_2f=W2max(0,W1x+b1)+b2在这里，更精确地来说，应该叫做全连接神经网络（FC）在两层神经网络中，使用了非线性激活函数ReLU。如果不使用非线性激活函数的话，

QingYuAn_Wayne·2022-12-09 07:50

【CS231n 学习笔记】Lecture5：Training Neural Networks Part 1

CS231n学习笔记目录（2016年AndrejKarpathy主讲课程）Lecture1：Introduction（介绍）Lecture2：ImageClassificationPipeline（数据驱动的图像分类方式

Panpanpan！·2022-12-09 07:50

CS231n-Lecture6:训练神经网络 part I

训练神经网络partI激活函数SigmoidtanhReLU——修正线性单元LeakyReLUMaxout数据预处理（DataPreprocessing）均值减法归一化权重初始化（WeightInitialization）陷阱：全零初始化小随机数初始化Xavier初始化对比实际操作批量归一化（BatchNormalization）BN总结正则化方法L1和L2正则化Dropout训练阶段和测试阶段的

二叉树不是树_ZJY·2022-12-09 07:45

CS231n-Lecture4:神经网络和反向传播（Neural Networks and Backpropagation）

神经网络和反向传播神经网络反向传播链式法则模块化：Sigmoid示例神经网络如上图，是一个2层的神经网络，其中h=max(0,x)h=max(0,x)h=max(0,x)，函数max(0,x)max(0,x)max(0,x)称作激活函数（activationfunction），通过它引入了非线性。几种常用的激活函数：神经网络的结构：反向传播链式法则举例说明：#setsomeinputsx=-2;y

二叉树不是树_ZJY·2022-12-09 07:44

cs231n 笔记02：反向传播与2-NN示例

lecture4反向传播反向传播链式计算梯度。常用激活函数：sigmoid函数将实数压缩到[0,1]，tanh函数将实数压缩到[-1,1]。sigmoid缺点：sigmoid函数饱和时梯度消失，神经元的激活在接近0或1处梯度几乎为0；sigmoid输出不是零中心的。如果输入神经元的数据总是正数，那么w的梯度在反向传播的过程中，要么全部是正数，要么全部是负数这会导致下降权重更新时出现z字型的下降。然

e卵石·2022-12-09 07:43

【2017年cs231n学习笔记3】Lecture4-1 反向传播

在原课程视频中，lecture4讲解了反向传播及一部分神经网络的内容，但是“反向传播”（Backpropagation）作为神经网络计算的基础太过重要了，于是在笔记中我将反向传播单独拿出来，结合自己查资料的理解，做了一些记录，希望读这篇文章的人也能看懂。视频：b站转载幻灯片：Slider课程参考：backpropnote课程参考翻译：智能单元motivation若我们有损失函数f(x,W,b)，x

EmpGro·2022-12-09 07:11

深度学习笔记(13.numpy实现LSTM)

摘要Ng深度学习课程第五部分序列化模型，第一周作业numpy实现，并利用LSTM生成恐龙名称实验。涉及到正向传播、反向传播公式，程序的整合，部分理论学习。代码注释添加了部分说明。和RNN程序流程基本一样，部分代码流程做了优化。实验程序用于检验程序是否正确，loss逐步下降，名称越来越像。程序地址：https://github.com/ConstellationBJUT/Coursera-DL-St

迷茫猿小明·2022-12-09 07:07

利用Gluon简洁实现线性回归——动手学深度学习笔记

在使用gluon接口之前，我们首先需要下载好mxnet包pipinstallmxnet生成数据集根据公式基础去理解，并加上噪声frommxnetimportautograd,ndnum_inputs=2num_examples=1000true_w=[2,-3.4]true_b=4.2features=nd.random.normal(scale=1,shape=(num_examples,num

看星河的兔子·2022-12-09 06:49

深度学习笔记理论篇:归一化

先贴一张阅读paper的一部分实际上啊读到这里,我就对这个行归一化产生了疑问,什么是归一化?归一化的作用是什么呢?(题外话:最近看了李沐对如何读文献的一些见解,个人感觉很受用,建议初读文献的小伙伴们可以去看看)注:本人数学功底尚浅,许多知识无法介绍,有待进一步学习,本笔记只讨论了归一化的学习范围.首先让我们看看广义归一化的解释:归一化（normalization）是一种简化计算的方式，即将有量纲的

吃小花的魔王·2022-12-08 19:12

深度学习笔记10：三维卷积、池化与全连接

在上一讲中，我们对卷积神经网络中的卷积操作进行了详细的解读，但仅仅是对二维图像，即通道数为1的图像（灰度图）进行了卷积，对于三维或者更高维的图像卷积显然并没有这么简单。如果图像大小为6*6*3，那么这里的3指的是三个颜色通道，你可以将其理解为3个6*6的图像的堆叠，如果要对此图像进行卷积的话，我们的滤波器也需要变成三维的，假设采用一个3*3*3的滤波器对其进行卷积（这里需要注意的是，滤波器的通道数

louwill12·2022-12-08 18:37

CS231n Lecture 8: Training Neural Networks Part2

Optimization动量版SGDSGD仍然还有一些问题：当损失函数在一个方向快速改变，另一个方向很慢地改变时，梯度下降会变成非常慢地一个过程同时，SGD对于驻点和局部最小值的表现并不好，在那些地方会堵住。因此，现在考虑一种SGD+动量的方法：现在的速度=摩擦系数*之前的速度+梯度新的权重=旧的权重-学习率*新的速度摩擦系数一般取0.9或0.99Nesterov动量vt+1=ρvt−α∇f(xt

QingYuAn_Wayne·2022-12-08 11:56

CS231n lecture 3 损失函数和优化

lecture3损失函数和优化文章目录lecture3损失函数和优化MulticlassSVMloss多分类SVM损失函数正则项RegularizationSoftmaxClassifier优化Optimization随机梯度下降法StochasticGradientDescent(SGD)损失函数告诉我们目前的分类器的表现有多好整个数据的损失是每组数据的损失之和的平均值L=1N∑i=1NLiL=

QingYuAn_Wayne·2022-12-08 11:26

cs231n_lecture 3_损失函数和最优化

上一课讲到了图像识别面临的种种挑战：在计算机看到的数据和人眼理解的图像之间存在着一条鸿沟，提出了用data-driveen的方法进行识别，学习了kNN。在学习神经网络之前，我们要先学习线性分类器作为基础（buildingblock）。接上节课的线性分类器，假设一张图片x是32*32*3的，先reshape成一行，与各类的权重W（一个参数矩阵）相乘，在加上一个bias，得到判决为各类的分数，分值越高

ChuanjieZhu·2022-12-08 11:26

CS231n Lecture 3:损失函数和优化

>>>课程PPT:http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf本节作业：损失函数可以分辨一个分类器的优略。

weixin_34007020·2022-12-08 11:56

CS231n-Lecture3:损失函数和优化（Loss Functions and Optimization）

损失函数和优化线性分类（Linearclassification）从图像到标签分数的参数化映射线性分类器的理解损失函数多类支持向量机（MulticlassSVM）正则化实现过程Softmax分类器SVM与Softmax优化（Optimization）计算梯度梯度下降reference线性分类（Linearclassification）从图像到标签分数的参数化映射假设图像的训练数据集xi∈RDx_i

二叉树不是树_ZJY·2022-12-08 11:54

CS231n_Lecture3_图像分类（损失、优化函数）

感谢：https://marvae.github.io/archives/CS231n课程笔记翻译：线性分类笔记（中）CS231n课程笔记翻译：线性分类笔记（下）在本节课中：将损失函数比作了一个高维度的最优化地形

快乐成长吧·2022-12-08 11:24

【2017年cs231n学习笔记2】Lecture3 损失函数最优化

这节课的主要内容：1.定义一个损失函数（lossfunction），用将训练集代入其中获得的评分来量化W的好坏。2.找到一个高效的方法来寻找使损失函数最小的W，（我们称其为最优化optimization）损失函数首先我们定义损失函数的一般形式：对于一个数据集Xi代表输入进入分类器的图像像素数据，Yi代表你希望得出的标签。我们定义其损失函数的一般形式为：损失函数定义后，我们就需要考虑Li的定以了，这

EmpGro·2022-12-08 11:23

【cs231n】lecture 3损失函数和优化

文章目录3.1损失函数多分类SVM（SupportVectorMachine）正则化SoftmaxClassifier(MultinomialLogisticRegression)3.2优化（Optimization）3.3图像的特征3.1损失函数损失函数的概念理解：在线性分类中，W的每一行对应一个分类模板，它给出图片所属类别的可能的得分，得分越高说明该图片中的物体属于这一类别的可能性越大，因此我

Tra_cy·2022-12-08 11:52

【深度学习笔记】Hopfield神经网络

Hopfield神经网络是一种循环神经网络模型，由一组互相连接的神经元组成。其具有如下特征：所有神经元互相连接且不分层。每个神经元既是输入单元又是输出单元。每个神经元的输入与输出只能是1或-1，即有n个神经元的Hopfield神经网络具有2n2^n2n个状态。具有反馈连接特性，不同神经元之间连接权重对称,神经元和自身没有反馈相连，即神经元集合具有对称性和反自反性。Hopfield神经网络分为离散型

RealWeakCoder·2022-12-08 00:38

【机器学习】《动手学深度学习 PyTorch版》深度学习笔记（RCNN、fast-RCNN、faster-RCNN）

文章目录RCNN一、RCNN系列简介二、RCNN算法流程的4个步骤三、RCNN存在的问题fast-RCNN一、fast-RCNN简介二、fast-RCNN算法的3个步骤RCNN一、RCNN系列简介R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN以及faster-RCNN都是延续R-CNN的思路。R-CNN全称reg

Jul7_LYY·2022-12-07 22:19

深度学习笔记（5）——pytorch实现Att-BiLSTM

文章目录1模型介绍2代码实现3传播过程理解4实验4参考文献1模型介绍模型图：LSTM层：Attention层M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)\M=tanh(H)\\\alpha=softmax(\omega^T*M)\\r=H\alpha^T\\h^*=tanh(r)M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)其中H为

热爱旅行的小李同学·2022-12-07 21:52

NNDL实验优化算法3D轨迹复现cs231经典动画

这个动画很有名气，学习深度学习的朋友大多都见过，源自于：CS231nConvolutionalNeuralNetworksforVisualRecognition复现动画，向经典致敬~第一版：轨迹版第二版

HBU_David·2022-12-07 20:08

推荐频道

CS231n深度学习笔记