CS231n深度学习笔记

「cs231n」深度学习网络训练技巧2——Training NN

二、Trainingdynamicslearningrateschedule&hyperparameteroptimizationLearningrateschedule优化器optimizer的学习率的选取。Learningratedecay：一开始lr较大，随着epoch衰减StepLearningrateschedule：设置epoch节点decay学习率。但是需要决定在哪个epoch进行d
Deserve_p·2022-12-28 17:42

[cs231n] 深度学习训练的技巧——one time setup

一、Onetimesetup训练前需要提前考虑好的part:Activationfunctions;datapreprocessing;weightinitialization;regularization.Activationfunction1.Sigmoid在这里插入图片描述将输入x归一化到[0,1]表示了开关状态缺点：最关键：’饱和‘的神经元会’kill‘梯度。当输入x很小，localgra
Deserve_p·2022-12-28 17:42

[cs231n] Softmax Classifier/ SVM

scores由线性函数得到:损失函数Lossfunction:Softmax——交叉熵损失CrossEntropyLoss每个样本的损失：SVM——HingeLoss正则项：总损失=数据损失+正则项：损失函数求梯度gradientSoftmax对weights的梯度：矩阵大小和weights矩阵大小相同对bias的梯度：和bias矩阵大小相同，元素都为1。SVM对weights的梯度：矩阵大小和w
Deserve_p·2022-12-28 17:42

[DL] Transfer Learning

迁移学习摘自：cs231n资料问题背景：数据集不够，很难在大量数据上训练CNN网络，而且这需要大量算力资源和时间。因此，通常将在大型数据集上训练好的网络（pretrained），保存其weights。
Deserve_p·2022-12-28 17:41

卷积神经网络需不需要Linux,【连载】深度学习笔记9：卷积神经网络（CNN）入门...

前面的八篇学习笔记，基本上都是围绕着深度神经网络(DNN)和全连接网络(FCN)在学习。从本篇开始，将带着大家一起学习和研究深度学习的另一个主题——卷积神经网络(ConvolutionalNeuralNetwork)，也就是我们平常眼熟的CNN。卷积神经网络作为当前计算机视觉领域的核心技术，发展到如今已是枝繁叶茂。笔者对于这一块的初步打算是从卷积网络的基本原理讲起，将卷积网络的前向传播和反向传播过
岩笑·2022-12-28 08:49

深度学习笔记 - FCN全卷积神经网络

感受域感受野的计算公式：RFl+1=RFl+(kernel_size-1)×stridelayer1的感受野：RF1=1layer2的感受野：RF2=1+(3-1)×1=3layer3的感受野：RF2=3+(3-1)×1=5感受野越大，分割时获取的全局信息越多，分割越准确。存在的问题在全卷积神经网络中感受域问题存在和熊掌不可兼得的问题：增大stride能够获得更大的感受野，但同时会丢失图像中的信息
地表最菜研究生·2022-12-28 08:48

深度学习笔记（基础篇）——（六）全卷积神经网络（FCN）

通常CNN在卷积层之后会接上若干个全连接层，将卷积层产生的特征图（FeatureMap）映射成一个固定长度的特征向量进行分类。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述，如AlexNet的ImageNet模型输出一个1000维的向量，表示输入图像属于每一类的概率。例如，图4.15中的猫，输入AlexNet，得到一个长为100
马大哈先生·2022-12-28 08:47

动手深度学习笔记（三十八）7.2. 使用块的网络（VGG）

动手深度学习笔记（三十八）7.2.使用块的网络（VGG）7.2.使用块的网络（VGG）7.2.1.VGG块7.2.2.VGG网络7.2.3.训练模型7.2.4.小结7.2.5.练习7.2.使用块的网络（
落花逐流水·2022-12-28 08:46

深度学习笔记012：AlexNet+.nn.Sequential构建神经网络使用实例+object to parameter ‘0’ (torch.nn.Parameter or None……

AlexNet对原始图片进行了数据增强：随机截取，亮度与色温的改变对原始图片进行了数据增强：随机截取，亮度与色温的改变对原始图片进行了数据增强：随机截取，亮度与色温的改变torch.nn.Sequential源码链接nn.SequentialAsequentialcontainer.Moduleswillbeaddedtoitintheordertheyarepassedintheconstruc
FakeOccupational·2022-12-28 07:31

深度学习笔记 —— 模型选择 + 过拟合和欠拟合

我们关心的是泛化误差，而非训练误差。这也给我们一定启示啊，光背题是行不通滴，要理解背后的本质和逻辑Attention：验证数据一定不要和训练数据混在一起！也不能用测试数据集来调超参数！好处是尽可能地把数据作为训练数据集，坏处是代价高（因为要跑多次）。k越大，效果越好，但是k的选择一般要在能承受的计算成本之内。另外，这种方法适用的情况是没有足够多数据的时候数据简单，应该选择比较低的模型容量，就会得到
Whisper_yl·2022-12-28 02:09

目标检测汇总

基于深度学习的目标检测技术演进：R-CNN、FastR-CNN、FasterR-CNN-Madcola-博客园https://www.cnblogs.com/skyfsm/p/6806246.htmlSSD：深度学习笔记
lx_xin·2022-12-28 01:54

深度学习笔记（4）——TextCNN、BiLSTM实现情感分类（weibo100k数据集）

文章目录0前言1数据准备1.1路径、常量、超参数1.2加载数据集2文本清洗3分词4工具类、文本向量化5模型构建6评估7总览8实时测试0前言使用数据集：微博数据集，共有约12万条数据，标签数为2。配置环境：Rtx3060Laptop/AutoDL1数据准备1.1路径、常量、超参数#路径DATASET_PATH='../data/weibo/weibo_senti_100k.csv'USER_DICT
热爱旅行的小李同学·2022-12-27 15:39

网易云课堂吴恩达Andrew Ng深度学习笔记（四）

01.神经网络和深度学习第四周深层神经网络所谓深层神经网络，字面上对应于浅层神经网络，即具有2层及以上的隐藏层。其正向传播过程一样，z[l]=w[l]a[l-1]+b[l],a[l]=g[l](z[l])小技巧，用维度来检查计算过程，n是每一层的神经元个数。导数的维度不变。如果只考虑单个数据，z和a的维度如下，对应上面的正向传播公式，可用维度检查[nl,1]=[nl,nl-1]*[nl-1,1]+
山羊君·2022-12-27 06:23

网易云课堂吴恩达Andrew Ng深度学习笔记（三）

01.神经网络和深度学习第三周浅层神经网络上一周的课程讲解了单神经元的正向及反向传播推导公式及向量化。一个神经元内部的操作分为两步：第一步是输入特征的线性组合，第二步是将z通过激活函数进行非线性变化得到a，也就是对y的拟合。先沿着正向计算损伤函数L(a,y)，再反向计算梯度，沿着dw下降方向来调整参数w=w-α*dw。这里介绍一个典型的2层神经网络，第1层有4个神经元，第二层有1个神经元。每个节点
山羊君·2022-12-27 06:52

Backpropagation反向传播算法（BP算法）

----cs231n2.whatproblemstoslove?
weixin_30707875·2022-12-26 22:46

深度学习笔记（三）：backpropagation反向传播算法python代码讲解

backpropation算法python代码实现讲解批量梯度更新backpropagation算法backpropagation算法步骤backpropation算法python代码实现讲解具体神经网络参见第一个笔记批量梯度更新classNetwork(object):...#参数，mini_batch:要批量更新的输入实例的集合;eta:学习率defupdate_mini_batch(self
放不完的风筝·2022-12-26 22:45

【深度之眼cs231n第七期】笔记（二十六）

NetworkVisualization.ipynb预处理显著图foolingimages可视化类NetworkVisualization.ipynb在之前的代码中，我们定义损失来表达模型的满意程度，然后计算每个参数的梯度，并使用梯度下降来最小化损失。接下来会的代码则不一样：有一个在ImageNet上预训练好的分类模型用这个模型定义损失，用于表达对图像的满意程度计算图像中的每个像素的梯度，使用梯度
树天先森·2022-12-26 21:22

激活函数（Sigmoid, tanh, Relu）

其实这节CS231n讲的就很细了，但是！！！我感觉困惑还是有的。我沿着它的步骤慢慢来讲。
Aliz_·2022-12-26 15:47

计算机视觉与深度学习笔记--北邮

视频来源：计算机视觉与深度学习北京邮电大学鲁鹏清晰版合集（完整版）_哔哩哔哩_bilibili
qq_35821503·2022-12-26 12:24

深度学习笔记（八）神经网络反向传播的梯度下降算法

按照吴恩达老师的话讲，反向传播的数学推导过程实际上是他看过的最复杂的数学之一，涉及线性代数矩阵导数链式法则等等，如果你微积分专家，你可以尝试从头进行数学推导，这是机器学习领域最难的推导之一。不管怎样，如果能实现这些方程，相信能让你有足够的直觉来调整神经网络并使其工作。一、前向传播公式的回顾Z[1]=W[1]X+b[1]A[1]=σ(Z[1])Z[2]=W[2]A[1]+b[2]A[2]=σ(Z[2
Mr.zwX·2022-12-26 10:57

动手深度学习笔记（二十六）5.2. 参数管理

动手深度学习笔记（二十六）5.2.参数管理5.深度学习计算5.2.参数管理5.2.1.参数访问5.2.1.1.目标参数5.2.1.2.一次性访问所有参数5.2.1.3.从嵌套块收集参数5.2.2.参数初始化
落花逐流水·2022-12-26 08:23

Coursera机器学习+deeplearning.ai+斯坦福CS231n

日志20170410Coursera机器学习2017.11.28updatedeeplearning台大的机器学习课程：台湾大学林轩田和李宏毅机器学习课程Coursera机器学习Week5：NeuralNetworks:Learning本来上周开始该学习这个内容，也是先提交了作业，今天才来看看具体的代码；感觉这个课程本身对基础巩固很好。没有连续学习感觉有些有点忘了，最终的目的是自己能够推导这个内容
weixin_34005042·2022-12-26 07:34

1.1 图像分类：数据驱动的方法，k-近邻，划分训练集/验证集/测试集

本文是对斯坦福大学“CS231n：用于视觉识别的卷积神经网络”课程笔记的翻译。
Hao-qiang·2022-12-25 23:10

CS231n+assignment2（一）

assignment2目录CS231n+assignment2（一）文章目录assignment2目录前言一、环境搭建二、代码实现Multi-LayerFullyConnectedNetworkInitialLossandGradientCheckQuestion1SGD
但愿此生，从未邂逅·2022-12-25 22:46

深度学习笔记（一）：PyTorch使用RNN对MNIST手写数字识别，一个项目进入深度学习。

importtorchimportnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimporttimeimportcopyfromtorchimportnnimporttorch.nn.functionalasFimporttorch.optimasoptimimporttorchvisionimporttorch.utils.dataas
这论坛真lj·2022-12-25 17:43

李沐基于Pytorch的深度学习笔记（11.5）-MNIST的数字识别实现（含代码）

本次博文参考的文章如下：用PyTorch实现MNIST手写数字识别(非常详细)_小锋学长生活大爆炸-CSDN博客_pytorch手写数字识别我们对这篇文章进行了一个更加详细的讲解首先我们来设置相关的包和库以及后面会用到的数据importtorchimportnumpyasnpimportpandasaspdimportrandomimportmatplotlibimportmatplotlib.p
chenyuhan1997·2022-12-25 17:41

深度学习笔记（二）卷积层 Convolutional tf.keras.layers.conv2D

如何理解tf.keras.layers.Conv2D（）在介绍，此函数之前，我们先了解卷积层在深度学习中的作用：什么卷积卷积是指将卷积核应用到某个张量的所有点上，通过卷积核在输入的张量上滑动而生成经过滤处理的张量。不同的卷积核对图像中不同特征的敏感程度不同，因此不同的卷积核提取的图像特征不同卷积层完成的是：对图像特征的提取或者信息匹配tf.keras.layers.Conv2D（）的函数参数具体如
咸鱼小姐-coding·2022-12-25 04:30

时序数据深度学习笔记——CNN

一、卷积神经网络卷积神经网络(CNN)是一种利用卷积运算的深度学习结构。这允许神经网络减少特征空间，有效地过滤输入，防止过度拟合。并且由于其可以通过卷积运算有效地滤除时间序列中的噪声，使得能够产生一系列不包括异常值的稳健特性。同时CNN通常比LSTM训练更快，因为它们的操作可以并行。卷积是通过一个内核来实现的，这个内核在模型拟合过程中也经过了训练。内核的步长决定了它在卷积的每一步移动的步数。在时序
HughYue1990·2022-12-24 20:12

anaconda学习python_python深度学习笔记1-Anaconda软件安装

————工欲善其事必先利其器一、Anaconda介绍Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda的下载文件比较大(约531MB)，如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版(仅包含conda和Python)。Python是非常适合进行深度学
康尔馨CARESEEN·2022-12-24 14:47

(五) 深度学习笔记 ｜LeNet-5

一、前言LeNet-5出自论文Gradient-BasedLearningAppliedtoDocumentRecognition，是一种用于手写体字符识别的非常高效的卷积神经网络。卷积神经网络能够很好的利用图像的结构信息。卷积层的参数较少，这也是由卷积层的主要特性即局部连接和共享权重所决定的。如果对卷积神经网络不了解的，可以查看我此前的博客，里面有从卷积神经网络结构的基础说起，详细地讲解每个网络
Viviana-0·2022-12-24 14:58

深度学习CV学习笔记（Alexnet）

文章目录前言Alexnetmodueltrain.pypredic.py前言之前苦于CV不知道具体怎么入手，在看完cs231n的课程之后，算是对整体的套路和方法有了大概的认识，但是牵扯但具体的代码，感觉还是处于一个非常懵的状态
蜡笔tiny新·2022-12-24 14:22

(三) 深度学习笔记 ｜关于梯度、导数、偏导数和方向导数的理解

一、关于梯度简单来说：梯度不是一个值，而是一个方向1.delta法则为了克服多层感知机调参存在的问题，人们设计了一种名为delta（[公式]）法则（deltarule）的启发式方法，该方法可以让目标收敛到最佳解的近似值。delta法则的核心思想在于，使用梯度下降（gradientdescent）的方法找极值。2.一维梯度如果这个斜率越大，就表明其上升趋势越强劲。当这个斜率为0时，就达到了这个函数的
Viviana-0·2022-12-24 13:15

深度学习笔记（1）| 导数、偏导数、梯度和方向导数的理解

1.梯度（Gradient）的理解深度学习尝试在权重空间中找到一个方向，沿着该方向能降低损失函数的损失值。其实不需要随机寻找方向，因为可以直接计算出最好的方向，这就是从数学上计算出最陡峭的方向。这个方向就是损失函数的梯度（gradient）。在蒙眼徒步者的比喻中，这个方法就好比是感受我们脚下山体的倾斜程度，然后向着最陡峭的下降方向下山。梯度的定义在函数各个点的变化率的一个向量,向量的模就是方向导数
菜鸟的追梦旅行·2022-12-24 13:32

深度学习笔记（十一）核对矩阵的维度（确定矩阵维度的精髓）

学习前面知识的过程中，遇到过很大的问题，那就是矩阵维度。这个到底是几乘几的矩阵？这个权重矩阵是否需要转置？输出的矩阵是否是我们期望的形状？那么这一课，我们来剖析一下参数及输入输出矩阵的维度。一、参数w[l]w^{[l]}w[l]和b[l]b^{[l]}b[l]的维度z[1]=w[1]x+b[1]z^{[1]}=w^{[1]}x+b^{[1]}z[1]=w[1]x+b[1]考虑权重维度时，抛开偏置值
Mr.zwX·2022-12-24 08:02

PyTorch深度学习笔记（十七）现有网络模型的使用与修改

课程学习笔记，课程链接在现有的torchvision中提供了许多常见的神经网络模型，这些模型主要包括：分类、语义分割、目标检测、视频分类等类型，其中分类主要针对图像分类，包括AlexNet、VGG、ResNet、GoogLeNet等网络。具体情况可以参照PyTorch官网。使用该数据集需安装scipy，可用piplist查看是否安装（数据集100多G，太大不适宜讲解）设置全局镜像新建文件夹C:\U
小于同学饿了·2022-12-24 06:16

神经网络与深度学习笔记——梯度下降算法是什么？

神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。
刘爱然·2022-12-23 22:55

深度学习笔记-tf.GradientTape用法详解

TensorFlowGradientTape用法详解最近看到莫凡老师上传的GAN相关的代码时,发现莫凡老师写的GAN网络的代码使用了tf.GradientTape()进行先计算模型的梯度,然后利用优化器的apply_gradients()方法进行训练优化,于是查了一下相应的api总结出了此篇文档.简单的梯度计算importtensorflowastfx=tf.Variable(3.)withtf.
DeepBrainWH·2022-12-23 19:49

CV领域的对比学习综述(下)

CV领域的对比学习综述(下)–潘登同学的深度学习笔记文章目录CV领域的对比学习综述(下)--潘登同学的深度学习笔记对比学习发展历程不用负样本BYOL整体思路网络架构BN层知道了副样本BYOL回应blogSimSiam
PD我是你的真爱粉·2022-12-23 17:46

CV领域的对比学习综述(上)

CV领域的对比学习综述(上)–潘登同学的深度学习笔记文章目录CV领域的对比学习综述(上)--潘登同学的深度学习笔记对比学习发展历程百花齐放InstDisc研究动机网络架构InvaSpreadCPCCMC
PD我是你的真爱粉·2022-12-23 17:45

【学习资源汇总】

学习资源汇总机器学习双目视觉模型部署工具安装和使用MTMCT工作学习感悟篇机器学习吴恩达深度学习笔记最全最详细！这一篇足够了！
XTX_AI·2022-12-23 13:59

深度学习笔记

人工神经元人工神经元人类神经元中抽象出来的数学模型输入求和(权重乘标签)Function输出(0/1是否激活)第一个人工神经网络Perceptron(感知机)输出是否激活感知机的致命缺点无法解决异或问题多层感知机单层神经网络基础上引入一个或多个隐藏层，使神经网络有多个网络层，因而得名多层感知机。多层感知机的层数往往是看有多少层有权重多层感知机的前向传播多层感知机的激活函数（没有激活函数多层将会退化
Summerke123·2022-12-23 12:17

精讲CS231N斯坦福计算机视觉公开课笔记

【子豪兄】精讲CS231N斯坦福计算机视觉公开课计算机视觉发展历史与课程概述大概讲了一些计算机视觉的运用范围（机器学习、生物、无人机、光学等）。
巧克力豆豆拌饭·2022-12-23 06:39

计算机视觉学习——李飞飞斯坦福大学计算机视觉公开课cs231n 图像分类 实现

首先我们下载cs231n提供的训练集和测试集。
mprogress·2022-12-23 06:38

『cs231n』计算机视觉基础

线性分类器损失函数明细：『cs231n』线性分类器损失函数最优化Optimiz部分代码：1.随机搜索bestloss=float('inf')#无穷大fornuminrange(1000):W=np.random.randn
weixin_30765319·2022-12-23 06:37

斯坦福大学深度学习公开课cs231n学习笔记（7）神经网络防止数据过拟合：损失函数和正则化

在第二节课中，大概提到了线性分类器的损失函数和正则化方法，类似的，在神经网络中也会用到这几个概念方法。这里我没有按照课中先正则化后损失函数的顺序做笔记，还是先说损失函数（也叫代价函数）部分。损失函数损失函数是一个有监督学习问题，用于衡量分类算法的预测结果（分类评分）和真实结果之间的一致性。数据损失是所有样本数据损失的平均值：，神经网络在实际应用时常用来解决的问题是：分类问题和回归问题。分类问题中，
Naruto_Q·2022-12-23 06:34

斯坦福大学深度学习公开课cs231n学习笔记（4）正向传播及反向传播

在cs231n反向传播这节课中，主要利用简单的函数讲了梯度的求解，梯度的链式求解法则，前向传播，后向传播等概念知识，其中对于梯度和链式求解方法，上过高数课的相信都比较了解，所以我主要对前向传播和后向传播作下学习笔记
Naruto_Q·2022-12-23 06:04

斯坦福大学深度学习公开课cs231n学习笔记（9）softmax分类和神经网络分类代码实现

在前面的几节课中，讲述了神经网络的基本原理和参数的优化方法等，在这节课中，讲师前面的知识进行总结运用，通过构建Softmax分类器和一个小型的神经网络让我们有更加深入和直接的了解。我按照课中的步骤进行实现。第一步：生成数据N=100#numberofpointsperclassD=2#dimensionalityK=3#numberofclassesimportnumpyasnpimportmat
Naruto_Q·2022-12-23 06:04

CS231N斯坦福计算机视觉公开课笔记

p6可视化卷积神经网络：导向反向传播让轮廓更明显，找到识别最大的原始图像p9：CNN网络工程的实践技巧，，3*3卷积，步长为1，padding=1使得featuremap维度不变。两个3*3替换一个5*5,感受野相同，可以减少参数，非线性变换的次数增多。输入H*W*C，C是通道数，要C个卷积核，卷积核大小是7*7，参数是7*7*C*C，3个3*3来代替，参数是3*3*C*C乘法运算量：featur
368chen·2022-12-23 06:04

斯坦福大学深度学习公开课cs231n学习笔记（3）最优化方法：梯度下降

继续cs231n课程的学习，最优化方法部分：随机梯度下降法。前面课程介绍了图像分类任务的两个关键部分：（1）评分函数。将原始图像像素映射为分类评分值。（2）损失函数。
Naruto_Q·2022-12-23 06:03

斯坦福大学深度学习公开课cs231n学习笔记（2）线性分类器及最优化

图像分类图像分类即是从已有的分类标签集中选择一个分配给一张图像。K近邻算法可以进行分裂，但存在不足之处：（1）分类器必须记住所有训练数据并将其存储起来，以便于未来测试数据用于比较。这在存储空间上是低效的。（2）对一个测试图像进行分类需要和所有训练图像作比较，算法计算资源耗费高。针对不足，需要更强大的方法来解决图像分类问题，并可以自然延伸到神经网络和卷积神经网络。这种方法主要由两部分组成：一是评分函
Naruto_Q·2022-12-23 06:03
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他