CS231n深度学习笔记

批量归一化(Batch normalization)

动手学深度学习笔记-批量归一化Batchnormalization什么是批量归一化?为什么需要批量归一化？批量归一化如何起作用？总结与注意事项什么是批量归一化?  
安静的钢琴·2023-12-26 11:28

卷积神经网络

https://zhuanlan.zhihu.com/p/27642620关于卷积神经网络的讲解，网上有很多精彩文章，且恐怕难以找到比斯坦福的CS231n还要全面的教程。
weixin_34283445·2023-12-25 06:05

paddlepaddle深度学习笔记（二）使用飞桨重写房价预测任务

在之前的章节中，学习了使用Python和NumPy实现波士顿房价预测任务的方法，本章将尝试使用飞桨重写房价预测任务，体会二者的异同。在数据处理之前，需要先加载飞桨框架的相关类库。paddlepaddle飞浆官网CPU版的PaddlePaddlepipinstallpaddlepaddle==2.4.2-ihttps://pypi.tuna.tsinghua.edu.cn/simpleGPU版的Pa
PEACE_小石头·2023-12-23 16:54

CS231n 作业答案

CS231n三次大作业：#第一次作业##原始包下载：作业一完成包地址：作业一JupyterNotebook结果：KNNSVMSoftmaxTwolayernetFeatures第二次作业原始包下载：作业二完成包地址
tech0ne·2023-12-23 04:00

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train/Dev/Testsets）在
极客Array·2023-12-21 06:18

fast.ai 深度学习笔记：第一部分第二课

原文：DeepLearning2:Part1Lesson2作者：HiromiSuenaga论坛笔记本回顾上一课[01:02]我们使用3行代码来构建图像分类器。为了训练模型，需要在PATH下以某种方式组织数据（在本例中为data/dogscats/）：image应该有train文件夹和valid文件夹，并且在每个文件夹下都有带有分类标签的文件夹（例如本例中的cats），其中包含相应的图像。训练输出：
布客飞龙·2023-12-20 00:31

动手学深度学习笔记（二）

1.线性回归简化模型房价预测的模型可以理解为用一些能够表示房子特点的因素如卧室个数、卫生间个数、面积等nnn个属性组成的特征向量：x=[x1x2⋮xn]\mathbf{x}=\left[\begin{matrix}x_1\\x_2\\\vdots\\x_n\end{matrix}\right]x=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤房价的预测是这些属性的加权和：y=w1x1+w2x2+⋯+wnxn+
上官永石·2023-12-19 18:31

深度学习笔记_6经典预训练网络LeNet-18解决FashionMNIST数据集

1、调用模型库，定义参数，做数据预处理importnumpyasnpimporttorchfromtorchvision.datasetsimportFashionMNISTimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderimporttorch.nn.functionalasFimporttor
Element_南笙·2023-12-18 20:23

深度学习笔记_7经典网络模型LSTM解决FashionMNIST分类问题

1、调用模型库，定义参数，做数据预处理importnumpyasnpimporttorchfromtorchvision.datasetsimportFashionMNISTimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderimporttorch.nn.functionalasFimporttor
Element_南笙·2023-12-18 20:51

深度学习记录--矩阵维数

如何识别矩阵的维数如下图矩阵的行列数容易在前向和后向传播过程中弄错，故写这篇文章来提醒易错点顺便起到日后查表改错的作用本文仅作本人查询参考(摘自吴恩达深度学习笔记)
蹲家宅宅·2023-12-17 11:02

cs231n作业-assignment1

assignment1(cs231n)文章目录assignment1(cs231n)KNN基础计算distances方法一：双层循环计算distances方法二：单层循环计算distances方法三：无循环根据
momentum_·2023-12-16 14:30

【深度学习笔记】08 欠拟合和过拟合

08欠拟合和过拟合生成数据集对模型进行训练和测试三阶多项式函数拟合（正常）线性函数拟合（欠拟合）高阶多项式函数拟合（过拟合）importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l生成数据集给定xxx，我们将使用以下三阶多项式来生成训练和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+
LiuXiaoli0720·2023-12-06 00:50

【深度学习笔记】07 多层感知机

07多层感知机多层感知机在网络中加入隐藏层从线性到非线性激活函数ReLU函数sigmoid函数tanh函数多层感知机的从零开始实现初始化模型参数激活函数模型损失函数训练多层感知机的简洁实现模型多层感知机在网络中加入隐藏层我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。要做到这一点，最简单的方法是将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成
LiuXiaoli0720·2023-12-06 00:49

【深度学习笔记】06 softmax回归

06softmax回归softmax运算损失函数对数似然Fashion-MNIST数据集读取数据集读取小批量整合所有组件softmax回归的从零开始实现初始化模型参数定义softmax操作定义模型定义损失函数分类精度训练预测softmax回归的简洁实现softmax运算softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，首先对每个未规范化的预
LiuXiaoli0720·2023-12-06 00:19

【深度学习笔记】09 权重衰减

09权重衰减范数和权重衰减利用高维线性回归实现权重衰减初始化模型参数定义L2L_2L2范数惩罚定义训练代码实现忽略正则化直接训练使用权重衰减权重衰减的简洁实现范数和权重衰减在训练参数化机器学习模型时，权重衰减（decayweight）是最广泛应用的正则化技术之一，它通常也被称为L2L_2L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度，因为在所有函数fff中，函数f=0f=0f=0（所有输
LiuXiaoli0720·2023-12-06 00:18

吴恩达深度学习笔记(36)-神经网络的梯度消失/梯度爆炸

梯度消失/梯度爆炸（Vanishing/Explodinggradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。这节课，你将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。假设你正在训练这样一个极深的神经网络，为了
极客Array·2023-12-05 23:01

【深度学习理论】(1) 损失函数

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。
立Sir·2023-12-02 14:27

深度学习笔记（十三）—— GAN-2

LSGANLSGAN(LeastSquaresGAN)将loss函数改为了L2损失.G和D的优化目标如下图所示,image作业:在这里,请在下方补充L2Loss的代码来实现L2损失来优化上面的目标.并使用这个loss函数在mnist数据集上训练LSGAN,并显示训练的效果图片及loss变化曲线.提示:忽略上图的1/2.L2损失即MSEloss(均方误差),传入两个参数input_是指判别器D预测为
Nino_Lau·2023-12-02 05:18

吴恩达深度学习笔记(45)-Adam 优化算法(Adam optimization)

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是
极客Array·2023-11-30 04:58

动手学深度学习笔记day9

卷积神经网络（convolutionalneuralnetworks，CNN）图像不是二维张量，而是一个由高度、宽度和颜色组成的三维张量，比如包含个像素。前两个轴与像素的空间位置有关，而第三个轴可以看作是每个像素的多维表示。互相关运算互相关运算（cross-correlation）：在卷积层中，输入张量和核张量通过互相关运算产生输出张量。在图中，输入是高度为3、宽度为3的二维张量（即形状为3×3）
努力学习的廖同学·2023-11-29 17:24

深度学习笔记

目录TensorBoard的使用Transforms的使用TorchVision中数据集的使用Dataloader的使用卷积操作神经网络-卷积层最大池化非线性激活线性层小型网络搭建和Sequential使用损失函数与反向传播优化器网络模型的使用及修改完整模型的训练利用gpu训练模型验证自动求导线性神经网络线性回归基础优化算法线性回归的从零开始实现线性回归的简洁实现softmax回归图像分类数据集s
czyxw·2023-11-28 23:21

线性分类器--数据处理

数据集划分通常按照70%，20%，10%来分数据集数据处理斯坦福的线性分类器体验http://vision.stanford.edu/teaching/cs231n-demos/linear-classify
骆驼穿针眼·2023-11-28 03:45

[深度学习]动手学深度学习笔记-10

Task5——卷积神经网络基础；leNet；卷积神经网络进阶10.1卷积神经网络（CNN）基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像数据具有显著的局部与整体关系，其在图像识别领域的应用获得了巨大的成功。10.1.1卷积神经网络的组成层图10.1卷积神经网络示意图以图像分类任务为例，在表10.1所示卷积神经网络中，一般包含
田纳尔多·2023-11-26 12:16

【深度学习笔记】03 微积分与自动微分

03微积分与自动微分导数和微分导数解释的可视化偏导数梯度链式法则自动微分非标量变量的反向传播分离计算导数和微分假设我们有一个函数f:R→Rf:\mathbb{R}\rightarrow\mathbb{R}f:R→R，其输入和输出都是标量。如果fff的导数存在，这个极限被定义为f′(x)=lim⁡h→0f(x+h)−f(x)h.f'(x)=\lim_{h\rightarrow0}\frac{f(x+
LiuXiaoli0720·2023-11-26 09:27

【深度学习笔记】04 概率论基础

04概率论基础概率论公理联合概率条件概率贝叶斯定理边际化独立性期望和方差模拟投掷骰子的概率随投掷次数增加的变化概率论公理概率（probability）可以被认为是将集合映射到真实值的函数。在给定的样本空间S\mathcal{S}S中，事件A\mathcal{A}A的概率，表示为P(A)P(\mathcal{A})P(A)，满足以下属性：对于任意事件A\mathcal{A}A，其概率从不会是负数，即
LiuXiaoli0720·2023-11-26 09:27

【深度学习笔记】01 数据操作与预处理

01数据操作与预处理一、数据操作1.1基本数据操作1.2广播机制1.3索引和切片1.4节省内存1.5转换为其他Python对象二、数据预处理读取数据集处理缺失值转换为张量格式练习一、数据操作1.1基本数据操作导入torchimporttorch张量表示一个由数值组成的数组，这个数组可能有多个维度（轴）。具有一个轴的张量对应数学上的向量（vector），具有两个轴的张量对应数学上的矩阵（matrix
LiuXiaoli0720·2023-11-26 09:57

深度学习笔记 —— 线性代数

线性代数实现：1.标量由只有一个元素的的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])2.可以将向量视为标量值组成的列表x=torch.arange(4)#通过张量的索引来访问任一元素x[3]3.访问张量的长度x=tensor.arange(4)len(x)Output:4只有一个轴的张量，形状只有一个元素x.shapeOutpu
Whisper_yl·2023-11-26 09:26

【深度学习笔记】02 线性代数基础

线性代数基础线性代数基础标量向量长度、维度和形状矩阵张量算法的基本性质降维非降维求和点积（DotProduct）矩阵-向量积矩阵-矩阵乘法范数线性代数基础标量标量由只有一个元素的张量表示importtorchx=torch.tensor(3.0)y=torch.tensor(2.0)x+y,x*y,x/y,x**y(tensor(5.),tensor(6.),tensor(1.5000),tens
LiuXiaoli0720·2023-11-26 09:22

菜菜的Python学习日记 | Python从入门到入土详解

我的其他日记菜菜的刷题日记|被LeetCode用Python狂虐的那段日子菜菜的并发编程笔记|Python并发编程详解（持续更新~）菜菜的深度学习笔记|基于Python的理论与实现数据分析入门|kaggle
猿知·2023-11-25 03:12

吴恩达深度学习笔记5-Course2-Week1【深度学习的实用层面】

改善深层神经网络：超参数调试、正则化以及优化深度学习的实用层面一、训练、验证、测试集样本数据分成以下三个部分：训练集(trainset):用于对模型进行训练。验证集(hold-outcrossvalidation/developmentset):对不同模型进行评估。测试集(testset):对选取的模型进行无偏评估。node:验证集要和训练集最好来自于同一个分布，可以使得机器学习算法变快。如果不需
Wang_Jiankun·2023-11-23 19:28

吴恩达深度学习笔记8-Course3-Week1【机器学习策略（ML Strategy）1】

结构化机器学习项目机器学习策略（MLStrategy）1一、机器学习策略介绍（IntroductiontoMLStrategy）1、机器学习策略就是超参数调优的策略，怎么调？怎们评估调优的效果？调哪些超参的效果更好？超参数调优的次序？下图是一些经常调优的超参：2、正交化（Orthogonalization）正交化或正交性是一种系统设计属性，可确保修改算法的某一部分不会对系统的其他部分产生或传播副作
Wang_Jiankun·2023-11-23 19:58

动手学深度学习笔记---4.3 解决过拟合_权重衰减与Dropout

一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，L1L1L1正则化通过限制参数值的选择范围来控制模型容量，L2L2L2正则化：使用均方范数作为硬性限制，即对于参数w,bw,bw,b，假设其损失函数为l(w,b)l(w,b)l(w,b)，则其优化目标为mi
Aaaaaki·2023-11-22 15:06

GRU、LSTM、双向循环神经网络

动手学深度学习笔记一、门控循环单元(GRU)1.重置门和更新门2.候选隐状态3.隐状态4.PyTorch代码二、长短期记忆网络(LSTM)1.输入门、遗忘门和输出门2.记忆元3.隐状态4.PyTorch
葫芦娃啊啊啊啊·2023-11-21 02:42

【深度学习笔记】6.循环神经网络

循环神经网络计算图计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。下面这个计算图表示复合函数关于计算图的求导，我们可以用链式法则表示，有下面两种情况。情况1情况2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SUose3jf-16
不休的turkeymz·2023-11-21 02:08

【CS231n】－学习笔记-1-Intro to Computer Vision, historical context.

Class:http://cs231n.stanford.eduSchedule:http://cs231n.stanford.edu/syllabus.htmlSlides:http://vision.stanford.edu
Alice熹爱学习·2023-11-20 15:32

深度学习笔记-GCN+卷积方式汇总

卷积方式汇总convolutionsummary一、为什么要用小卷积核代替大卷积核自从VGG网络开始，叠加的小卷积核已经成为流行，因为能够使用更小的参数量实现特征提取。大卷积核优点：感受域大举例：AlexNet、LeNet等网络都使用了较大的卷积核，例如5x5，11x11缺点：参数量大，计算量大（硬件设备不成熟的情况下需要进行分组计算）小卷积核优点：参数量少；计算量少；整合三个非线性激活层代理单一
地表最菜研究生·2023-11-20 11:39

笔记00-杜克大学公开课,图像和视频处理:从火星到好莱坞

笔记内容介绍》ImageandVideoProcessing:FromMarstoHollywoodwithaStopattheHospital算起来是2017年中的时候，因为要搞深度学习的东西，就自学了斯坦福cs231n
木木爱吃糖醋鱼·2023-11-19 21:56

HALCON 20.11：深度学习笔记(5)---设置超参数

HALCON20.11：深度学习笔记(5)---设置超参数HALCON20.11.0.0中，实现了深度学习方法。
机器视觉001·2023-11-19 19:37

深度学习笔记：第二周链接汇总

训练集、验证集、测试集以及偏差和方差链接正则化链接神经网络中的梯度消失、梯度爆炸、梯度的数值逼近、梯度检验链接神经网络初始化权重设置链接第一周三次作业链接链接链接链接链接链接Mini-batch梯度下降法链接MomentumRMSpropAdam学习率衰减链接第二周作业链接链接超参数调试链接BatchNormBatch归一化链接链接softmax回归链接第三周作业链接链接
??18045080716·2023-11-16 21:11

深度学习笔记--基于C++手撕self attention机制

目录1--selfattention原理2--C++代码3--拓展3-1--maskselfattention3-2--crossattention1--selfattention原理直观来讲，就是每个token的Query去和其它token（包括自身）的Key进行dotproduct（点积）来计算权重weight，weight一般需要进行softmax归一化操作，然后将weight与每个toke
晓晓纳兰容若·2023-11-13 01:50

HALCON 21.11：深度学习笔记(1)

HALCON21.11：深度学习笔记(1)HALCON21.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。
机器视觉001·2023-11-12 16:45

HALCON 20.11：深度学习笔记(2)

HALCON20.11：深度学习笔记(2)HALCON20.11.0.0中，实现了深度学习方法。
机器视觉001·2023-11-12 16:15

HALCON 20.11：深度学习笔记(1)

HALCON20.11：深度学习笔记(1)HALCON20.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。
机器视觉001·2023-11-12 16:15

深度学习笔记（02）：神经网络的输入和输出

logistics回归，逻辑回归问题。图像在计算机中如何保存？要保存一张图像，要保存三个独立矩阵，对应三原色通道。如果输入图像大小是64×64大小的，那个矩阵的大小也是64×64的，而且是3个矩阵。要把矩阵中的像素值放到一个特征向量x中，这个x就表示了这张图像。向量x的总维度就是64×64×3。图片的特征向量x作为输入，预测输出的结果标签为y。用一个单独的(x,y)作为一个单独的输入样本。训练集由
qq_36346625·2023-11-11 10:57

深度学习笔记-014-目标检测基础知识

目标检测任务及发展脉络图像处理三大任务：物体识别、目标检测、图像分割目标检测：给定一张图像，判断图像中是否存在指定类别的目标，若存在，则输出目标位置、类别及置信度。目标检测的任务：目标检测属于多任务，一个任务是目标分类，另一个是目标位置的确定，即分类与回归目标检测发展历程如下图基于深层伸进网络的目标检测的两种分类：双阶段（twostage）：第一级网络用于候选区域提取；第二级网络对提取的候选区域进
地表最菜研究生·2023-11-11 06:12

深度学习笔记

项目场景：做了一个图像处理的模型，之前使用的好好的，今天同事测试报了下面这个错误Input0oflayersequentialisincompatiblewiththelayer:expectedaxis-1ofinputshapetohavevalue3butreceivedinputwithshape[None,224,224,4]原因分析：怀疑是图片的问题，问同事拿了图片复现出了问题，发现同
用吉他弹奏摇滚乐·2023-11-09 06:22

向量对向量求导，链式法则

http://cs231n.stanford.edu/vecDerivs.pdf这个文献是一个好文献。
构建的乐趣·2023-11-08 19:39

深度学习笔记003 数据操作&线性代数&自动求导及实现

数据操作[::3,::2]代表的是行每3行一跳，列是每两列一跳bold的代表向量，一个向量对一个向量的导数是一个矩阵：答：如果是凸函数有最优解，机器学习考虑的是NP问题，往往无法达到最优解。自动求导及实现自动求导区别符号计算与数值拟合pythorch实用计算图(有点像链式法则)显示构造就像小学的先化简再赋值:隐式构造就是让系统先记住值：两个计算方式：
FakeOccupational·2023-11-06 08:09

深度学习笔记（二十四）—— 深度学习总结与回顾

本周是深度学习实验课的最后一次课，让我们回顾一下在这个学期中大家都学习到了哪些内容。在前面的课程中我们首先了解了神经网络的结构，如何去搭建神经网络，怎样去训练神经网络，以及神经网络的优化、微调。紧接着我们又学习了深度学习领域当前比较流行的几个大方向，例如分类、语义分割、目标检测、对抗神经网络、自然语言处理等等。接下来的内容是对我们所学的知识的一个总结和升华。1.神经网络的基础内容1.框架当前训练神
Nino_Lau·2023-11-05 22:14

Win10上关于cs231n（2017）课后作业的环境配置

开始首先，这篇文章是针对那些想完成cs231n作业，但是觉得装linux双系统很麻烦的童鞋。
Diane小山·2023-11-05 16:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他