CS231n深度学习笔记第9页

【深度学习笔记整理-4.1】如何避免过拟合？

其实神经网络训练的过程就是一个欠拟合与过拟合拉锯的过程，一方面，我们希望我们的网络可以比较好的拟合训练数据，另一方面，我们又不希望它学习的那么好，以至于最终只是记忆住了全部答案。解决过拟合的问题非常重要，一般有如下四种方法：1.增加训练数据数量模型的训练数据越多，泛化能力自然也越好。这是因为更多的数据可以给我们找到更一般的模式。如果无法获取更多数据，次优解决方法是调节模型允许存储的信息量，或对模型

Y·Not·Try·2023-02-01 09:58

深度学习笔记(一)：卷积，池化

问题的提出常规的神经网络存在着一些致命的问题。对于大图片来说，如果使用神经网络，那么我们需要width*height*channel个weight，对于大图片来说这是难以处理的。首先这种全连接的方式是一种浪费，其次这么多weight很容易造成过拟合。所以我们提出了cnn。cnn的定义cnn是很多层layer的组合。每一层都通过一个不同的函数将一种activation转化为另一种。通常使用三种lay

Android笨鸟之旅·2023-02-01 05:36

深度学习笔记 —— 转置卷积

语义分割要做像素级别的预测，但是卷积不断地减小高宽，所以需要另外一种卷积把小的高宽变大。转置卷积：输入中的单个元素与kernel按元素做乘法但不相加，然后按元素写回到原始的地方。再谈转置卷积：换算成卷积之后，卷积是正常卷积，也就是填充为0，步幅为1，与前面填充和步幅是无关的。如果要做逆变换需要能推出来：n>=sn'+k-2p-s（刚好整除的情况下取等号）转置卷积是形状上做逆运算，但元素值不是。转置

Whisper_yl·2023-02-01 04:59

Day12 #100DaysofMLCoding#

2018825-27今日计划cs231n第13节代码新加一个维度img[None]isthesameasimg[np.newaxis,:]np.tile(数组，重复几次)np.repeat(数组，重复几次

MWhite·2023-01-31 23:29

【01李宏毅深度学习笔记2021春季】课程笔记Introduction&Regression(简介和回归)

01-1Introduction课程网址：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html1.PrerequisiteMathCalculus(微积分)Linearalgebra(线性代数)Probability(概率)ProgrammingPythonPyTorchHardware:不需要硬件设备，在GoogleColab上运行2.A

is_colorful·2023-01-31 18:56

动手学深度学习笔记第四章（多层感知器）

4.1多层感知器y.backward(torch.ones_like(x),retain_graph=True)这里的retain_graph=True参数：pytorch进行一次backward之后，各个节点的值会清除，这样进行第二次backward会报错，因为虽然计算节点数值保存了，但是计算图结构被释放了，如果加上retain_graph==True后,可以再来一次backward。关于det

冬青庭院·2023-01-31 14:25

深度学习笔记（一）

一张图片被表示成三维数组的形式，每个像素的值从0到255，图片上的值代表像素点，值越大越亮。例如:300*1003指的是图片的长宽*颜色3=RGB1=黑白图一、机器学习的步骤：1.收集数据并给定标签。标签的意思是加入你有一对猫和狗的图片，你要给猫图片定义一个猫的标签，给狗的图片定义一个狗的标签。2.训练一-个分类器，例如逻辑回归、随即森林3.测试，评估。二、找参数：把数据分为train、val、t

奋斗的猪猪霞·2023-01-30 21:08

深度学习笔记（三）——对Tensor索引操作函数gather的解释

索引操作函数gather函数详解gather函数的输出规则第一条规则第二条规则gather函数内部的代码机理推测代码示例输出结果参考文献事先声明：本文只会对二维张量的gather操作进行介绍，三维张量的gather操作规则在csdn上的博文屡见不鲜。本文的解释是从个人的理解出发，相信解释也会对理解三维张量的操作规则起到触类旁通的作用。gather函数的输出规则out[i][j]=input[ind

小白成长之旅·2023-01-30 20:19

深度学习笔记

2019独角兽企业重金招聘Python工程师标准>>>注意不要在舒适区练习。也就是如果你俯卧撑能做100个，那么每次做50个，都是你的舒适区，是没有任何效果的。不要在恐慌区练习。初学吉他的，上来扫几个和弦还行，直接学solo一段加州旅馆肯定会挂。同样没有任何效果。要在学习区练习。学习区就是舒适区之外，恐慌区之内的部分。即你踮脚使劲伸手，是能够到的高度，有难度，但是是可实现的。要有反馈。如果你没有足

Mathilda91·2023-01-30 19:31

【深度学习笔记】卷积网络中的卷积与互相关的那点事

卷积层的来源与作用深度学习的计算机视觉是基于卷积神经网络实现的，卷积神经网络与传统的神经网络（可以理解为多层感知机）的主要区别是卷积神经网络中除了全连接层外还有卷积层和pooling层等。卷积层算是图像处理中非常基础的东西，它其实也是全连接层演变来的，卷积可视为局部连接和共享参数的全连接层。局部连接：在全连接层中，每个输出通过权值(weight)和所有输入相连。而在视觉识别中，关键性的图像特征、边

秋天的波·2023-01-30 18:20

【深度学习笔记】为什么用F1-score

问题为什么使用F1score？（这里主要讨论为何使用F1score而不是算术平均）F1scoreF1score是分类问题中常用的评价指标，定义为精确率（Precision）和召回率（Recall）的调和平均数。F1=21Precision+

秋天的波·2023-01-30 18:20

【深度学习笔记】弄明白感受野大小的计算问题

感受野Receptivefield(RF)的概念卷及神经网络中每一层输出的特征图(featuremap)中的每一个像素映射到原始输入图像的区域大小。卷积输入输出的大小关系根据感受野的概念，大家可以体会到感受野的计算应该与卷积的计算是相反的过程，所以先回顾下卷积输入输出的大小关系公式：（以高度为例）Heightout=(Height

秋天的波·2023-01-30 18:49

cs231n作业1中的SVM与Softmax

SVM在cs231n的作业1中，每个分类器都用loop和非loop方法，或是否直接处理矩阵方法，其中留给我们写的大多都是其中核心内容，所以额外部分我也

倒霉蛋or幸运儿·2023-01-30 11:45

深度学习笔记（一）记录训练过程

深度学习笔记（一）记录训练过程前言一、tensorboardX中SummaryWriter记录训练过程二、总结前言本帖子主要记录深度学习编程过程中的一些笔记，欢迎指导批评。

汤姆和佩琦·2023-01-30 05:40

使用Google Colab的python教程

原文链接https://cs231n.github.io/python-numpy-tutorial/PythonTutorialWithGoogleColab检查python版本!

熊舍尼奥·2023-01-29 18:01

PyTorch深度学习笔记（十六）优化器

课程学习笔记，课程链接优化器：神经网络的学习的目的就是寻找合适的参数，使得损失函数的值尽可能小。解决这个问题的过程为称为最优化。解决这个问题使用的算法叫做优化器。在PyTorch官网中，将优化器放置在torch.optim中，并详细介绍了各种优化器的使用方法。现以CIFAR10数据集为例，损失函数选取交叉熵函数，优化器选择SGD优化器，搭建神经网络，并计算其损失值，用优化器优化各个参数，使其朝梯度

小于同学饿了·2023-01-29 11:14

PyTorch深度学习笔记（四）PyCharm及Jupyter使用对比

课程学习笔记，课程链接1、Pycharm确定程序使用的pytorch的环境运行程序，为python文件设置python解释器第一种方式第二种方式右击2、Jupyter新建项目及使用此时打开默认以该路径为地址而打开的目录创建新文件3、三种代码编辑方式对比

小于同学饿了·2023-01-29 11:44

Pytorch深度学习笔记①：线性回归+基础优化方法

一、线性回归首先，在介绍线性回归之前，先用一个简化的模型作为引入。假设某地的房价影响因素有地理位置、人流量以及面积大小，分别记为x1、x2、x3。而房屋的最终成交价y=w1x1+w2x2+w3x3+b。此即为线性模型，给定了n维输入X=[x1,x2,...,xn]T，以及模型的n维权重w=[w1,w2,...,wn]T和标量偏差b，模型的输出即为输入的加权和：y=w1x1+w2x2+...+wnx

元気Hu.sir·2023-01-29 11:10

Pytorch 深度学习笔记

毋丶疗·2023-01-29 11:37

pytorch深度学习笔记

在深度学习中，在新数据上运行训练过的模型的过程被称为推理。为了进行推理我们需要将网络置于eval模式

flamezhu·2023-01-29 11:05

PyTorch深度学习笔记

反向传播:正向传播是z=x1*w1+x2*w2+b,然后通过激活函数表示成一个想要的曲线(比如要表示它的概率,则一般希望是在0-1区间内,使用sigmond函数)反向传播是指,你的w1,w2和b是随机生成的,需要对它进行调整,使用某些统计学公式计算预测值和实际值的差Loss后,对w1,w2,b进行调整,这就是反向传播,调节大小例如是α*梯度下降函数,例如Adagrad,Adam,Adamax,AS

Galaxy_5688·2023-01-29 11:01

初识图像分类——K近邻法(cs231n assignment)

imread‘in‘init.py‘error:(-209:Sizesofinputargumentsdonotmatch)Theoperationisneither‘arrayoparray‘(wherecs231n

非妃是公主·2023-01-29 07:11

[深度学习笔记(1)]深度学习入门

本系列是博主刚开始接触深度学习时写的一些笔记，写的很早了一直没有上传，趁着假期上传一下，作为分享，希望能帮助到你。目录前言一、什么是深度学习二、深度学习的应用三、深度神经网络的难题3.1梯度消失/梯度爆炸3.2过拟合3.3网络退化总结前言近年来，随着人工智能的发展，深度学习已经成为了热门的学科。在详细阐述深度学习之前，必须先理清人工智能、机器学习和深度学习之间的区别。从这张图可以看出，机器学习是人

阿飞没有花福蝶·2023-01-28 13:53

深度学习笔记—从入门到入门

深度学习深度学习入门神经网络以及误差反向传播神经元模型传统神经网络激活函数‘层’的概念误差反向传播算法神经网络到深度学习经典深度学习网络模型语义分割经典FCN模型（待）deeplabv3+模型（待）目标检测yolo系列（待）深度学习入门深度学习本质：建立输入与输出之间的对应关系神经网络以及误差反向传播传统神经网络层数比较浅，一般3到5层神经元模型每个神经元接受上层传来的数据，并将这些数据求加权和，

A1chemist·2023-01-28 13:22

Tensorflow深度学习笔记5 经典卷积神经网络--Alexnet

本文内容来自《Tensorflow深度学习算法原理与编程实战》第八章论文：《ImageNetClassificationwithDeepConvolutionalNeuralNetworks》背景介绍第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet，也就是文章《ImageNetClassificationwithDeepConvolutionalNeural

(●—●)_(●—●)·2023-01-27 11:27

fit函数 model_深度学习笔记38_利用回调函数保存最佳的模型

利用回调函数保存最佳的模型ModelCheckpoint与EarlyStopping回调函数对于EarlyStopping回调函数，最好的使用场景就是，如果我们发现经过了数轮后，目标指标不再有改善了，就可以提前终止，这样就节省时间。该函数的具体参数如下：keras.callbacks.EarlyStopping(monitor='val_loss',min_delta=0,patience=0,v

weixin_39824223·2023-01-27 07:59

吴恩达深度学习笔记.PDF

吴恩达深度学习课程，是公认的最优秀的深度学习课程之一，目前没有教材，只有视频，本文提供完整笔记下载，这本笔记非常适合和深度学习入门。0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔记，笔记pdf放在github上，下载后可以打印。笔记基于课程视频和字幕制作。感谢吴恩达老师为广大爱好者提供如此实用的教程！目前仅在Github渠道，累计下载超过了100万次！本次更新：很多同学说看不懂公

风度78·2023-01-27 02:19

深度学习笔记（1）（CNN）

1.Loss损失函数的作用损失函数用来评价模型的预测值和真实值不一样的程度，深度学习训练模型的时候就是通过计算损失函数，更新模型参数，从而减小优化误差，直到损失函数值下降到目标值或者达到了训练次数。均方误差meansquareerror（MSE）：MSE表示了预测值与目标值之间差值的平方和然后求平均。每个样本的平均平方损失。MSE的计算方法是平方损失除以样本数。一种衡量指标，用于衡量模型的预测偏离

来自新世界、·2023-01-26 12:46

深度学习笔记---数值微分版对MNIST数据集的二层神经网络的学习实现

#1.神经网络的学习前提和步骤前提神经网络存在合适的权重和偏置。步骤一（挑选mini-batch）从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标是减少mini-batch这部分数据的损失函数的值。步骤二（计算梯度）为了减小mini-batch这部分数据的损失函数的值，需要求出有关各个权重参数的梯度。步骤三（更新参数）将权重参数沿梯度方向进行微小更新。步骤四（重复）重

武松111·2023-01-26 08:30

CS231n-assignment3-Generative Adversarial Networks (GANs)

什么是GAN?2014年，Goodfellow等人提出了一种生成模型训练方法，简称生成对抗网络(generativeAdversarialNetworks，简称GANs)。在GAN中，我们构建两种不同的神经网络。我们的第一个网络是传统的分类网络，称为鉴别器。我们将训练鉴别器来拍摄图像，并将其分类为真实(属于训练集)或虚假(不存在于训练集)。我们的另一个网络称为生成器，它将随机噪声作为输入，并使用神

Esaka7·2023-01-26 03:21

深度学习笔记（十九）—— Training Issues

Inthispart,wewouldspendtimerevisingcommonskillsusedintrainingmodel.Inshortversion,easybutuseful.Inlongversion,wewouldintroducecontentinOutlinestepbystep.WemainlyreferencefromsklearnandPytorchEditedbyJ

Nino_Lau·2023-01-25 23:34

深度学习笔记（二十一）学习率衰减和局部最优问题

学习率衰减考虑学习率不变的情况，梯度下降难以在最后达到收敛，如果采用学习率衰减方式呢？在刚开始能承受大步伐的梯度下降，随着梯度下降的进行，学习率衰减有利于最后收敛到一个趋近于最低点。在1epoch内（1passthroughdata）：α=α01+decay_rate∗epoch_num\alpha=\frac{\alpha_0}{1+decay\_rate*epoch_\_num}α=1+dec

Mr.zwX·2023-01-25 10:10

【目标检测】深度学习笔记：Focal Loss

https://www.zhihu.com/question/63581984https://spaces.ac.cn/archives/4733https://www.cnblogs.com/xuanyuyt/p/7444468.html深度学习中的目标检测网络:retinanet和refinedet：都解决了train过程中正负anchor不平衡的问题，RefineDet采用negativea

Mein_Augenstern·2023-01-23 08:48

cs231n作业：Assignment2-Dropout

defdropout_forward(x,dropout_param):"""Performstheforwardpassfor(inverted)dropout.Inputs:-x:Inputdata,ofanyshape-dropout_param:Adictionarywiththefollowingkeys:-p:Dropoutparameter.Wekeepeachneuronoutpu

mrcoderrev·2023-01-21 16:34

Cs231n-assignment 2作业笔记

assignment2assignment2讲解参见：https://blog.csdn.net/BigDataDigest/article/details/79286510http://www.cnblogs.com/daihengchen/p/5765142.html最后一个作业Q5基于Tensorflow和Pytorch，将会需要在GPU上运行。1.softmax_loss:log_prob

weixin_30799995·2023-01-21 16:33

CS231n学习笔记--Assignment2/3

1.Assignment21.1全连接神经网络深度学习小白——CS231nAssignment2(FC)深度学习笔记8：softmax层的实现1.2卷积神经网络深度学习小白——CS231nAssignment2

Kuekua-seu·2023-01-21 16:03

CS231n-assignment2-Convolutional Networks

卷积网络到目前为止，我们已经使用了深度全连接网络，使用它们探索不同的优化策略和网络架构。全连接网络是一个很好的实验平台，因为它们的计算效率非常高，但实际上所有最先进的结果都使用卷积网络。首先，您将实现在卷积网络中使用的几种层类型。然后，您将使用这些层来训练CIFAR-10数据集上的卷积网络。ln[1]:#Asusual,abitofsetupimportnumpyasnpimportmatplot

Esaka7·2023-01-21 16:02

[CS231n Assignment 2 #04 ] 卷积神经网络(Convolutional Networks )

文章目录作业介绍1.卷积操作1.1Convolution:Naiveforwardpass1.2Aside:Imageprocessingviaconvolutions1.3.Convolution:Naivebackwardpass2.池化操作2.1Max-Pooling:Naiveforward2.2Max-Pooling:Naivebackward3.更高效率的实现4.Convolution

灵隐寺扫地僧·2023-01-21 16:01

【CS231n assignment 2022】Assignment 2 - Part 1，全连接网络的初始化以及正反向传播

前言博客主页：睡晚不猿序程⌚首发时间：2022.7.9⏰最近更新时间：2022.8.18本文由睡晚不猿序程原创，首发于CSDN作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请tt我，万分感谢！orz文章目录前言1.内容简介2.Fully-Connected-Nets2.1网络初始化2.2损失函数2.2.1前向传播2.2.2反向传播2.3InitialLossandGradientCheck2.

睡晚不猿序程·2023-01-21 16:28

吴恩达深度学习笔记-机器学习策略(第8课)

机器学习策略一、进行误差分析二、清除标注错误的数据三、快速搭建你的第一个系统，并进行迭代四、在不同的划分上进行训练并测试五、不匹配数据划分的偏差和方差六、解决数据不匹配七、迁移学习八、多任务学习九、什么是端到端的深度学习十、是否使用端到端的深度学习一、进行误差分析当我们的模型还没有达到人类水平，可以人工检查一下你的算法犯的错误，也许能让我们知道下一步能做什么，这个过程就叫做误差分析。例如在猫分类器

快乐活在当下·2023-01-21 08:22

python cnn库_深度学习笔记之使用Faster-Rcnn进行目标检测（实践篇）

实验我使用的代码是Python版本的FasterRcnn，官方也有Matlab版本的,链接如下:环境配置按照官方的README进行配置就好,不过在这之前大家还是看下硬件要求吧Fortrainingsmallernetworks(ZF,VGG_CNN_M_1024)agoodGPU(e.g.,Titan,K20,K40,…)withatleast3GofmemorysufficesFortraini

weixin_39821718·2023-01-20 20:54

CS231n 课程作业 Assignment Two（二）全连接神经网络（0820）

AssignmentTwo（二）全连接神经网络主要工作为：模块化设计、最优化更新的几种方法一、模块设计在A1中，实现了完全连接的两层神经网络。但功能上不是很模块化，因为损耗和梯度是在单个整体函数中计算的。这对于简单的两层网络是可管理的，但是随着转向更大的模型，这将变得不切实际。理想情况下，期望使用更具模块化的设计来构建网络，以便隔离地实现不同的层类型，然后将它们组合在一起成为具有不同体系结构的模型

阿桥今天吃饱了吗·2023-01-20 18:03

CS231n 课程作业 Assignment One（五）两层神经网络分类器（0816）

两层神经网络分类器–NeuralNetwork（2layers）全连接神经网络、单隐藏层一、原理1.1全连接神经网络基础理论见另一篇文章–全连接神经网络1.2损失函数（待完善，想看可留言）二、实现2.1损失函数与求导defloss(self,X,y=None,reg=0.0):"""Computethelossandgradientsforatwolayerfullyconnectedneural

阿桥今天吃饱了吗·2023-01-20 18:03

two layer net及cs231n作业解读

twolayernet为了让自己的cs231n学习更加高效且容易复习，特此在这里记录学习过程，以供参考和自我监督。

塔克拉玛干沙漠的卖水小孩·2023-01-20 18:03

cs231n assignment1 Two-Layer Neural Network

此次的作业的目的：了解NN的结构和搭建过程：本次实验的两层NN的结构：相当于使用了ReLu最后一层用softmax得出loss理解backpropagation:其目的是为了求任意函数的导数至于求导过程，在代码中有所体现，首要的是理解推导过程：Coding：如有错误，麻烦指出首先，搭建一个两层的的NN，实现forward和backward，并用简单的数据测试正确性Two-LayerNeuralNe

likyoo·2023-01-20 18:33

CS231n-assignment1-two-Layer Neural Network

In[1]:importnumpyasnpimportmatplotlib.pyplotaspltfromcs231n.classifiers.neural_netimportTwoLayerNetfrom

Esaka7·2023-01-20 18:33

双层网络（仿射层+ReLu层）

理论部分：2022Cs231n笔记-神经网络和反向传播_iwill323的博客-CSDN博客目录导包和处理数据仿射层网络层代码测试ReLu层仿射+ReLuLosslayers:SoftmaxandSVMTwo-layernetworkSGDSolver

iwill323·2023-01-20 18:32

cs231n-2022-assignment1#Q4：Two-Layer Neural Network(Part1)

Forward5.ReLUactivation:Backward6.SVMlossandgradient7.Softmaxlossandgradient8.Two-layernetwork¶1.前言本文是李飞飞cs231n

笨牛慢耕·2023-01-20 18:02

CS231n课程作业(一) Two-layer Neural Network

神经网络的过程主要就是forwardpropagation和backwardpropagation。forwardpropagationtoevaluatescorefunction&lossfunction,thenbackpropagation对每一层计算loss对W和b的梯度，利用梯度完成W和b的更新。总体过程可以理解为：forward–>backward–>update–>forward–

coder_mckee·2023-01-20 18:02

cs231n assignment1 two-layer-net

two-layer-net首先完成神经网络对scores和损失函数的计算，其中激活函数使用RELU函数，即max(0,x)函数。neural_net.py的loss()函数#*****STARTOFYOURCODE(DONOTDELETE/MODIFYTHISLINE)*****h1=np.maximum(0,X.dot(W1)+b1)scores=h1.dot(W2)+b2pass#*****E

一叶知秋Autumn·2023-01-20 18:02

推荐频道

CS231n深度学习笔记