《深度学习笔记》第6页

深度学习笔记（三十六）1x1卷积（网络中的网络）及谷歌Inception网络

提到1x1卷积，能想到什么？我能想到的就是把图像中每个像素点乘以某个倍数，这除了调整图像亮度什么的有用，还能有什么用处呢？带着疑惑我们来学习网络中的网络及1x1卷积。学习了1x1卷积后，我们开始接触谷歌Inception网络结果，通过1x1卷积的方式大幅度降低运算量。一、1x1卷积（网络中的网络）放在二维图像中，1x1卷积确实是这么个用处。而放在三维图像中，会显得非常实用。最终的结果是：高和宽的维

Mr.zwX·2023-02-03 08:33

深度学习笔记(十一):各种特征金字塔合集

ZZY_dl·2023-02-03 08:01

深度学习笔记 —— 物体检测和数据集 + 锚框

任务：识别我们所有感兴趣的物体，同时将每个物体的位置找出来importtorchfromd2limporttorchasd2limportmatplotlib.pyplotaspltd2l.set_figsize()img=d2l.plt.imread('./img/catdog.jpg')d2l.plt.imshow(img)plt.show()#定义在这两种表示之间进行转换的函数defbox_

Whisper_yl·2023-02-02 08:45

深度学习笔记----数据增强

在5.6节（深度卷积神经网络）里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（imageaugmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型

Agetha·2023-02-02 08:44

深度学习笔记（3）-pytorch模型训练流程&实现小GPU显存跑大Batchsize

近期在进行pytorch模型的训练，对pytorch的流程进行一次简单梳理作为笔记。此外，由于GPU显存有限，数据的Batchsize一般只能到2，而相关资料显示较大的Batchsize有利于提高模型训练效果，经查阅资料，找到通过梯度累加的方式来等效增大Batchsize。一、pytorch模型训练流程在用pytorch训练模型时，通常会在遍历epochs的过程中依次用到optimizer.zer

高不胖·2023-02-02 07:48

动手学深度学习笔记（二）

从零开始写多层感知机多层感知机本节中，我们将以多层感知机（multilayerperceptron，简称MLP）为例，介绍多层神经网络的概念。importsyssys.path.insert(0,'..')importgluonbookasgbbatch_size=256train_data,test_data=gb.load_data_fashion_mnist(batch_size)隐藏层多层

文武_665b·2023-02-02 04:36

深度学习笔记（十四）—— 超参数优化[Hyperparameter Optimization]

这是深度学习笔记第十四篇，完整的笔记目录可以点击这里查看。训练神经网络会涉及到许多超参数设置。

zeeq_·2023-02-01 20:47

李宏毅深度学习笔记（各种优化方法）

主要思路有两种：固定学习率和动态变化学习率固定学习率：代表算法SGD,SGDM（SGDwithMomentum）动量梯度下降法SGD最大的缺点是下降速度慢，而且可能会在沟壑的两边持续震荡，停留在一个局部最优点。为了抑制SGD的震荡，SGDM认为梯度下降过程可以加入惯性。下坡的时候，如果发现是陡坡，那就利用惯性跑的快一些。SGDM全称是SGDwithmomentum，在SGD基础上引入了一阶动量mt

在水一方_果爸·2023-02-01 20:09

深度学习笔记（MNIST手写识别）

先看了点花书，后来觉得有点枯燥去看了b站up主六二大人的pytorch深度学习实践的课，对深度学习的理解更深刻一点，顺便做点笔记，记录一些我认为重要的东西，便于以后查阅。一、机器学习基础学习的定义：对于某类任务T核性能度量P，一个程序被认为可以从经验E中学习是指，通过E改进后，在任务T上由P衡量的性能有所提升。常见学习任务一、分类二、输入缺失分类三、回归四、转录无监督学习和监督学习1）无监督学习设

烟火青年_Yan·2023-02-01 20:35

深度学习笔记---三层神经网络的推理过程实现（前向处理）

#1.三层神经网络推理过程示意图上图从左到右依次是输入层、隐藏层1、隐藏层2和输出层。由于有权重的只有三层，故称之为三层神经网络。x1,x2表示整个神经网络的输入信号，y1,y2表示整个神经网络的输出信号。内含1的神经元以及bij标识是为了表示偏置，bij表示第i层偏置的第j个元素。比较大的神经元中aij表示它的输入信号，zij表示它的输出信号。图中的直线均表示从左到右的箭头，各层权重的具体数据没

武松111·2023-02-01 17:14

【深度学习笔记（五）】之卷积神经网络组成介绍

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一.卷积神经网络（CNN）（一）结构组成经典的神经网络我们之间已经讲过了，现在我们要讲的是卷积神经网络。神经网络的结构是：输入层+隐藏层+激活函数+输出层卷积神经网络的组成：输入层+卷积层+激活函数+池化层+全连接层INPUT+CONV+RELU+POOL+FC（二）卷积层：所谓的卷积类似于图像空间域处理的卷积操作，设置一个小区域的滤波

开发小鸽·2023-02-01 13:12

【深度学习笔记整理-4.1】如何避免过拟合？

其实神经网络训练的过程就是一个欠拟合与过拟合拉锯的过程，一方面，我们希望我们的网络可以比较好的拟合训练数据，另一方面，我们又不希望它学习的那么好，以至于最终只是记忆住了全部答案。解决过拟合的问题非常重要，一般有如下四种方法：1.增加训练数据数量模型的训练数据越多，泛化能力自然也越好。这是因为更多的数据可以给我们找到更一般的模式。如果无法获取更多数据，次优解决方法是调节模型允许存储的信息量，或对模型

Y·Not·Try·2023-02-01 09:58

深度学习笔记(一)：卷积，池化

问题的提出常规的神经网络存在着一些致命的问题。对于大图片来说，如果使用神经网络，那么我们需要width*height*channel个weight，对于大图片来说这是难以处理的。首先这种全连接的方式是一种浪费，其次这么多weight很容易造成过拟合。所以我们提出了cnn。cnn的定义cnn是很多层layer的组合。每一层都通过一个不同的函数将一种activation转化为另一种。通常使用三种lay

Android笨鸟之旅·2023-02-01 05:36

深度学习笔记 —— 转置卷积

语义分割要做像素级别的预测，但是卷积不断地减小高宽，所以需要另外一种卷积把小的高宽变大。转置卷积：输入中的单个元素与kernel按元素做乘法但不相加，然后按元素写回到原始的地方。再谈转置卷积：换算成卷积之后，卷积是正常卷积，也就是填充为0，步幅为1，与前面填充和步幅是无关的。如果要做逆变换需要能推出来：n>=sn'+k-2p-s（刚好整除的情况下取等号）转置卷积是形状上做逆运算，但元素值不是。转置

Whisper_yl·2023-02-01 04:59

【01李宏毅深度学习笔记2021春季】课程笔记Introduction&Regression(简介和回归)

01-1Introduction课程网址：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html1.PrerequisiteMathCalculus(微积分)Linearalgebra(线性代数)Probability(概率)ProgrammingPythonPyTorchHardware:不需要硬件设备，在GoogleColab上运行2.A

is_colorful·2023-01-31 18:56

动手学深度学习笔记第四章（多层感知器）

4.1多层感知器y.backward(torch.ones_like(x),retain_graph=True)这里的retain_graph=True参数：pytorch进行一次backward之后，各个节点的值会清除，这样进行第二次backward会报错，因为虽然计算节点数值保存了，但是计算图结构被释放了，如果加上retain_graph==True后,可以再来一次backward。关于det

冬青庭院·2023-01-31 14:25

深度学习笔记（一）

一张图片被表示成三维数组的形式，每个像素的值从0到255，图片上的值代表像素点，值越大越亮。例如:300*1003指的是图片的长宽*颜色3=RGB1=黑白图一、机器学习的步骤：1.收集数据并给定标签。标签的意思是加入你有一对猫和狗的图片，你要给猫图片定义一个猫的标签，给狗的图片定义一个狗的标签。2.训练一-个分类器，例如逻辑回归、随即森林3.测试，评估。二、找参数：把数据分为train、val、t

奋斗的猪猪霞·2023-01-30 21:08

深度学习笔记（三）——对Tensor索引操作函数gather的解释

索引操作函数gather函数详解gather函数的输出规则第一条规则第二条规则gather函数内部的代码机理推测代码示例输出结果参考文献事先声明：本文只会对二维张量的gather操作进行介绍，三维张量的gather操作规则在csdn上的博文屡见不鲜。本文的解释是从个人的理解出发，相信解释也会对理解三维张量的操作规则起到触类旁通的作用。gather函数的输出规则out[i][j]=input[ind

小白成长之旅·2023-01-30 20:19

深度学习笔记

2019独角兽企业重金招聘Python工程师标准>>>注意不要在舒适区练习。也就是如果你俯卧撑能做100个，那么每次做50个，都是你的舒适区，是没有任何效果的。不要在恐慌区练习。初学吉他的，上来扫几个和弦还行，直接学solo一段加州旅馆肯定会挂。同样没有任何效果。要在学习区练习。学习区就是舒适区之外，恐慌区之内的部分。即你踮脚使劲伸手，是能够到的高度，有难度，但是是可实现的。要有反馈。如果你没有足

Mathilda91·2023-01-30 19:31

【深度学习笔记】卷积网络中的卷积与互相关的那点事

卷积层的来源与作用深度学习的计算机视觉是基于卷积神经网络实现的，卷积神经网络与传统的神经网络（可以理解为多层感知机）的主要区别是卷积神经网络中除了全连接层外还有卷积层和pooling层等。卷积层算是图像处理中非常基础的东西，它其实也是全连接层演变来的，卷积可视为局部连接和共享参数的全连接层。局部连接：在全连接层中，每个输出通过权值(weight)和所有输入相连。而在视觉识别中，关键性的图像特征、边

秋天的波·2023-01-30 18:20

【深度学习笔记】为什么用F1-score

问题为什么使用F1score？（这里主要讨论为何使用F1score而不是算术平均）F1scoreF1score是分类问题中常用的评价指标，定义为精确率（Precision）和召回率（Recall）的调和平均数。F1=21Precision+

秋天的波·2023-01-30 18:20

【深度学习笔记】弄明白感受野大小的计算问题

感受野Receptivefield(RF)的概念卷及神经网络中每一层输出的特征图(featuremap)中的每一个像素映射到原始输入图像的区域大小。卷积输入输出的大小关系根据感受野的概念，大家可以体会到感受野的计算应该与卷积的计算是相反的过程，所以先回顾下卷积输入输出的大小关系公式：（以高度为例）Heightout=(Height

秋天的波·2023-01-30 18:49

深度学习笔记（一）记录训练过程

深度学习笔记（一）记录训练过程前言一、tensorboardX中SummaryWriter记录训练过程二、总结前言本帖子主要记录深度学习编程过程中的一些笔记，欢迎指导批评。

汤姆和佩琦·2023-01-30 05:40

PyTorch深度学习笔记（十六）优化器

课程学习笔记，课程链接优化器：神经网络的学习的目的就是寻找合适的参数，使得损失函数的值尽可能小。解决这个问题的过程为称为最优化。解决这个问题使用的算法叫做优化器。在PyTorch官网中，将优化器放置在torch.optim中，并详细介绍了各种优化器的使用方法。现以CIFAR10数据集为例，损失函数选取交叉熵函数，优化器选择SGD优化器，搭建神经网络，并计算其损失值，用优化器优化各个参数，使其朝梯度

小于同学饿了·2023-01-29 11:14

PyTorch深度学习笔记（四）PyCharm及Jupyter使用对比

课程学习笔记，课程链接1、Pycharm确定程序使用的pytorch的环境运行程序，为python文件设置python解释器第一种方式第二种方式右击2、Jupyter新建项目及使用此时打开默认以该路径为地址而打开的目录创建新文件3、三种代码编辑方式对比

小于同学饿了·2023-01-29 11:44

Pytorch深度学习笔记①：线性回归+基础优化方法

一、线性回归首先，在介绍线性回归之前，先用一个简化的模型作为引入。假设某地的房价影响因素有地理位置、人流量以及面积大小，分别记为x1、x2、x3。而房屋的最终成交价y=w1x1+w2x2+w3x3+b。此即为线性模型，给定了n维输入X=[x1,x2,...,xn]T，以及模型的n维权重w=[w1,w2,...,wn]T和标量偏差b，模型的输出即为输入的加权和：y=w1x1+w2x2+...+wnx

元気Hu.sir·2023-01-29 11:10

Pytorch 深度学习笔记

毋丶疗·2023-01-29 11:37

pytorch深度学习笔记

在深度学习中，在新数据上运行训练过的模型的过程被称为推理。为了进行推理我们需要将网络置于eval模式

flamezhu·2023-01-29 11:05

PyTorch深度学习笔记

反向传播:正向传播是z=x1*w1+x2*w2+b,然后通过激活函数表示成一个想要的曲线(比如要表示它的概率,则一般希望是在0-1区间内,使用sigmond函数)反向传播是指,你的w1,w2和b是随机生成的,需要对它进行调整,使用某些统计学公式计算预测值和实际值的差Loss后,对w1,w2,b进行调整,这就是反向传播,调节大小例如是α*梯度下降函数,例如Adagrad,Adam,Adamax,AS

Galaxy_5688·2023-01-29 11:01

[深度学习笔记(1)]深度学习入门

本系列是博主刚开始接触深度学习时写的一些笔记，写的很早了一直没有上传，趁着假期上传一下，作为分享，希望能帮助到你。目录前言一、什么是深度学习二、深度学习的应用三、深度神经网络的难题3.1梯度消失/梯度爆炸3.2过拟合3.3网络退化总结前言近年来，随着人工智能的发展，深度学习已经成为了热门的学科。在详细阐述深度学习之前，必须先理清人工智能、机器学习和深度学习之间的区别。从这张图可以看出，机器学习是人

阿飞没有花福蝶·2023-01-28 13:53

深度学习笔记—从入门到入门

深度学习深度学习入门神经网络以及误差反向传播神经元模型传统神经网络激活函数‘层’的概念误差反向传播算法神经网络到深度学习经典深度学习网络模型语义分割经典FCN模型（待）deeplabv3+模型（待）目标检测yolo系列（待）深度学习入门深度学习本质：建立输入与输出之间的对应关系神经网络以及误差反向传播传统神经网络层数比较浅，一般3到5层神经元模型每个神经元接受上层传来的数据，并将这些数据求加权和，

A1chemist·2023-01-28 13:22

Tensorflow深度学习笔记5 经典卷积神经网络--Alexnet

本文内容来自《Tensorflow深度学习算法原理与编程实战》第八章论文：《ImageNetClassificationwithDeepConvolutionalNeuralNetworks》背景介绍第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet，也就是文章《ImageNetClassificationwithDeepConvolutionalNeural

(●—●)_(●—●)·2023-01-27 11:27

fit函数 model_深度学习笔记38_利用回调函数保存最佳的模型

利用回调函数保存最佳的模型ModelCheckpoint与EarlyStopping回调函数对于EarlyStopping回调函数，最好的使用场景就是，如果我们发现经过了数轮后，目标指标不再有改善了，就可以提前终止，这样就节省时间。该函数的具体参数如下：keras.callbacks.EarlyStopping(monitor='val_loss',min_delta=0,patience=0,v

weixin_39824223·2023-01-27 07:59

吴恩达深度学习笔记.PDF

吴恩达深度学习课程，是公认的最优秀的深度学习课程之一，目前没有教材，只有视频，本文提供完整笔记下载，这本笔记非常适合和深度学习入门。0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔记，笔记pdf放在github上，下载后可以打印。笔记基于课程视频和字幕制作。感谢吴恩达老师为广大爱好者提供如此实用的教程！目前仅在Github渠道，累计下载超过了100万次！本次更新：很多同学说看不懂公

风度78·2023-01-27 02:19

深度学习笔记（1）（CNN）

1.Loss损失函数的作用损失函数用来评价模型的预测值和真实值不一样的程度，深度学习训练模型的时候就是通过计算损失函数，更新模型参数，从而减小优化误差，直到损失函数值下降到目标值或者达到了训练次数。均方误差meansquareerror（MSE）：MSE表示了预测值与目标值之间差值的平方和然后求平均。每个样本的平均平方损失。MSE的计算方法是平方损失除以样本数。一种衡量指标，用于衡量模型的预测偏离

来自新世界、·2023-01-26 12:46

深度学习笔记---数值微分版对MNIST数据集的二层神经网络的学习实现

#1.神经网络的学习前提和步骤前提神经网络存在合适的权重和偏置。步骤一（挑选mini-batch）从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标是减少mini-batch这部分数据的损失函数的值。步骤二（计算梯度）为了减小mini-batch这部分数据的损失函数的值，需要求出有关各个权重参数的梯度。步骤三（更新参数）将权重参数沿梯度方向进行微小更新。步骤四（重复）重

武松111·2023-01-26 08:30

深度学习笔记（十九）—— Training Issues

Inthispart,wewouldspendtimerevisingcommonskillsusedintrainingmodel.Inshortversion,easybutuseful.Inlongversion,wewouldintroducecontentinOutlinestepbystep.WemainlyreferencefromsklearnandPytorchEditedbyJ

Nino_Lau·2023-01-25 23:34

深度学习笔记（二十一）学习率衰减和局部最优问题

学习率衰减考虑学习率不变的情况，梯度下降难以在最后达到收敛，如果采用学习率衰减方式呢？在刚开始能承受大步伐的梯度下降，随着梯度下降的进行，学习率衰减有利于最后收敛到一个趋近于最低点。在1epoch内（1passthroughdata）：α=α01+decay_rate∗epoch_num\alpha=\frac{\alpha_0}{1+decay\_rate*epoch_\_num}α=1+dec

Mr.zwX·2023-01-25 10:10

【目标检测】深度学习笔记：Focal Loss

https://www.zhihu.com/question/63581984https://spaces.ac.cn/archives/4733https://www.cnblogs.com/xuanyuyt/p/7444468.html深度学习中的目标检测网络:retinanet和refinedet：都解决了train过程中正负anchor不平衡的问题，RefineDet采用negativea

Mein_Augenstern·2023-01-23 08:48

CS231n学习笔记--Assignment2/3

1.Assignment21.1全连接神经网络深度学习小白——CS231nAssignment2(FC)深度学习笔记8：softmax层的实现1.2卷积神经网络深度学习小白——CS231nAssignment2

Kuekua-seu·2023-01-21 16:03

吴恩达深度学习笔记-机器学习策略(第8课)

机器学习策略一、进行误差分析二、清除标注错误的数据三、快速搭建你的第一个系统，并进行迭代四、在不同的划分上进行训练并测试五、不匹配数据划分的偏差和方差六、解决数据不匹配七、迁移学习八、多任务学习九、什么是端到端的深度学习十、是否使用端到端的深度学习一、进行误差分析当我们的模型还没有达到人类水平，可以人工检查一下你的算法犯的错误，也许能让我们知道下一步能做什么，这个过程就叫做误差分析。例如在猫分类器

快乐活在当下·2023-01-21 08:22

python cnn库_深度学习笔记之使用Faster-Rcnn进行目标检测（实践篇）

实验我使用的代码是Python版本的FasterRcnn，官方也有Matlab版本的,链接如下:环境配置按照官方的README进行配置就好,不过在这之前大家还是看下硬件要求吧Fortrainingsmallernetworks(ZF,VGG_CNN_M_1024)agoodGPU(e.g.,Titan,K20,K40,…)withatleast3GofmemorysufficesFortraini

weixin_39821718·2023-01-20 20:54

深度学习笔记-经典分割算法总结&后续论文思路

经典分割算法汇总（6篇经典语义分割网络，非实时性）FCN：语义分割端到端的开端U-Net&FushionNet:医学分割算法中的龙头SegNet&DeconvNet:对称编解码结构DeepLab系列：从v1到v3+，算法越来越完善，结果越来越好GCN：角度一，重用大卷积核ExFuse&DFN：角度二，宏观角度看待语义分割接下来进度与调优思路以Unet为基础，在自建数据集上跑出Baseline分数对

地表最菜研究生·2023-01-19 15:14

吴恩达深度学习笔记-Logistic Regression(第1课)

深度学习笔记第一课深度学习介绍1、什么是神经网络？2、用神经网络进行监督学习3、深度学习为什么会兴起？

快乐活在当下·2023-01-19 09:35

【深度学习笔记】样本不平衡处理方法

类别不平衡处理方法前提假设：小样本数量为N。过采样小样本(SMOTE)，欠采样大样本过采样：直接复制小样本，形成数量上的均衡——但会由于数据单一造成过拟合。欠采样：随机去掉一部分多数样本，形成数量上的均衡——可能丢失一些重要的信息。将多数样本分成N个簇，取每个簇的中心点作为多数类的样本，再结合少数类的所有样本进行训练，这样可以保证多数类样本在特征空间的分布特性。集成学习将多数类样本随机分成多组，每

秋天的波·2023-01-18 13:29

编程小菜学习之李沐老师动手学深度学习笔记-36数据增广

#36图片增广importmatplotlib.pyplotaspltimporttorchimporttorchvisionfromtorchimportnnfromd2limporttorchasd2ld2l.set_figsize()img=d2l.Image.open(r'D:\worksoftware\PycharmProjects\pythonProject\image\dog.png

编程小cai·2023-01-18 10:19

深度学习（十四）：数据增强Data Augmentation

编程语言：Python参考资料：吴恩达老师的深度学习系列视频吴恩达老师深度学习笔记整理深度学习500问唐宇迪深度学习入门视频课程笔记下载：深度学习个人笔记完整版为什么要使用数据增强数据增强，也称数据扩充

打不死的小黑·2023-01-18 10:10

【学习周报】深度学习笔记第二周

学习目标：吴恩达深度学习课程week2学习内容：梯度下降法（GradientDescent）计算图（ComputationGraph）逻辑回归中的梯度下降（LogisticRegressionGradientDescent）向量化(Vectorization)Python中的广播（BroadcastinginPython）学习时间：10.3-10.9学习产出：1.梯度下降法（GradientDes

不要卷我啊·2023-01-18 08:54

深度学习笔记-第三周

title:深度学习笔记-第三周date:2022-12-1420:54:30【3.1神经网络概况】x代表输入特征，参数W和b，上标[]表示层数。

?ZERO?·2023-01-18 07:18

动手学深度学习笔记day5

多层感知机1、模型输出并不是和每一个特征都是线性相关的，在特征之间的右复杂的相关交互作用。2、每一层都输出到上面的层，直到生成最后的输出。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayerperceptron），通常缩写为MLP。多层感知机中的层数为隐藏层和输出层。（不包含输入层）。没有加激活函数的话，仿射函数的仿射函数本身就是仿射函数，我们没

努力学习的廖同学·2023-01-17 22:34

推荐频道

《深度学习笔记》