《深度学习笔记》第12页

【深度学习笔记】5.卷积神经网络

CNNCNN（ConvolutionalNeuralNetworks，CNN）中文名叫卷积神经网络。通常情况下，我们使用全连接神经网络的时候，权重矩阵的参数非常多。其使得整个网络收敛非常缓慢。但在自然图像处理中都具有局部不变性的特征，即尺度缩放、平移、旋转等操作不影响其语义信息，但是全连接前馈网络很难提取这些局部不变特征。所以就引入的CNN。CNN也是前馈神经网络，其最大的区别是受生物学上感受野的

不休的turkeymz·2022-11-28 15:08

深度学习笔记_神经网络八股功能扩展及实现应用

神经网络八股功能扩展1、自制数据集，解决本领域问题2、数据增强，扩充数据集3、断点续训，存取模型4、参数提取，存入文本可视化5、可视化绘图，查看训练效果6、应用程序，给图识物1、自制数据集，解决本领域问题制作可以用来训练和测试的数据集。MNIST数据集、Fashion数据集是已经制作好的数据集，包括特征和标签。这里仍利用MNIST数据集中的图片，进行数据集制作。图片：黑底白字灰度图，28*28，每

Welcome_Back·2022-11-28 14:01

从YOLOv5源码yolo.py详细介绍Yolov5的网络结构

深度学习笔记:从YOLOv5源码yolo.py详细介绍Yolov5的网络结构前言一、网络结构：yolov5s.yaml二、classModel(nn.Module)主要代码解析1.

HollowKnightZ·2022-11-28 09:43

深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍

文章目录1:Whatispruning2:PruninginMLP(多层感知机)2.2Howtomakemask3.PruninginCNN(卷积神经网络)1:Whatispruning剪枝是一种模型压缩的方法，这种方法可以有效的裁剪模型参数且最小化精度的损失。由于深度学习模型可以看作是一个复杂树状结构，如果能减去一些对结果没什么影响的旁枝，也就是修剪神经网络中不重要的权重，就可以实现模型的减小。

ZZY_dl·2022-11-28 04:06

吴恩达深度学习笔记-人脸识别与神经风格迁移(第12课)

人脸识别与神经风格迁移一、什么是人脸识别?二、One-Shotlearning三、Siamese网络四、TripletLoss五、面部验证与二分类六、什么是神经风格转换?七、什么是深度卷积网络?八、代价函数九、内容代价函数十、风格代价函数十一、一维到三维的推广一、什么是人脸识别?人脸验证问题：输入一张人脸图片和姓名(或者ID)，判断图片中的人是否是姓名指向的人，一对一问题。人脸识别问题：输入一张人

快乐活在当下·2022-11-28 00:22

深度学习笔记

1深度学习介绍1.1深度学习与机器学习的区别1.1.1特征提取方面机器学习的特征工程步骤是要靠手动完成的，而且需要大量领域专业知识深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型，不需要人工特征提取环节。深度学习算法试图从数据中学习高级功能，这是深度学习的一个非常独特的部分。因此，减少了为每个问题开发新特征提取器的

每天都要学习呀·2022-11-27 20:15

深度学习笔记1-梯度是什么？

在机器学习中，我们通常需要对问题进行建模，然后可以得到一个成本函数(costfunction)，通过对这个成本函数进行最小化，我们可以得到我们所需要的参数，从而得到具体的模型。这些优化问题中，只有少部分可以得到解析解(如最小二乘法)，而大部分这类优化问题只能迭代求解，而迭代求解中两种最常用的方法即梯度下降法与牛顿法。梯度概念是建立在偏导数与方向导数概念基础上的。所谓偏导数，简单来说是对于一个多元函

yueru2wan·2022-11-27 20:45

深度学习笔记（八）：目标检测性能评价指标（mAP、IOU..）

一、mAP这里首先介绍几个常见的模型评价术语，现在假设我们的分类目标只有两类，计为正例（positive）和负例（negtive）分别是：1）Truepositives(TP):被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数（样本数）；2）Falsepositives(FP):被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；3）Falsenegatives(

普通网友·2022-11-27 10:11

深度学习笔记（三十九）卷积网络特殊应用：人脸识别算法原理

一、人脸验证VS人脸识别验证：一对一关系匹配识别：数据库中存在多个数据，进行一对多的匹配人脸验证的准确率很高，不代表人脸识别准确率很高，错误率会被放大二、one-shot学习有一种考虑方式是仅仅训练几个员工的图片，但是会导致一个问题：每加入一个新员工，就需要重新训练整个网络，计算量太大。所以引入one-shot学习，简单来说，就是反馈需要识别的图像和数据库图像的差距。相似性函数similarity

Mr.zwX·2022-11-27 09:51

深度学习笔记（二十九）卷积神经网络之卷积运算和边缘检测

简单回顾一下我们在之前的课程中学到了什么知识。第一课中系统学习了神经网络与深度学习，从逻辑回归到浅层神经网络，最后到深层神经网络。第二课中系统学习了深层神经网络的改善策略（超参数调试、正则化、网络优化），第一次开始接触偏差/方差分析方法，多种正则化方法减小方差，Mini-batch，多种优化器，BatchNorm，Softmax回归…第三课系统学习了机器学习策略在深度学习中的应用，深入理解评估指标

Mr.zwX·2022-11-27 09:21

kerase深度学习笔记（二）机器学习流程

问题分类：你面对的是什么类型的问题？是二分类问题、多分类问题、标量回归问题、向量回归问题，还是多分类、多标签问题？或者是其他问题，比如聚类、生成或强化学习？确定问题类型有助于你选择模型架构、损失函数等。收集的数据有用的信息：如预测股票的问题上，不能根据股价的历史走势而预测未来的走势，因为单单从股价的历史走势中提取不到大量的有用的信息，从而股票的预测就不会准确。非平稳问题：服装推荐引擎问题上，由于服

Jack ShuAi·2022-11-27 09:01

李沐动手学深度学习笔记---含并行连结的网络 GoogLeNet / Inception V3

Inception块：Inception块由四条并行路径组成。前三条路径使用窗口大小为1×1、3×3和5×5的卷积层，从不同空间大小中提取信息。中间的两条路径在输入上执行1×1卷积，以减少通道数，从而降低模型的复杂性。第四条路径使用3×3最大汇聚层，然后使用1×1卷积层来改变通道数。这四条路径都使用合适的填充来使输入与输出的高和宽⼀致，最后我们将每条线路的输出在通道维度上连结，并构成Incepti

天天向上inger·2022-11-27 07:48

李沐动手学深度学习笔记---网络中的网络（NiN）

背景：全连接层需要较多的参数，卷积层需要较少的参数。占用内存多，带宽大。很容易过拟合。NiN的思想：完全不要全连接层。NiN块：1*1的卷积层可以等价为一个全连接层。NiN块以一个普通卷积层开始，后⾯是两个1×1的卷积层。这两个1×1卷积层充当带有ReLU激活函数的逐像素全连接层。第⼀层的卷积窗口形状通常由用户设置。随后的卷积窗口形状固定为1×1。NiN架构：总结：代码实现：importtorch

天天向上inger·2022-11-27 07:18

编程小菜学习之李沐老师动手学深度学习笔记-29残差网络

#残差网络X(l+1)=X(l)+F(X,W)importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lclassResidual(nn.Module):def__init__(self,input_channels,num_channels,use_1x1conv=False,strides

编程小cai·2022-11-27 07:47

深度学习笔记(1)——pytorch实现线性回归

pytorch实现一元线性，回归代码如下：#pytorch实现一元线性回归importnumpyasnpimportmatplotlib.pyplotaspltimporttorchfromtorchimportnn,optimfromtorch.autogradimportVariable#定义数据集x_data=np.random.rand(100)noise=np.random.normal

热爱旅行的小李同学·2022-11-27 07:55

Pytorch深度学习笔记④：Softmax回归的简洁实现

本文是《动手学深度学习课程》中Softmax回归简洁实现的笔记，仅用于个人学习记录。Softmax回归的简洁实现：首先导入需要使用的包，并设置好batch-size，以及得出训练集和测试集importtorchfromtorchimportnnfromd2limporttorchasd2lbatch_size=256train_iter,test_iter=d2l.load_data_fashio

元気Hu.sir·2022-11-27 03:52

李宏毅深度学习笔记（全连接、CNN、RNN）一

李宏毅深度学习笔记（全连接、CNN、RNN）一摘要目录1.Fullyconnectedlayer(1)全连接网络基本结构(2)总结：2.Convolutional/poolinglayer(1)概述：(

小志红铜·2022-11-27 02:13

深度学习笔记其五：卷积神经网络和PYTORCH

深度学习笔记其五：卷积神经网络和PYTORCH1.从全连接层到卷积1.1不变性1.2多层感知机的限制1.2.1平移不变性1.2.2局部性1.3卷积1.4“沃尔多在哪里”回顾1.4.1通道1.5小结2.图像卷积

泠山·2022-11-26 21:11

神经网络常见激活函数总结

最近在看大佬们整理的吴恩达老师的深度学习笔记，在这里总结一些常用的激活函数，以及它们的特点和选择。

一颗小芋圆·2022-11-26 20:07

(十一) 深度学习笔记｜使用pytorch搭建AlexNet并训练花分类数据集

一、AlexNet前言此前有写过关于AlexNet网络结构详解，有需要可以自行查看https://blog.csdn.net/weixin_45579930/article/details/112525010这是关于AlexNet论文：AlexNet原文二、数据集的下载与划分2.1数据集下载首先，在本次搭建过程中。我们先下载需要使用到的数据集。下载完成之后可以发现，里面包含5种类型的花，每种类型有

Viviana-0·2022-11-26 11:11

神经网络与深度学习笔记（1）——实践基础

目录1创建张量1.1指定数据创建张量1.2指定形状创建1.3指定区间创建2张量的属性2.1形状的改变3张量的访问3.1访问张量3.2修改张量声明：本博文仅为个人学习笔记，不做他用。安装教程与学习参考：飞桨PaddlePaddle-源于产业实践的开源深度学习平台学习课程参考：AI算法大赛-飞桨AIStudio-人工智能学习实训社区(baidu.com)神经网络与深度学习PDF：神经网络与深度学习(n

WHJ226·2022-11-25 21:43

神经网络与深度学习笔记（2）——机器学习

目录1实现一个简单的线性回归模型1.1数据集构建1.2模型构建1.3损失函数1.4模型优化1.5模型训练1.6模型评估2多项式回归2.1数据集构建2.2模型构建2.3模型训练2.4模型评估这里，不知道为什么我的内核经常挂掉，所以在开头附上此代码：importosos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"#防止内核挂掉重启1实现一个简单的线性回归模型要通过机器

WHJ226·2022-11-25 21:43

【deeplearning.ai】吴恩达深度学习课程笔记目录

自2020.11.30开始学习DeepLearning，该学习笔记最后一次更新于2021.2.21Part1深度学习概论深度学习笔记（一）深度学习概论Part2神经网络基础深度学习笔记（二）LogisticRegression

Mr.zwX·2022-11-25 20:17

吴恩达深度学习教程——中文笔记网上资料整理

吴恩达深度学习笔记整理内容为网上博主博文整理，如有侵权，请私信联系。课程内容：Coursera：官方课程安排（英文字幕）。

Star·端木·2022-11-25 20:11

吴恩达深度学习课程笔记之卷积神经网络（1st week）

吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[2]02-吴恩达深度学习系列课程/04卷积神经网络/PDFs·大大鹏/Bilibili资料-码云-开源中国(gitee.com)[3]深度学习笔记

syphomn·2022-11-25 18:50

吴恩达深度学习课程笔记之卷积神经网络（2nd week）

0参考资料[1]大大鹏/Bilibili资料-Gitee.com[2]【中英字幕】吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[3]深度学习笔记-目录(ai-start.com)1

syphomn·2022-11-25 18:50

深度学习面试笔记

深度学习笔记CNN模型汇总MLP模型，多层感知机模型。LeNet模型，第一个经典的CNN模型，之前是DNN模型。优点是将共享卷积参数。AlexNet模型，ReLU和dropout。

FBOY__·2022-11-25 17:30

深度学习笔记之正则化、激活函数、卷积

文章目录一.正则化(Regularization)1.L1L_1L1、L2L_2L2正则化2.Dropout3.数据增强4.提前停止5.批标准化二.激活函数1.激活函数需要具备的性质2.死亡Relu问题三.卷积1.池化（pooling）2.转置卷积3.空洞卷积参考一.正则化(Regularization)正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法。1.L1L_1L1、L2L

刘皮狠·2022-11-25 15:44

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（微调）

微调1.微调的步骤1.在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。2.创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。我们还假设源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。3.为目标模型添加一个输出大小为目标数据集类别个数的

Jul7_LYY·2022-11-25 15:15

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（图像增广）

一、图像增广1.通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。2.随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的范化能力二、常用的图像增广方法1.翻转和裁减1.左右翻转图像通常不会改变对象的类别。这是最早和最广泛使用的图像增广方法之一。2.上下翻转图像不如左右图像翻转那样常用。但是，至少对于这个示例图像，上下翻转不会妨碍识别。3.随机裁减在我

Jul7_LYY·2022-11-25 15:14

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（ResNet、ResNeXt）

ResNet、ResNeXt、迁移学习1、为什么要选择残差网络（ResNet）在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题：1.计算资源的消耗（使用GPU集群）2.模型容易过拟合（扩大数据集、Droupout、批量归一化、正则化、初始化参数调整等等方法）3.梯度消

Jul7_LYY·2022-11-25 15:03

深度学习笔记（一）：环境（yoloV5）配置

前言本文为笔者在学习深度学习，进行环境配置时集各家所长总结的一些经验，旨在能够较快的配置好深度学习所需的环境。一、软件安装1.1Anaconda安装直接在官网下载：Anaconda官网链接。安装包下载完毕后，进行安装，更改安装路径。到下面这一步时建议勾选上AddAnacondatomyPATHenvironmentvariable，这样可以免去手动配置环境变量。1.2pycharm安装

醉旖旎·2022-11-25 09:07

深度学习笔记个人阅读的Deep Learning方向的paper整理

帅气滴点C·2022-11-25 07:00

深度学习笔记之N维数组

数据操作数据结构-N维数组零维：就是一个数（类别）一维：就是一个向量（特征向量）二维：就是由多个向量组成的矩阵（特征矩阵）宽*高三维：就是RGB图片宽*高*通道（RGB三个通道）四维：就是RGB图片的批量处理宽*高*通道*批量大小五维：就是视频的批量处理宽*高*通道*批量大小*时间数据的创建数组的创建需要①形状（几维，大小）#生成0-11x=torch.arange(12)print(x)#ten

Summerke123·2022-11-24 23:50

深度学习笔记之数据预处理

创建一个简单的数据集importosimportpandasaspdos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:f.write('NumRooms,Alley,Price\n')#列

Summerke123·2022-11-24 23:50

2020-1-24 深度学习笔记2 - 线性代数

第二章线性代数官网线性代数是理解深度学习所必须掌握的基础数学学科之一线性代数主要是面向连续数学，而非离散数学。很多计算机科学家很少接触它。线性代数的几个数学概念标量（scalar）：一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。向量（vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我

没人不认识我·2022-11-24 22:14

深度学习笔记2：线性代数

线性代数标量标量由只有一个元素的张量表示。简单操作长度实例化两个标量，并执行一些熟悉的算术运算，即加法、乘法、除法和指数。importtorchx=torch.tensor([3.0])#标量y=torch.tensor([2.0])x+y,x*y,x/y,x**y#标量运算结果：(tensor([5.]),tensor([6.]),tensor([1.5000]),tensor([9.]))向量

燏羡·2022-11-24 22:42

深度学习笔记（1）线性代数

1.标量与向量（1）标量：只有一个元素的矩阵（2）向量：只有一列的矩阵，通常写为x（3）标量与矩阵标量c和矩阵B相加或标量c和矩阵B相乘时，需要将其与矩阵的每个元素相加或相乘，即或（4）向量与矩阵向量b和矩阵A相加，需要将向量b和矩阵A的每一行相加，即（5）向量点积相同维度，可看作是矩阵乘积，且满足交换律，即；或写作（6）矩阵乘积两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行

纳豆哥哥·2022-11-24 22:10

深度学习笔记--线性代数，概率论，数值计算

目录线性代数范数L2L1Frobenius范数特殊类型的矩阵和向量特征分解eigendecomposition奇异值分解SVD概率论概率分布条件概率（conditionalprobability）期望、方差和协方差常用概率分布贝叶斯定理(Bayes'Rule)信息论基本思想自信息香农熵KL散度交叉熵（cross-entropy）数值计算线性代数范数⼀个向量的范数告诉我们⼀个向量有多⼤。这⾥考虑的⼤

iwill323·2022-11-24 22:37

从零点五开始的深度学习笔记——VAE(Variational AutoEncoder) （三）VAE的简单实现

VAE的简单实现学习笔记链接1.预备知识1.1关于采样1.1.1蒙特卡罗模拟1.1.2重要性采样1.2VAE模型的假设1.2.1关于采样1.2.2编码器p(z∣x)p(z|x)p(z∣x)部分1.2.3隐变量q(z)q(z)q(z)部分1.2.4解码器q(x∣z)q(x|z)q(x∣z)部分1.2.5小结2.VAE的实现2.1重参数化2.2以MNIST手写数字图片为例2.2.1MNIST数据下载2

无始之始·2022-11-24 20:16

从零点五开始的深度学习笔记——VAE(Variational AutoEncoder) （二）概率角度理解VAE结构

概率角度理解VAE结构1.从联合概率分布构造的损失函数开始的一切1.1定义1.2推导过程1.3损失函数的理解2.总结1.从联合概率分布构造的损失函数开始的一切一个优秀的生成网络应该是怎么样的？这个生成网络在训练过程中，对编码器的要求应该是能够将输入xxx编码为一对一的隐变量zzz而不应该是多个xxx对应着同一个zzz。另外，在应用场景下的生成过程中，输入了一个处于训练集中隐变量中间位置的新的隐变量

无始之始·2022-11-24 20:46

深度学习笔记15_猫狗案例优化_使用预训练模型（迁移学习）

选择预训练模型将深度学习应用于小型图像数据集，一种常用且非常高效的方法是使用预训练网络。预训练网络（pretrainednetwork）是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类任务）上训练好。这个方法也叫迁移学习。预训练的模型学到的特征的空间层次结构可以有效地作为视觉世界的通用模型较低层学到的结构都是一些点线等低层次的特征，这里使用的预训练的模型的数据是ImageNet数据集（

瓦力人工智能·2022-11-24 19:56

这份开源的深度学习笔记，太牛了，我只能佩服的五体投地

萌眼牛牛 Lah·2022-11-24 14:01

深度学习100问-1：深度学习环境配置有哪些坑？

需要说明的是，这100问并不是入门笔记，想要入门的同学可以参考去年的深度学习60讲系列：深度学习第60讲：深度学习笔记系列

小白学视觉·2022-11-24 14:56

Goodfellow深度学习笔记--神经网络架构

目录损失函数指标选择交叉熵交叉熵代码使用最大似然的优势损失函数的具体形式用于高斯输出分布的线性单元用于Bernoulli输出分布的sigmoid单元用于Multinoulli输出分布的softmax单元MixtureGaussianDistribution总结隐藏单元架构设计更深层的好处反向传播梯度链式法则仿射层sigmoidsoftmax正则化参数范数惩罚L2参数正则化L1正则化数据集增强噪声鲁

iwill323·2022-11-24 14:21

李沐基于Pytorch的深度学习笔记（11）-Softmax的实现（含代码）

importtorchimporttorchvisionfromtorchimportnnimportnumpyasnpimporttorchvision.transformsastransformsmnist_train=torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST',train=True,download=Tru

chenyuhan1997·2022-11-24 13:00

2021李宏毅机器学习、深度学习笔记

一、机器学习基本概念简介视频地址：机器学习基本概念（上）视频地址：机器学习基本概念（下）1.训练阶段三要素：Fuction：定义带未知参数的模型Loss：定义损失函数Optimization：定义优化器二、机器学习任务攻略1.模型效果不好时的应对方法2.划分数据集的方法N-foldCrossValidation3.机器学习训练不起来的原因微分为0：陷入局部最优解或鞍点。criticalpoint的

Bruce_lj·2022-11-24 10:59

Pytorch深度学习笔记（03）--Numpy

目录一、生成Numpy数组工具1、从已有数据中创建数组2、利用random模块生成数组3、创建特定形状的多维数组4、利用arange、linspace函数生成数组二、获取元素1、指定索引标签2、random.choice函数可以从指定的样本中进行随机抽取数据三、NumPy的算术运算1、对应元素相乘2、点积运算四、数组变形1、更改数组的形状2、合并数组五、批量处理（mini-batch）1、如何把大

呆呆酱～^_^·2022-11-24 09:00

深度学习笔记（5）——playsoud声音播放

深度学习笔记（5）——playsoud声音播放文章目录深度学习笔记（5）——playsoud声音播放前言一、播放声音信号1.windows使用playsound库无法播放问题2.播放文件夹下所有wav文件代码二

江清月近人。·2022-11-24 07:12

深度学习笔记（5）——YOLOS模型解析

深度学习笔记（5）——YOLOS模型文章目录深度学习笔记（5）——YOLOS模型前言一、ViT模型二、使用步骤1.引入库2.读入数据总结前言前段时间，老师让我进行ViT改写成YOLOS,在一番折腾后，终于代码可以运行接下来就记录一下从

江清月近人。·2022-11-24 07:42

推荐频道

《深度学习笔记》