《深度学习笔记》第16页

深度学习笔记其三：多层感知机和PYTORCH

深度学习笔记其三：多层感知机和PYTORCH1.多层感知机1.1隐藏层1.1.1线性模型可能会出错1.1.2在网络中加入隐藏层1.1.3从线性到非线性1.1.4通用近似定理1.2激活函数1.2.1ReLU

泠山·2022-10-17 12:27

CLIP论文详解

CLIP论文详解–潘登同学的深度学习笔记文章目录CLIP论文详解--潘登同学的深度学习笔记前言整体架构Pre-trainZero-shot实验大范围数据集结果few-shot与zero-shot的对比RepresentationLearning

PD我是你的真爱粉·2022-10-16 11:27

【深度学习笔记1.4】更快的优化器

概述训练一个非常大的深度神经网络可能会非常缓慢。到目前为止，我们已经看到了四种加速训练的方法：对连接权重应用良好的初始化策略，使用良好的激活函数，使用批量规范化以及重用预训练网络的部分。另一个巨大的速度提升来自使用比普通渐变下降优化器更快的优化器。在本节中，我们将介绍最流行的：动量优化，Nesterov加速梯度，AdaGrad，RMSProp，最后是Adam优化。剧透：本节的结论是，您几乎总是

取取经·2022-10-15 07:51

深度学习笔记（2）——pytorch实现MNIST数据集分类（FNN、CNN、RNN、LSTM、GRU）

文章目录0前言1数据预处理2FNN（前馈神经网络）3CNN（卷积神经网络）4RNN（循环神经网络）5LSTM（长短期记忆网络）6GRU（门控循环单元）7完整代码0前言快开学了，花了一个晚上时间复习深度学习基础代码，复习了最基础的MNIST手写数字识别数据集分类，使用FNN、CNN、RNN、LSTM、GRU实现。1数据预处理importmatplotlib.pyplotaspltimporttorc

热爱旅行的小李同学·2022-10-03 07:43

深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）

目录一、RNN简介（一）、简介（二）、RNN处理任务示例——以NER为例二、模型提出（一）、基本RNN结构（二）、RNN展开结构三、RNN的结构变化（一）、NtoN结构RNN模型（二）、Nto1结构RNN模型（三）、1toN结构RNN模型（四）、NtoM结构RNN模型（encoder-decoder模型、seq2seq模型）四、梯度消失及梯度爆炸（一）、什么是RNN的梯度爆炸和梯度消失（二）、如何

AD稳稳·2022-10-02 07:37

Pytorch深度学习笔记（01）--自动求导、梯度下降、反向传播

目录工具一、Pytorch是什么?张量Tensors二、Autograd:自动求导(automaticdifferentiation)1、变量(Variable)核心类2、函数（Function）3、梯度（Gradients）梯度（可简单理解为导数）4、反向传播工具dir():打开，查看里面内容help():说明书一、Pytorch是什么?他是一个基于Python的科学计算包，目标用户有两类为了使

呆呆酱～^_^·2022-09-27 18:50

用Attention和微调BERT进行自然语言推断-PyTorch

动手学深度学习笔记一、自然语言推断与数据集1.自然语言推断2.斯坦福自然语言推断数据集二、利用注意力进行自然语言推断1.模型2.训练和评估模型3.预测三、微调BERT进行自然语言推断1.加载预训练的BERT2

葫芦娃啊啊啊啊·2022-09-26 07:26

深度学习笔记 —— 数据增广

固定形状？卷积神经网络通常是一个固定的输入。作用好不好是不一定的。很多时候觉得它有用是因为觉得测试集里会有图片跟这个效果是差不多的。所以如何选择数据增强？可以从后往前推，想一下部署和测试集里面的图片与训练集的图片会有什么变化，从而确定需要什么样的数据增强方式。多样性更强，使得泛化性更好。增广的目的是想让训练集更像测试集，如果完全一样就更好了！:)importtorchimporttorchvisi

Whisper_yl·2022-09-23 12:15

深度学习笔记09_机器学习数据预处理

数据预处理、特征工程神经网络的数据预处理预处理的原则：是使原始数据更适于用神经网络处理，主要包括：向量化，标准化，处理缺失值和特征提取向量化无论处理什么数据（声音、图像还是文本），都必须首先将其转换为张量，且张量是浮点数据类型。例如，one-hot编码将其转换为float32格式的张量。值标准化一般的值标准化做法对每个特征分别做标准化，使其均值为0、标准差为1。例如，图像数据被编码为0~255范围

瓦力人工智能·2022-09-17 07:19

机器学习实战笔记8—随机森林

注：此系列文章里的部分算法和深度学习笔记系列里的内容有重合的地方，深度学习笔记里是看教学视频做的笔记，此处文章是看《机器学习实战》这本书所做的笔记，虽然算法相同，但示例代码有所不同，多敲一遍没有坏处，哈哈

业余狙击手19·2022-09-12 07:51

吴恩达深度学习笔记（四）

吴恩达深度学习笔记（四）卷积神经网络CNN-第二版卷积神经网络深度卷积网络：实例探究目标检测特殊应用：人脸识别和神经风格转换卷积神经网络编程作业卷积神经网络CNN-第二版卷积神经网络更新部分：1.122.82.92.103.113.123.133.14

love_lqz·2022-09-11 07:23

吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）

深度学习笔记导航前言传送门卷积神经网络（ConvolutionalNeuralNetworks）卷积神经网络基础(FoundationsofConvolutionalNeuralNetworks)概述标记约定

亦梦亦醒乐逍遥·2022-09-10 07:30

深度学习笔记2——卷积神经网络、LeNet5

1、卷积神经网络（ConvolutionalNeuralNetwork,CNN）1.1局部感受野(LocalReceptiveFields)对于一般的深度神经网络，往往会把图像的每一个像素点连接到全连接的每一个神经元中，而卷积神经网络则是把每一个隐藏节点只连接到图像的某个局部区域，从而减少参数训练的数量。例如，一张1024×720的图像，使用9×9的感受野，则只需要81个权值参数。对于一般的视觉也

卖strawberry的小女孩·2022-09-10 07:13

吴恩达深度学习笔记（四）——深度学习的实践层面

一、数据集的划分要确保验证集和测试集的数据来自同一分布。二、偏差和方差方差：训练集和验证集的数据分布是否均匀，训练集和验证集之间的差别；偏差：训练集和真实结果的差别。高偏差：欠拟合高方差：过拟合理解偏差和方差的两个关键数据是训练集误差（Trainseterror）和验证集误差（Devseterror）。这里沿用的仍然是猫咪图片分类的例子：三、机器学习基础解决高方差：扩充数据集、正则化、或者其他模型

子非鱼icon·2022-09-04 07:43

深度学习笔记--pytorch从梯度下降到反向传播BP到线性回归实现，以及API调用和手写数据集的实现

梯度下降和反向传播目标知道什么是梯度下降知道什么是反向传播1.梯度是什么?梯度：是一个向量，导数+变化最快的方向(学习的前进方向)回顾机器学习收集数据xxx，构建机器学习模型fff，得到f(x,w)=Ypredictf(x,w)=Y_{predict}f(x,w)=Ypredict判断模型好坏的方法：目标：通过调整(学习)参数www，尽可能的降低losslossloss，那么我们该如何调整www呢

Jason_Honey2·2022-09-03 07:06

深度学习笔记8：利用Tensorflow搭建神经网络

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：

R3eE9y2OeFcU40·2022-08-31 09:41

深度学习笔记----三维卷积及其应用（3DCNN,PointNet,3D U-Net）

目录1.什么是三维卷积1.1三维卷积简介1.2三维卷积的工作原理2，三维卷积核多通道卷积的区别2.1多通道卷积2.2三维卷积和多通道卷积之间的区别2.3总结3，三维卷积的应用3.1视频分类3.2点云分类3.2.1PointNet网络亮点3.2.2PointNet网络结构3.3图像分割(U-Net)3.3.1二维的U-Net3.3.2三维的U-Net1.什么是三维卷积1.1三维卷积简介二维卷积是在单

YOULANSHENGMENG·2022-08-31 07:45

深度学习笔记----不同卷积类型的总结

目录1，标准卷积1.1Same卷积1.2Valid卷积1.3Full卷积2,反卷积3,空洞卷积（带孔卷积）4.可变形卷积5，非局部卷积5.1非局部卷积介绍5.2Non-localblock的结构6，深度可分离卷积7，组卷积1，标准卷积卷积核上所有作用点依次作用于原始像素点后（即乘起来），线性叠加的输出结果，即是最终卷积的输出，也是我们想要的结果，我们称为destination（目标）pixel.标

YOULANSHENGMENG·2022-08-31 07:44

HALCON 20.11：深度学习笔记(8)---模型

HALCON20.11：深度学习笔记(8)---模型HALCON20.11.0.0中，实现了深度学习方法。本章解释HALCON中深度学习(DL)模型的一般概念和数据处理。

机器视觉001·2022-08-27 07:28

HALCON 21.11：深度学习笔记---模型(8)

HALCON21.11：深度学习笔记---模型(8)HALCON21.11.0.0中，实现了深度学习方法。本章阐述了HALCON中深度学习(DL)模型的一般概念和数据处理。

机器视觉001·2022-08-27 07:28

深度学习笔记二（梯度）

目录梯度消失与梯度爆炸(Vanishing/Explodinggradients)极深的神经网络神经网络的权重初始化梯度值逼近如何计算梯度的数值逼近梯度检验两个梯度梯度是否接近梯度检验的注意事项梯度消失与梯度爆炸(Vanishing/Explodinggradients)训练神经网络，尤其是深度学习所面临的一个问题就是梯度消失与梯度爆炸，即梯度有时非常大（小），甚至以指数级别的速度，可以通过更好地

Savannah913·2022-08-19 07:18

深度学习笔记（三）---梯度检验与高级优化

梯度检验与高级优化众所周知，反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug时。举例来说，索引的缺位错误（off-by-oneerror）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，但从计算结果上来看，我们很难发现代码中有什么东西遗漏了。本节中，我们将介绍一种对求导结果进行数值检验的

如今我已剑指天涯·2022-08-19 07:45

[深度学习]动手学深度学习笔记-15

Task6——批量归一化和残差网络15.1批量归一化本节我们介绍批量归一化（batchnormalization）层，它能让较深的神经网络的训练变得更加容易。在（实战Kaggle比赛：预测房价）里，我们对输入数据做了标准化处理：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近：这往往更容易训练出有效的模型。通常来说，数据标准化预处理对于浅层模型

田纳尔多·2022-08-19 07:12

吴恩达深度学习笔记-布置机器学习项目(第4课)

布置机器学习项目一、训练集/验证集/测试集二、偏差与方差三、机器学习基础四、正则化五、为什么正则化可以减少过拟合？六、Dropout正则化七、理解Dropout八、其他正则化方法九、归一化输入十、梯度消失与梯度爆炸十一、神经网络的权重初始化十二、梯度的数值逼近十三、梯度检验十四、关于梯度检验实现的注意事项一、训练集/验证集/测试集划分数据为训练集、验证集和测试集可以减少确定超参数的迭代过程。在有1

郭少的研究生笔记·2022-08-19 07:04

吴恩达深度学习笔记 4.1~4.8 深层神经网络

之前一章讲了浅层神经网络,这一章讲的是深层神经网络深层神经网络与浅层神经网络的区别是:隐藏层比浅层神经网络多,从命名规则上来说,有1,2,5个隐藏层的神经网络可以称为1hiddenlayer,2hiddenlayers,5hiddenlayers深层神经网络中的正向传播与之前举例的浅层神经网络一样,只是层数变得更多了,如下所示:对于每一层的正向传播我们可以用一个公式表示:其中L表示层数,g表示激活

banghu8816·2022-08-16 07:07

深度学习笔记------Mask-RCNN

目录1，概述2，ResNet-FPN3,ROIAlign4,mask5，训练及预测6，损失1，概述MaskRCNN沿用了FasterRCNN（https://blog.csdn.net/YOULANSHENGMENG/article/details/121850364）的思想，特征提取采用ResNet-FPN的架构，另外多加了一个Mask（用于生成物体的掩模）预测分割分支。如下图1所示。其中黑色部

YOULANSHENGMENG·2022-08-16 07:37

深度学习笔记-----多输入网络（Siamese网络,Triplet网络）

目录1，什么时候需要多个输入2，常见的多输入网络2.1Siamese网络(孪生网络)2.1Triplet网络1，什么时候需要多个输入深度学习网络一般是输入都是一个，或者是一段视频切片，因为大部分的内容是对一张图像或者一段视频内容进行分析。但是也有任务需要输入图像对来得到相对结果，比如检测两个图像的相似度，通过目标跟踪得到相对位置。还有些网络也可以输入多张图像进行多尺度的特征提取。比如图像检测，目标

YOULANSHENGMENG·2022-08-16 07:37

吴恩达深度学习笔记- lesson4 卷积神经网络

文章目录Week1卷积神经网络基础4.1.1计算机视觉（Computervision）4.1.2边缘检测示例（Edgedetectionexample）4.1.3更多边缘检测内容（Moreedgedetection）4.1.4Padding3.1.5卷积步长（Stridedconvolutions）4.1.6三维卷积（Convolutionsovervolumes）4.1.7单层卷积网络（Onel

廖梓强·2022-08-13 09:12

吴恩达深度学习笔记01——神经网络和深度学习2浅层神经网络

PS：梯度下降法（GradientDescent）是神经网络的核心方法，用于更新神经元之间的权重，以及每一层的偏置；反向传播算法（Back-PropagationAlgorithm）则是一种快速计算梯度的算法，将梯度反向传播回去，从而能够使得梯度下降法得到有效的应用。一、神经网络表示竖向堆叠起来的输入特征被称作神经网络的输入层（theinputlayer）。神经网络的隐藏层（ahiddenlaye

阿尔基亚·2022-08-13 09:11

吴恩达深度学习笔记01——神经网络和深度学习1

实现一个神经网络时，如果需要遍历整个训练集，并不需要直接使用for循环。神经网络的计算过程中，通常有一个正向过程（forwardpass）或者叫正向传播步骤（forwardpropagationstep），接着会有一个反向过程（backwardpass）或者叫反向传播步骤（backwardpropagationstep）。一、Logistic回归Logistic回归是一个用于二分分类的算法。（二分

阿尔基亚·2022-08-13 09:11

吴恩达深度学习笔记-单层神经网络(第2课)

深度学习笔记1、神经网络概览2、神经网络表示3、计算神经网络的输出4、多个样本的向量化5、向量化实现的解释6、激活函数7、为什么需要非线性激活函数？

郭少的研究生笔记·2022-08-13 09:40

吴恩达深度学习笔记——卷积神经网络基础（1）

参考吴恩达深度学习视频和CSDN笔记https://blog.csdn.net/red_stone1/article/details/78651063P108ComputerVisionCV主要包括以下几类:图像分类目标检测图片风格迁移使用传统神经网络处理机器视觉的主要问题是输入层的维数过大，这使得权重矩阵非常庞大，使得网络结构复杂，数据量大，容易出现过拟合；内存、计算量大。解决这一问题的方法就是

Deserant·2022-08-13 09:40

吴恩达深度学习笔记（一）——神经网络基础、 logistic 回归

观看了吴恩达老师的深度学习公开课，总结了部分个人觉得有益的知识点。参考链接一、数据结构当编写神经网络程序时，就不要用这种秩为1的数据结构，如shape等于(n,)，或者是一维数组时。两对方括号和一对方括号，这就是1行5列的矩阵和一维数组的差别。二.隐藏层的含义三、L1W2作业3.1作业代码参考链接1参考链接2importnumpyasnpimportmatplotlib.pyplotaspltim

子非鱼icon·2022-08-13 09:10

深度学习笔记（四）（1）卷积神经网络

深度学习笔记（四）（1）卷积神经网络返回目录终于到了。。。。1.1计算机视觉（Computervision）图象识别、目标检测、风格迁移。

瞲_大河弯弯·2022-08-13 07:54

深度学习笔记第四门课卷积神经网络第一周卷积神经网络基础

本文是吴恩达老师的深度学习课程[1]笔记部分。作者：黄海广[2]主要编写人员：黄海广、林兴木（第四所有底稿，第五课第一二周，第三周前三节）、祝彦森:（第三课所有底稿）、贺志尧（第五课第三周底稿）、王翔、胡瀚文、余笑、郑浩、李怀松、朱越鹏、陈伟贺、曹越、路皓翔、邱牧宸、唐天泽、张浩、陈志豪、游忍、泽霖、沈伟臣、贾红顺、时超、陈哲、赵一帆、胡潇杨、段希、于冲、张鑫倩参与编辑人员：黄海广、陈康凯、石晴路

风度78·2022-08-13 07:47

深度学习笔记（2）--slim框架

今天我发现一个tensorlfow框架--slim它包装了一些基本的tensorflow的操作：比如说卷积：layers=sli.conv2d(self.X,num_outputs=32,kernel_size=1,stride=[1,1])比如说标准化处理Bn1=sli.batch_norm(Fist_op)还有weight=sli.variable(name='weights3',shape=

zhao9642·2022-08-09 09:43

吴恩达深度学习笔记

你将学习本系列课程(专业):神经网络和深度学习改进深度神经网络:超参数调优、正则化和优化构建你的机器学习项目吨/德卷积神经网络端到端自然语言处理:建立序列模型RNN,LSTM我的目标理解深度学习基本原理常用算法流程常用术语不求算术推导不求算术推导不求算术推导使用深度学习框架入门介绍例1房价预测模型输入映射输出监督学习有价值的图像卷积序列CNN时间序列语言序列RNNRNNS深度学习神经网络数据量和质

reno_yuan·2022-08-08 07:22

吴恩达深度学习笔记-第三课：结构化机器学习项目

lesson3结构化机器学习项目文章目录lesson3结构化机器学习项目Week1机器学习（ML策略）(1)3.1.1为什么是ML策略？（WhyMLStrategy?）3.1.2正交化（Orthogonalization）3.1.3单一数字评估指标（Singlenumberevaluationmetric）3.1.4满足和优化指标（Satisficingandoptimizingmetrics）3

廖梓强·2022-08-08 07:42

深度学习笔记---多尺度网络结构归类总结

目录1.什么是图像金字塔1.1高斯金字塔(Gaussianpyramid):1.2拉普拉斯金字塔（Laplacianpyramid）1.3DOG金字塔2.多尺度网络（MTCNN）2.1多尺度输入网络2.2多尺度特征融合网络2.2.1并行多分支网络2.2.2串行的跳层连接网络3，多尺度特征预测融合网络3.1SSD网络3.2SSH网络4，多尺度特征和预测融合网络4.1不同多尺度特征及预测方式的对比4.

YOULANSHENGMENG·2022-08-08 07:08

动手学习深度学习笔记3：Sequential构建模型与参数初始化

一、利用Module的Sequential子类构建模型Module类是一个通用的模型构造类，是所有神经网络模块的基类。可以基于该类构建神经网络的层（layer,如Linear层）或者直接构建模型。继承该函数一般需要重载__init__函数和forward函数,分别用于创建模型参数和定义前向计算。除了采用直接继承定义模型以外，pytorch还提供了更加还实现了继承自Module的，可以方便构建模型的

GISTransport 农场·2022-08-07 07:32

深度学习笔记（七）—— 初始化权值[Weight Initialization]

这是深度学习笔记第七篇，完整的笔记目录可以点击这里查看。首先说一个误区，那就是将所有权值都初始化为0。

zeeq_·2022-08-07 07:01

深度学习笔记-013 模型权重保存

保存模型参数state_dict就是一个简单的Python字典，它将模型中的可训练参数（比如weights和biases，batchnorm的running_mean、torch.optim参数等）通过将模型每层与层的参数张量之间一一映射，实现保存、更新、变化和再存储。首先定义模型的保存位置和文件名（以.pth结尾）再save模型权重到固定路径PATH='./my_net.pth'torch.sa

地表最菜研究生·2022-08-07 07:28

深度学习笔记-10.几种权重初始化方法

深度学习中神经网络的几种权重初始化方法https://zhuanlan.zhihu.com/p/25110150https://blog.csdn.net/attitude_yu/article/details/81458172https://www.cnblogs.com/hutao722/p/9796884.html目录梯度爆炸和梯度消失的原因一、常数初始化(constant)二、随机分布初始

业余狙击手19·2022-08-07 07:27

深度学习笔记(6.DNN初始化权重和损失nan坑)

前言权重初始化程序实现比较简单，修改dnn代码很少。不同初始化方式对结果影响很大。这部分根据课件实现了3中初始化方法，基本就是copy代码。但是这部分遇到了一个大坑，梯度爆炸还是消失。导致random随机初始化调试了好久才和课件上边的结果对上。这个目前还说不清楚，只能给出实验结果和程序修改过程，说一下大致数据变化。代码已更新程序地址：https://github.com/Constellation

迷茫猿小明·2022-08-07 07:11

吴恩达深度学习笔记-超参数调试、Batch正则化(第6课)

超参数调试一、调试处理二、为超参数选择合适的范围三、超参数训练的实践:PandasVSCaviar四、正则化网络的激活函数五、将BatchNorm拟合进神经网络六、BatchNorm为什么奏效？七、测试时的batchnorm八、softmax回归九、训练一个softmax分类器十、深度学习框架十一、Tensorflow一、调试处理在模型训练中需要调试许多超参数，例如：(1)学习率α；(2)动量下降

郭少的研究生笔记·2022-08-07 07:09

深度学习笔记-----归一化方法BN

1,概述1.什么是归一化：归一化又称规范化，并不是一个完全定义好的数学操作，通常是指将数据进行偏移和尺度缩放。是数据预处理中常用的手段。一般是将输入的数据约束固定到一定的范围如【0,1】。没有固定的数学表达式，根据需求定义将数据规定到一定范围内的数学表达式；2.归一化方法的目的：实际上是通过采取不同的变换方式使各层的的输入数据近似满足独立的分布条件，并将各层的输出限定在一定的范围3.在深度学习中常

YOULANSHENGMENG·2022-08-07 07:09

深度学习经典数据集汇总

深度学习数据集Author：louwillFrom：深度学习笔记很多朋友在学习了神经网络和深度学习之后，早已迫不及待要开始动手实战了。第一个遇到的问题通常就是数据。

louwill12·2022-08-04 20:27

【深度学习】深度学习经典数据集汇总