《深度学习笔记》

深度学习笔记

激活函数激活函数可以让神经网引入非线性性质，去除线性相关特征映射，是网络捕获数据中的不同特征；relu=max（0，x）输出为0到正无穷sigmod输出为0-1形状为srelu输出为-1-1以0为中心，形状为sNumpy广播机制1：两个tensor维度完全相同2：两个tensor维度不同，此时从最后一维开始比较，若其中一个tensor最后一维为1则可以进行广播，继续比较倒数第二维，若有一个为1或者
warren@伟_·2024-01-06 06:24

pytorch深度学习笔记（共计169页，基于本人听完B站小土堆PyTorch深度学习快速入门教程所写）

一、笔记视频pytorch深度学习（共计169页，基于本人听完B站小土堆PyTorch深度学习快速入门教程所写）二、获取方式方式一：点击下面的链接pytorch深度学习笔记如果链接无法打开直接复制下方链接即可
-希冀-·2024-01-04 23:50

2019年上半年收集到的人工智能迁移学习干货文章

迁移学习之最大分类器差异的无监督域适应吴恩达深度学习笔记(67)-迁移学习（Transferlearning)深度学习不
城市中迷途小书童·2024-01-04 20:11

《动手学深度学习》学习笔记 第7章 现代卷积神经网络

本系列为《动手学深度学习》学习笔记书籍链接：动手学深度学习笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看关于本系列笔记：书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容
北方骑马的萝卜·2024-01-03 20:58

《动手学深度学习》学习笔记 第4章 多层感知机

本系列为《动手学深度学习》学习笔记书籍链接：动手学深度学习笔记是从第四章开始，前面三章为基础知道，有需要的可以自己去看看关于本系列笔记：书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容
北方骑马的萝卜·2024-01-03 20:58

《动手学深度学习》学习笔记 第6章 卷积神经网络

本系列为《动手学深度学习》学习笔记书籍链接：动手学深度学习笔记是从第四章开始，前面三章为基础知道，有需要的可以自己去看看关于本系列笔记：书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容
北方骑马的萝卜·2024-01-03 20:24

TensorFlow深度学习笔记 文本与序列的深度模型

DeepModelsforTextandSequence转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载RareEvent与其他机器学习不同，在文本分析里，陌生的东西（rareevent）往往是最重要的，而最常见的东西往往是最不重要的。语法多义性一个东西可能有
城市中迷途小书童·2024-01-03 10:41

动手深度学习笔记（四十八）8.4. 循环神经网络

动手深度学习笔记（四十八）8.4.循环神经网络8.4.循环神经网络8.4.1.无隐状态的神经网络8.4.2.有隐状态的循环神经网络8.4.3.基于循环神经网络的字符级语言模型8.4.4.困惑度（Perplexity
落花逐流水·2024-01-02 13:54

动手深度学习笔记（四十九）8.5. 循环神经网络的从零开始实现

动手深度学习笔记（四十九）8.5.循环神经网络的从零开始实现8.5.循环神经网络的从零开始实现8.5.1.独热编码8.5.2.初始化模型参数8.5.3.循环神经网络模型8.5.4.预测8.5.循环神经网络的从零开始实现本节将根据
落花逐流水·2024-01-02 13:23

oracle buffer block,8 Oracle深度学习笔记——BUFFER CACHE深入一

8.Oracle深度学习笔记——BUFFERCACHE深入一最近项目一直和ORACLE死磕，感觉总是找不到出口，只能多看书少说话了。先记录多少是多少吧！
赵轩昂·2024-01-02 02:04

【深度学习笔记】4.前馈神经网络

前馈神经网络发展历程神经元（M-P）神经元是1943年由两名科学家首次提出的神经元模型。在M-P模型中，神经元接受其他n个神经元的输入信号(0或1)，这些输入信号经过权重加权并求和，将求和结果与阈值(threshold)θ比较，然后经过激活函数处理，得到神经元的输出。y=∑i=1nωijxi+θy=\sum^n_{i=1}\omega_{ij}x_i+\thetay=i=1∑nωijxi+θM-P
不休的turkeymz·2024-01-01 07:49

吴恩达深度学习笔记（2）-什么是神经网络（Neural Network）

什么是神经网络？(WhatisaNeuralNetwork)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个视频中，会讲解一些直观的基础知识。首先，让我们从一个房价预测的例子开始讲起。假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预
极客Array·2023-12-27 20:02

批量归一化(Batch normalization)

动手学深度学习笔记-批量归一化Batchnormalization什么是批量归一化?为什么需要批量归一化？批量归一化如何起作用？总结与注意事项什么是批量归一化?  
安静的钢琴·2023-12-26 11:28

paddlepaddle深度学习笔记（二）使用飞桨重写房价预测任务

在之前的章节中，学习了使用Python和NumPy实现波士顿房价预测任务的方法，本章将尝试使用飞桨重写房价预测任务，体会二者的异同。在数据处理之前，需要先加载飞桨框架的相关类库。paddlepaddle飞浆官网CPU版的PaddlePaddlepipinstallpaddlepaddle==2.4.2-ihttps://pypi.tuna.tsinghua.edu.cn/simpleGPU版的Pa
PEACE_小石头·2023-12-23 16:54

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train/Dev/Testsets）在
极客Array·2023-12-21 06:18

fast.ai 深度学习笔记：第一部分第二课

原文：DeepLearning2:Part1Lesson2作者：HiromiSuenaga论坛笔记本回顾上一课[01:02]我们使用3行代码来构建图像分类器。为了训练模型，需要在PATH下以某种方式组织数据（在本例中为data/dogscats/）：image应该有train文件夹和valid文件夹，并且在每个文件夹下都有带有分类标签的文件夹（例如本例中的cats），其中包含相应的图像。训练输出：
布客飞龙·2023-12-20 00:31

动手学深度学习笔记（二）

1.线性回归简化模型房价预测的模型可以理解为用一些能够表示房子特点的因素如卧室个数、卫生间个数、面积等nnn个属性组成的特征向量：x=[x1x2⋮xn]\mathbf{x}=\left[\begin{matrix}x_1\\x_2\\\vdots\\x_n\end{matrix}\right]x=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤房价的预测是这些属性的加权和：y=w1x1+w2x2+⋯+wnxn+
上官永石·2023-12-19 18:31

深度学习笔记_6经典预训练网络LeNet-18解决FashionMNIST数据集

1、调用模型库，定义参数，做数据预处理importnumpyasnpimporttorchfromtorchvision.datasetsimportFashionMNISTimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderimporttorch.nn.functionalasFimporttor
Element_南笙·2023-12-18 20:23

深度学习笔记_7经典网络模型LSTM解决FashionMNIST分类问题

1、调用模型库，定义参数，做数据预处理importnumpyasnpimporttorchfromtorchvision.datasetsimportFashionMNISTimporttorchvision.transformsastransformsfromtorch.utils.dataimportDataLoaderimporttorch.nn.functionalasFimporttor
Element_南笙·2023-12-18 20:51

深度学习记录--矩阵维数

如何识别矩阵的维数如下图矩阵的行列数容易在前向和后向传播过程中弄错，故写这篇文章来提醒易错点顺便起到日后查表改错的作用本文仅作本人查询参考(摘自吴恩达深度学习笔记)
蹲家宅宅·2023-12-17 11:02

【深度学习笔记】08 欠拟合和过拟合

08欠拟合和过拟合生成数据集对模型进行训练和测试三阶多项式函数拟合（正常）线性函数拟合（欠拟合）高阶多项式函数拟合（过拟合）importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l生成数据集给定xxx，我们将使用以下三阶多项式来生成训练和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+
LiuXiaoli0720·2023-12-06 00:50

【深度学习笔记】07 多层感知机

07多层感知机多层感知机在网络中加入隐藏层从线性到非线性激活函数ReLU函数sigmoid函数tanh函数多层感知机的从零开始实现初始化模型参数激活函数模型损失函数训练多层感知机的简洁实现模型多层感知机在网络中加入隐藏层我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。要做到这一点，最简单的方法是将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成
LiuXiaoli0720·2023-12-06 00:49

【深度学习笔记】06 softmax回归

06softmax回归softmax运算损失函数对数似然Fashion-MNIST数据集读取数据集读取小批量整合所有组件softmax回归的从零开始实现初始化模型参数定义softmax操作定义模型定义损失函数分类精度训练预测softmax回归的简洁实现softmax运算softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，首先对每个未规范化的预
LiuXiaoli0720·2023-12-06 00:19

【深度学习笔记】09 权重衰减

09权重衰减范数和权重衰减利用高维线性回归实现权重衰减初始化模型参数定义L2L_2L2范数惩罚定义训练代码实现忽略正则化直接训练使用权重衰减权重衰减的简洁实现范数和权重衰减在训练参数化机器学习模型时，权重衰减（decayweight）是最广泛应用的正则化技术之一，它通常也被称为L2L_2L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度，因为在所有函数fff中，函数f=0f=0f=0（所有输
LiuXiaoli0720·2023-12-06 00:18

吴恩达深度学习笔记(36)-神经网络的梯度消失/梯度爆炸

梯度消失/梯度爆炸（Vanishing/Explodinggradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。这节课，你将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。假设你正在训练这样一个极深的神经网络，为了
极客Array·2023-12-05 23:01

深度学习笔记（十三）—— GAN-2

LSGANLSGAN(LeastSquaresGAN)将loss函数改为了L2损失.G和D的优化目标如下图所示,image作业:在这里,请在下方补充L2Loss的代码来实现L2损失来优化上面的目标.并使用这个loss函数在mnist数据集上训练LSGAN,并显示训练的效果图片及loss变化曲线.提示:忽略上图的1/2.L2损失即MSEloss(均方误差),传入两个参数input_是指判别器D预测为
Nino_Lau·2023-12-02 05:18

吴恩达深度学习笔记(45)-Adam 优化算法(Adam optimization)

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是
极客Array·2023-11-30 04:58

动手学深度学习笔记day9

卷积神经网络（convolutionalneuralnetworks，CNN）图像不是二维张量，而是一个由高度、宽度和颜色组成的三维张量，比如包含个像素。前两个轴与像素的空间位置有关，而第三个轴可以看作是每个像素的多维表示。互相关运算互相关运算（cross-correlation）：在卷积层中，输入张量和核张量通过互相关运算产生输出张量。在图中，输入是高度为3、宽度为3的二维张量（即形状为3×3）
努力学习的廖同学·2023-11-29 17:24

深度学习笔记

目录TensorBoard的使用Transforms的使用TorchVision中数据集的使用Dataloader的使用卷积操作神经网络-卷积层最大池化非线性激活线性层小型网络搭建和Sequential使用损失函数与反向传播优化器网络模型的使用及修改完整模型的训练利用gpu训练模型验证自动求导线性神经网络线性回归基础优化算法线性回归的从零开始实现线性回归的简洁实现softmax回归图像分类数据集s
czyxw·2023-11-28 23:21

[深度学习]动手学深度学习笔记-10

Task5——卷积神经网络基础；leNet；卷积神经网络进阶10.1卷积神经网络（CNN）基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像数据具有显著的局部与整体关系，其在图像识别领域的应用获得了巨大的成功。10.1.1卷积神经网络的组成层图10.1卷积神经网络示意图以图像分类任务为例，在表10.1所示卷积神经网络中，一般包含
田纳尔多·2023-11-26 12:16

【深度学习笔记】03 微积分与自动微分

03微积分与自动微分导数和微分导数解释的可视化偏导数梯度链式法则自动微分非标量变量的反向传播分离计算导数和微分假设我们有一个函数f:R→Rf:\mathbb{R}\rightarrow\mathbb{R}f:R→R，其输入和输出都是标量。如果fff的导数存在，这个极限被定义为f′(x)=lim⁡h→0f(x+h)−f(x)h.f'(x)=\lim_{h\rightarrow0}\frac{f(x+
LiuXiaoli0720·2023-11-26 09:27

【深度学习笔记】04 概率论基础

04概率论基础概率论公理联合概率条件概率贝叶斯定理边际化独立性期望和方差模拟投掷骰子的概率随投掷次数增加的变化概率论公理概率（probability）可以被认为是将集合映射到真实值的函数。在给定的样本空间S\mathcal{S}S中，事件A\mathcal{A}A的概率，表示为P(A)P(\mathcal{A})P(A)，满足以下属性：对于任意事件A\mathcal{A}A，其概率从不会是负数，即
LiuXiaoli0720·2023-11-26 09:27

【深度学习笔记】01 数据操作与预处理

01数据操作与预处理一、数据操作1.1基本数据操作1.2广播机制1.3索引和切片1.4节省内存1.5转换为其他Python对象二、数据预处理读取数据集处理缺失值转换为张量格式练习一、数据操作1.1基本数据操作导入torchimporttorch张量表示一个由数值组成的数组，这个数组可能有多个维度（轴）。具有一个轴的张量对应数学上的向量（vector），具有两个轴的张量对应数学上的矩阵（matrix
LiuXiaoli0720·2023-11-26 09:57

深度学习笔记 —— 线性代数

线性代数实现：1.标量由只有一个元素的的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])2.可以将向量视为标量值组成的列表x=torch.arange(4)#通过张量的索引来访问任一元素x[3]3.访问张量的长度x=tensor.arange(4)len(x)Output:4只有一个轴的张量，形状只有一个元素x.shapeOutpu
Whisper_yl·2023-11-26 09:26

【深度学习笔记】02 线性代数基础

线性代数基础线性代数基础标量向量长度、维度和形状矩阵张量算法的基本性质降维非降维求和点积（DotProduct）矩阵-向量积矩阵-矩阵乘法范数线性代数基础标量标量由只有一个元素的张量表示importtorchx=torch.tensor(3.0)y=torch.tensor(2.0)x+y,x*y,x/y,x**y(tensor(5.),tensor(6.),tensor(1.5000),tens
LiuXiaoli0720·2023-11-26 09:22

菜菜的Python学习日记 | Python从入门到入土详解

我的其他日记菜菜的刷题日记|被LeetCode用Python狂虐的那段日子菜菜的并发编程笔记|Python并发编程详解（持续更新~）菜菜的深度学习笔记|基于Python的理论与实现数据分析入门|kaggle
猿知·2023-11-25 03:12

吴恩达深度学习笔记5-Course2-Week1【深度学习的实用层面】

改善深层神经网络：超参数调试、正则化以及优化深度学习的实用层面一、训练、验证、测试集样本数据分成以下三个部分：训练集(trainset):用于对模型进行训练。验证集(hold-outcrossvalidation/developmentset):对不同模型进行评估。测试集(testset):对选取的模型进行无偏评估。node:验证集要和训练集最好来自于同一个分布，可以使得机器学习算法变快。如果不需
Wang_Jiankun·2023-11-23 19:28

吴恩达深度学习笔记8-Course3-Week1【机器学习策略（ML Strategy）1】

结构化机器学习项目机器学习策略（MLStrategy）1一、机器学习策略介绍（IntroductiontoMLStrategy）1、机器学习策略就是超参数调优的策略，怎么调？怎们评估调优的效果？调哪些超参的效果更好？超参数调优的次序？下图是一些经常调优的超参：2、正交化（Orthogonalization）正交化或正交性是一种系统设计属性，可确保修改算法的某一部分不会对系统的其他部分产生或传播副作
Wang_Jiankun·2023-11-23 19:58

动手学深度学习笔记---4.3 解决过拟合_权重衰减与Dropout

一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，L1L1L1正则化通过限制参数值的选择范围来控制模型容量，L2L2L2正则化：使用均方范数作为硬性限制，即对于参数w,bw,bw,b，假设其损失函数为l(w,b)l(w,b)l(w,b)，则其优化目标为mi
Aaaaaki·2023-11-22 15:06

GRU、LSTM、双向循环神经网络

动手学深度学习笔记一、门控循环单元(GRU)1.重置门和更新门2.候选隐状态3.隐状态4.PyTorch代码二、长短期记忆网络(LSTM)1.输入门、遗忘门和输出门2.记忆元3.隐状态4.PyTorch
葫芦娃啊啊啊啊·2023-11-21 02:42

【深度学习笔记】6.循环神经网络

循环神经网络计算图计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。下面这个计算图表示复合函数关于计算图的求导，我们可以用链式法则表示，有下面两种情况。情况1情况2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SUose3jf-16
不休的turkeymz·2023-11-21 02:08

深度学习笔记-GCN+卷积方式汇总

卷积方式汇总convolutionsummary一、为什么要用小卷积核代替大卷积核自从VGG网络开始，叠加的小卷积核已经成为流行，因为能够使用更小的参数量实现特征提取。大卷积核优点：感受域大举例：AlexNet、LeNet等网络都使用了较大的卷积核，例如5x5，11x11缺点：参数量大，计算量大（硬件设备不成熟的情况下需要进行分组计算）小卷积核优点：参数量少；计算量少；整合三个非线性激活层代理单一
地表最菜研究生·2023-11-20 11:39

HALCON 20.11：深度学习笔记(5)---设置超参数

HALCON20.11：深度学习笔记(5)---设置超参数HALCON20.11.0.0中，实现了深度学习方法。
机器视觉001·2023-11-19 19:37

深度学习笔记：第二周链接汇总

训练集、验证集、测试集以及偏差和方差链接正则化链接神经网络中的梯度消失、梯度爆炸、梯度的数值逼近、梯度检验链接神经网络初始化权重设置链接第一周三次作业链接链接链接链接链接链接Mini-batch梯度下降法链接MomentumRMSpropAdam学习率衰减链接第二周作业链接链接超参数调试链接BatchNormBatch归一化链接链接softmax回归链接第三周作业链接链接
??18045080716·2023-11-16 21:11

深度学习笔记--基于C++手撕self attention机制

目录1--selfattention原理2--C++代码3--拓展3-1--maskselfattention3-2--crossattention1--selfattention原理直观来讲，就是每个token的Query去和其它token（包括自身）的Key进行dotproduct（点积）来计算权重weight，weight一般需要进行softmax归一化操作，然后将weight与每个toke
晓晓纳兰容若·2023-11-13 01:50

HALCON 21.11：深度学习笔记(1)

HALCON21.11：深度学习笔记(1)HALCON21.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。
机器视觉001·2023-11-12 16:45

HALCON 20.11：深度学习笔记(2)

HALCON20.11：深度学习笔记(2)HALCON20.11.0.0中，实现了深度学习方法。
机器视觉001·2023-11-12 16:15

HALCON 20.11：深度学习笔记(1)

HALCON20.11：深度学习笔记(1)HALCON20.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。
机器视觉001·2023-11-12 16:15

深度学习笔记（02）：神经网络的输入和输出

logistics回归，逻辑回归问题。图像在计算机中如何保存？要保存一张图像，要保存三个独立矩阵，对应三原色通道。如果输入图像大小是64×64大小的，那个矩阵的大小也是64×64的，而且是3个矩阵。要把矩阵中的像素值放到一个特征向量x中，这个x就表示了这张图像。向量x的总维度就是64×64×3。图片的特征向量x作为输入，预测输出的结果标签为y。用一个单独的(x,y)作为一个单独的输入样本。训练集由
qq_36346625·2023-11-11 10:57

深度学习笔记-014-目标检测基础知识

目标检测任务及发展脉络图像处理三大任务：物体识别、目标检测、图像分割目标检测：给定一张图像，判断图像中是否存在指定类别的目标，若存在，则输出目标位置、类别及置信度。目标检测的任务：目标检测属于多任务，一个任务是目标分类，另一个是目标位置的确定，即分类与回归目标检测发展历程如下图基于深层伸进网络的目标检测的两种分类：双阶段（twostage）：第一级网络用于候选区域提取；第二级网络对提取的候选区域进
地表最菜研究生·2023-11-11 06:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他