动手学深度学习

动手学深度学习笔记（1）

动手学深度学习深度学习简介深度学习简介举一个小的例子，如何编写一个程序，让机器识别我输入的图片是否有一只猫？我们需要哪些值来帮助我们确定？
peacefairy·2022-11-01 19:12

动手学深度学习笔记day4

softmax回归全连接层的参数开销对于任何具有个d输入和q个输出的全连接层，参数开销为o(dq)。softmax运算softmax函数将未规范化的预测变换为非负并且总和为1，同时要求模型保持可导。我们首先对每个未规范化的预测求幂，这样可以确保输出非负。为了确保最终输出的总和为1，我们再对每个求幂后的结果除以它们的总和。在预测过程中，我们可以用下式来选择最有可能的类别。损失函数交叉熵损失（cros
努力学习的廖同学·2022-11-01 19:10

重学《动手学深度学习》 —— 深度学习简介（第一章）笔记

深度学习简介本章地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter01_DL-intro/deep-learning-intro仅作为私人阅读笔记，欢迎讨论与分享简介机器学习和深度学习等数据科学方法可以看做是传统编程的逆向思考（以识别图中是否有猫为例）传统编程方法：编写函数，识别猫（编写函数实现需求）机器学习方法：先验的判断是否有猫，将源
妙脆角不妙了·2022-11-01 19:39

《动手学深度学习》笔记——深度学习简介

原文链接:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter01_DL-intro/deep-learning-intro机器学习与深度学习通俗来说，机器学习是一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的一类函数，它们的形式通常为多层神经网络。近年来，仰仗着大数据集和强大
洌泉_就这样吧·2022-11-01 19:39

李沐_动手学深度学习第7章优化算法_笔记

目录1.优化与深度学习1.1优化与深度学习的关系1.2优化在深度学习中的挑战2.梯度下降和随机梯度下降2.1一维梯度下降2.2学习率3.小批量随机梯度下降4.Adagrad算法5.RMSProp算法6.AdaDelta算法7.Adam算法1.优化与深度学习对于深度学习问题，我们通常会先定义损失函数。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的
爱敲代码的小雨·2022-11-01 19:38

李沐 《动手学深度学习》学习笔记 （5）第一章 预备知识 第三节 线性代数

1.3线性代数1.3.1标量#标量由只有一个元素的张量表示frommxnetimportnp,npxnpx.set_np()x=np.array(3.0)y=np.array(2.0)x+y,x*y,x/y,x**y(array(5.),array(6.),array(1.5),array(9.))1.3.2向量x=np.arange(4)xarray([0.,1.,2.,3.])len(x)4x
Artificial Idiots·2022-11-01 19:38

李沐动手学深度学习V2-基于注意力机制的seq2seq

一.基于注意力机制的seq2seq1.Bahdanau注意力介绍在前面博客李沐动手学深度学习V2-seq2seq和代码实现中探讨了基于seq2seq架构的机器翻译问题：通过设计一个基于两个循环神经网络的编码器
cv_lhp·2022-10-30 03:44

动手学深度学习Kaggle：图像分类 (CIFAR-10和Dog Breed Identification)

目录CIFAR-10获取并组织数据集下载数据集整理数据集组织数据集更一般的方式图像增广读取数据集torchvision.datasets.ImageFolder()的特点定义模型定义训练函数训练和验证模型对测试集进行分类并提交结果（补充）超参数调整DogBreedIdentification特点获取数据集整理数据集由字符型的类别标签得到数字类型的类别标签划分出验证集自定义数据集函数图像增广读取数据
iwill323·2022-10-28 20:57

No such operator image::read_file问题解决

在学习动手学深度学习这门课的时候，在13.6节⽬标检测数据集这一章遇到了问题，读取数据的时候报错：Nosuchoperatorimage::read_file网上有人说问题在于pytorch版本和torchvision
iwill323·2022-10-28 20:57

DAY2-《动手学深度学习》(PyTorch版)

Task03：过拟合和欠拟合一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。模型复杂度为了解释模型复杂度，我们以多项式函
小璇爱学习·2022-10-27 17:30

动手学深度学习PyTorch（五）：深度学习计算

1.模型构造1.1继承Module类来构造模型Module类是nn模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。下面继承Module类构造本节开头提到的多层感知机。这里定义的MLP类重载了Module类的__init__函数和forward函数。它们分别用于创建模型参数和定义前向计算。前向计算也即正向传播。importtorchfromtorchimpo
J_Xiong0117·2022-10-27 17:55

【动手学深度学习PyTorch版】16 经典卷积神经网络 LeNet

上一篇请移步【动手学深度学习PyTorch版】15池化层_水w的博客-CSDN博客目录一、LeNet1.1手写数字识别◼手写数字识别◼MNIST数据集1.2LeNet1、INPUT层-输入层2、C1层-
水w·2022-10-27 17:53

【动手学深度学习PyTorch版】15 池化层

上一篇请移步【动手学深度学习PyTorch版】14卷积层里的多输入多输出通道_水w的博客-CSDN博客目录一、池化层1.1池化层◼池化层原因◼二维最大池化1.2填充、步幅与多个通道1.3平均池化层1.4
水w·2022-10-27 17:53

【动手学深度学习PyTorch版】14 卷积层里的多输入多输出通道

目录一、卷积层里的多输入多输出通道1.1多输入多输出通道◼多个输入通道◼多输出通道◼1*1卷积核◼二维卷积层◼总结二、代码实现2.1输入与输出（使用自定义）◼多输入多输出通道互相关运算2.21X1卷积（使用自定义）2.31X1卷积（使用框架）一、卷积层里的多输入多输出通道1.1多输入多输出通道◼多个输入通道通常来说，我们会用到彩色图片，彩色图像一般是由RGB三个通道组成的。彩色图片一般会有更加丰富
水w·2022-10-27 17:23

动手学深度学习Pytorch（三）——卷积神经网络

文章目录1.参考资料2.图像卷积2.1互相关运算（cross-correlation）2.2学习卷积核2.3特征图和感受野3.填充和步幅（paddingandstride）3.1填充（padding）3.2步幅（stride）4.多输入多输出通道4.1多输入通道4.2多输出通道4.31×11\times11×1卷积层4.4二维卷积层5.池化层5.1最大池化层和平均池化层5.2超参数6.卷积层的超参
冠long馨·2022-10-27 17:50

动手学深度学习Pytorch版本学习笔记 Task 09

1.目标检测基础目标检测基础主要注意关于输入输出数据问题：两个术语:（1）真实边界框（ground-truthboundingbox）：通俗讲，ground-truthboundingbox也就是人工对数据集标注的边界框，也就是y_labels（2）锚框（anchorbox）：anchorbox是要计算的边框数值，也就是y_predict（最后计算和y_labels的loss）有以下几个主要参数：
夜灬凄美·2022-10-27 17:20

【动手学深度学习PyTorch版】12 卷积层

上一篇移步【动手学深度学习PyTorch版】11使用GPU_水w的博客-CSDN博客目录一、卷积层1.1从全连接到卷积◼回顾单隐藏层MLP◼Waldo在哪里？
水w·2022-10-27 17:18

【动手学深度学习PyTorch版】13 卷积层的填充和步幅

上一篇移步【动手学深度学习PyTorch版】12卷积层_水w的博客-CSDN博客目录一、卷积层的填充和步幅1.1填充1.2步幅1.3总结二、代码实现填充和步幅（使用框架）一、卷积层的填充和步幅1.1填充假设我们给出一个输入图像的大小为
水w·2022-10-27 11:54

【动手学深度学习PyTorch版】9 Kaggle房价预测

上一篇移步【动手学深度学习PyTorch版】8数值稳定性、模型初始化、激活函数_水w的博客-CSDN博客目录一、Kaggle房价预测一、Kaggle房价预测（1）下载数据集，使用pandas读入并处理数据
水w·2022-10-25 10:58

[课程笔记]（李沐-动手学深度学习）

文章目录矩阵计算标量导数亚导数梯度自动求导向量链式求导法则自动求导复杂度自动求导实现softmax回归+损失函数softmax回归损失函数QA权重衰退丢弃法Dropout从零开始实现dropout数值稳定性+模型初始化和激活函数数值稳定性——梯度消失和梯度爆炸梯度爆炸梯度消失如何让训练更加稳定？梯度消失和梯度爆炸的产生原因和解决办法？模型初始化和激活函数深度神经网络权值初始化的几种方式及为什么不能
初之代·2022-10-24 18:22

跟李沐学AI-动手学深度学习-现代卷积神经网络

深度卷积神经网络(AlexNet)深度学习之前最火的是机器学习：特征提取。选择核函数来计算相关性。凸优化问题。漂亮的定理。计算机视觉方面之前关注的不是机器学习而是几何学：抽取特征。描述几何（例如多相机），（非）凸优化。漂亮定理。假设满足了，效果很好。在十几年前，计算机视觉中最重要的是特征工程：特征工程是关键。特征描述子：SIFT，SURF。视觉词袋（聚类）。最后用SVM。数据集ImageNet(2
洋-葱·2022-10-24 18:50

动手学深度学习【李沐老师】 - - 学习路径

视频1：B站【直接进入】视频2：课程进入【点击视频回放即可】代码：对应代码窗口课件：课件ppt链接
Bessie_Lee·2022-10-24 18:50

跟李沐学AI-动手学深度学习-权重衰退+Dropout

目录权重衰退使用均方范数作为硬性限制使用均方范数作为柔性限制总结Dropout(丢弃法)动机无偏差的加入噪音使用丢弃法推理中的丢弃法总结权重衰退是最广泛使用的正则化的技术之一。使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量。通常不限制偏移b（因为限制与不限制的差别不大）。小的θ意味着更强的正则项。使用均方范数作为柔性限制对于每个θ，都可以找到λ使得之前的目标函数等价于下面可以通过拉
洋-葱·2022-10-24 18:19

跟李沐学AI-动手学深度学习-数值稳定性+模型初始化和激活函数

目录数值稳定性神经网络的梯度数值稳定性的常见两个问题例子：MLP梯度爆炸梯度爆炸的问题梯度消失梯度消失的问题总结让训练更加稳定让每层的方差是一个常数权重初始化例子：MLP正向方差反向均值和方差Xavier初始假设线性的激活函数反向检查常用激活函数总结数值稳定性神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度数值稳定性的常见两个问题梯度消失和梯度爆炸例子：MLP加入如下MLP（为了
洋-葱·2022-10-24 18:19

跟李沐学AI-动手学深度学习-感知机+多层感知机

目录感知机训练感知机收敛定理XOR问题总结多层感知机学习XOR单隐藏层单隐藏层-单分类激活函数sigmoid激活函数Tanh激活函数ReLU激活函数多类分类多隐藏层总结感知机给定输入x，权重w，和偏移b，感知机输出：二分类：-1或1。回归输出实数、softmax回归输出概率。训练感知机等价于使用批量大小为1的梯度下降，并使用如下的损失函数：收敛定理数据在半径r内。余量p分类为两类，对于，感知机保证
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-模型选择+过拟合和欠拟合

目录模型选择训练误差和泛化误差K-折交叉验证总结过拟合和欠拟合模型容量模型容量的影响估计模型容量VC维数据复杂度总结模型选择训练误差和泛化误差训练误差：模型在训练数据上的误差。泛化误差：模型在新数据上的误差。验证数据集：一个用来评估模型好坏的数据集。测试数据集：只用一次的数据集。K-折交叉验证在没有足够多数据时使用(这是常态)算法：将训练数据分割成K块，fori=1,....K.使用第i块作为验证
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-深度学习计算

深度学习计算文章目录深度学习计算层和块自定义块顺序块在正向传播函数中执行代码混搭各种组合块参数管理参数访问参数初始化自定义层读写文件GPU层和块单个神经元：接收一组输入。生成相应的标量输出。具有一组相关参数（这些参数可以更新以优化感兴趣的目标函数）。层：接受一组输入。生成相应的输出。有一组可调整参数描述。为了实现这些复杂的⽹络，我们引⼊了神经⽹络块的概念。块可以描述单个层、由多个层组成的组件或整个
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集

目录softmax回归回归VS分类从回归到多类分类从回归到多类分类-均方误差从回归到多类分类-无校验比例从回归到多类分类-校验比例softmax和交叉熵损失总结损失函数L2LossL1LossHuber'sRobustLosssoftmax回归虽然softmax的名字是回归，但是其实它是一个分类问题。回归VS分类回归估计一个连续值分类预测一个离散类别eg:MNIST：手写数字识别（10类）Imag
洋-葱·2022-10-24 18:48

跟李沐学AI-动手学深度学习-线性回归+基础优化算法

回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售销量）等。但不是所有的预测都是回归问题。目录线性回归e
洋-葱·2022-10-24 18:48

【跟李沐学AI—动手学深度学习 pytorch版】学习笔记

第12节权重衰减（待完善）下式为带正则项的优化函数，正则项会牵引着参数w尽量往零点移动。对上式计算梯度可得梯度更新为而ηλ\eta\lambdaηλ一般小于1，在深度学习中通常叫做权重衰减。
沐子乐事·2022-10-24 18:46

跟李沐学AI-动手学深度学习1

整体内容神经网络可以理解为是一种语言数学和代码的结合，道术结合，关键在动手是什么，怎么做，为什么这样发展知识和应用广告点击预测三个步骤预测和训练模型控制广告展现数据格式0维，1维，2维图片，批量图片，视频多了时间维度形状，类型，值区域跳着访问形状至少是一维的，x.numel是元素个数创建全0或者全1通过python本身的数据格式创建加减乘除以及拼接所有元素求和，是标量两个不同维度的数据怎么相加，广
愚昧之山绝望之谷开悟之坡·2022-10-24 18:15

《动手学深度学习》环境搭建全程详细教程 window用户

一、下载并安装Miniconda第一步是根据操作系统下载并安装Miniconda,在安装过程中需要勾选“AddAnacondatothesystemPATHenvironmentvariable"选项（如当conda版本为4.6.14时）第二步安装完成后，打开anacondaprompt这个终端（安装miniconda的时候会自动安装到你电脑上），然后分别执行如下命令，将conda和pip的软件源
溶~月·2022-10-23 07:38

Word2Vec(Skip-Gram和CBOW) - PyTorch

动手学深度学习笔记一、词嵌入(Word2vec)1.Skip-Gram2.CBOW模型二、负采样和分层softmax1.负采样2.分层Softmax三、用于预训练词嵌入的数据集1.下采样2.中心词和上下文词的提取
葫芦娃啊啊啊啊·2022-10-21 20:06

LeNet | AlexNet | VGG | NiN | GoogLeNet | ResNet | DenseNet (CNN模型) - PyTorch

动手学深度学习-卷积神经网络笔记一、LeNet二、深度卷积神经网络(AlexNet)三、使用块的网络(VGG)四、网络中的网络(NiN)五、含并行连结的网络(GoogLeNet)六、残差网络(ResNet
葫芦娃啊啊啊啊·2022-10-21 15:22

【动手学深度学习】3 Softmax 回归 + 损失函数

上一篇移步【动手学深度学习PyTorch版】2线性回归_水w的博客-CSDN博客目录一、线性回归的简洁实现1.1.生成数据集1.2.读取数据集1.3.定义模型1.4.初始化模型参数1.5.定义损失函数1.6
水w·2022-10-20 22:50

【公开课】李沐大佬：深度学习论文精读

李沐大神新作：用梯度下降来优化人生亚马逊首席科学家李沐博士：工作五年反思也推荐过他的著作：全球175所大学教材：《动手学深度学习》(中文版下载)可能还有同学不知道李沐，这里简单介绍一下他的履历。
机器学习算法与Python实战·2022-10-18 14:06

李沐动手学深度学习V2-transformer和代码实现

一.tansfomer1.介绍自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。
cv_lhp·2022-10-18 14:35

08 线性回归 动手学深度学习 PyTorch版 李沐视频课笔记

动手学深度学习PyTorch版李沐视频课笔记李沐视频课笔记其他文章目录链接(不定时更新)文章目录动手学深度学习PyTorch版李沐视频课笔记一、线性回归从零开始实现1.根据带有噪声的线性模型构造一个人造数据集
认真学习的小张·2022-10-16 10:51

【动手学深度学习PyTorch版】1 前期知识

目录前言：安装torch一、前期知识◼数据操作◼数据预处理◼线性代数知识#标量#向量#矩阵前言：安装torch参考博客pythonAnaconda以及pytorch下载安装，在jupternotebook中执行代码_水w的博客-CSDN博客AI地图：一、前期知识◼数据操作（1）访问张量形状①可以通过张量的shape属性来访问张量的形状和张量中元素的总数。（2）改变张量形状①要改变一个张量的形状而不
水w·2022-10-16 10:50

动手学深度学习——线性回归之利用PyTorch框架简洁实现

线性回归的简洁实现在过去的几年里，出于对深度学习强烈的兴趣，许多公司、学者和业余爱好者开发了各种成熟的开源框架。这些框架可以自动化基于梯度的学习算法中重复性的工作。在上面我们只运用了：（1）通过张量来进行数据存储和线性代数；（2）通过自动微分来计算梯度。实际上，由于数据迭代器、损失函数、优化器和神经网络层很常用，现代深度学习库也为我们实现了这些组件。在本节中，我们将介绍如何通过使用深度学习框架来简
时生丶·2022-10-16 10:50

【深度学习】动手学深度学习 pytorch版

目录线性回归softmax回归线性回归我们构造⼀个简单的⼈⼯训练数据集，它可以使我们能够直观⽐较学到的参数和真实的模型参数的区别。设训练数据集样本数为1000，输⼊个数（特征数）为2。我们使用随机生成的样本数据X、线性回归模型的真实权重w=[2,−3.4]Tw={[2,-3.4]}^Tw=[2,−3.4]T,偏执项b=4.2b=4.2b=4.2，随机噪声σ\sigmaσ来生成标签。具体公式：y=X
可乐大牛·2022-10-16 10:20

动手学深度学习pytorch版练习解答-3.3线性回归的简洁实现

如果将小批量的总损失替换为小批量损失的平均值，你需要如何更改学习率？解：默认的其实就是平均值(meansquared)，问题问得不对，要反过来做。学习率除batch_size即可查看深度学习框架⽂档，它们提供了哪些损失函数和初始化⽅法？⽤Huber损失代替原损失，即提供的loss如下图所示，如果需要具体了解可以使用help(torch.nn.xxxLoss)或者百度查询#huber损失对应Pyto
Innocent^_^·2022-10-16 10:50

动手学深度学习pytorch版练习解答—3.1线性回归

第一问和第三问最后一小题都是开放性题目，有很多角度去思考和回答。希望我的这份参考能为您的学习带来帮助，您的指正对我而言也是大有裨益。假设我们有⼀些数据x1,...,xn∈R。我们的⽬标是找到⼀个常数b，使得最小化∑i(xi−b)2\sum_{i}(x_i-b)^2∑i(xi−b)2（1）找到最优值b的解析解。（2）这个问题及其解与正态分布有什么关系?2.推导出使⽤平⽅误差的线性回归优化问题的解析解
Innocent^_^·2022-10-16 10:49

动手学深度学习pytorch版练习解答——3-2线性回归的从零开始实现

练习如果我们将权重初始化为零，会发⽣什么。算法仍然有效吗？\qquad解：全0初始化也是常用的一个选择，跟正态分布初始化相比可能会走向不同的局部最优点，算法还是有效的。假设你是乔治·西蒙·欧姆，试图为电压和电流的关系建⽴⼀个模型。你能使⽤⾃动微分来学习模型的参数吗?\qquad解：题例中电流当做features，电压当做labels，描点绘图后发现二者呈线性关系，再用书上的代码走一遍即可。您能基于
Innocent^_^·2022-10-16 10:49

【动手学深度学习PyTorch版】2 线性回归

参考视频按特定轴求和_哔哩哔哩_bilibili目录一、自动求导◼相关知识#计算图#反向累积◼自动求导代码实现二、线性回归◼举例：房价预测#线性回归模型#训练数据#参数学习#显示解（最优解）#线性回归总结三、单元线性回归实现：糖尿病例子◼生成数据集#np.newaxis#比较两个数组是否等同#随机采样#将数组打乱随机排列◼训练集与测试集的划分◼训练数据四、线性回归从0开始实现（使用自定义）4.1生
水w·2022-10-16 10:19

动手学深度学习Pytorch（二）——线性回归

文章目录1.基础知识1.1线性模型1.2模型评估1.3模型训练1.4优化方法——梯度下降小批量随机梯度下降2.代码2.1构造人为数据集2.2构造Pytorch数据迭代器2.3初始化模型2.4模型训练代码总结参考资料1.基础知识1.1线性模型线性模型可以看做是单层神经网络。给定n维输入x=[x1,x2,⋯ ,xn]Tx=[x_1,x_2,\cdots,x_n]^Tx=[x1,x2,⋯,xn]T，线性
冠long馨·2022-10-16 10:19

《动手学深度学习+PyTorch》3.2线性回归的从零开始实现 学习笔记

文章目录一、d2lzh_pytorch包二、生成数据集二、画出数据集的散点图三、读取数据四、模型初始化及训练五、训练结果总结一、d2lzh_pytorch包《动手学深度学习+PyTorch》配套的GitHub
稚晖君的小弟·2022-10-16 10:19

【深度学习】浅析二维卷积层

文章目录二维互相关运算二维卷积层互相关运算和卷积运算特征图和感受野简单的边缘检测试验本文为《动手学深度学习》一书学习笔记，原文地址：http://zh.d2l.ai/chapter_convolutional-neural-networks
Beb1997·2022-10-16 07:11

矩阵求导的本质与分子布局、分母布局的本质（一）

在开始学习之前，我们引入《动手学深度学习》里面的一个实例：对于前两个求导式，第一印象是不是感觉写反了？
旅途中的宽~·2022-10-13 14:54

Pytorch 语言模型和数据集

Pytorch语言模型和数据集0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解
哇咔咔负负得正·2022-10-12 07:55
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他