《动手学深度学习第11页

《动手学深度学习》学习笔记(三)

第三章深度学习基础一、线性回归模型：基于输入计算输出的表达式。训练模型：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小的过程。找到表达式的参数w1和w2以及b。训练数据：真实数据样本（sample）。标签标注（label）。预测标签的两个因素叫做特征(feature)。特征用来表征样本的特点。损失函数：衡量表达式预测值和真实值之间的误差。最小二乘法。训练模型就是希望基于训练数据找到一

xiaoyaolangwj·2023-06-10 08:51

module ‘torchvision.datasets‘ has no attribute ‘FashionMNIST‘

module'torchvision.datasets'hasnoattribute'FashionMNIST'问题报错问题解决问题报错我主要是在尝试运行动手学深度学习的代码时没有成功运行,显示如下报错

无你想你·2023-06-10 03:40

《动手学深度学习》学习笔记（三）

一、批量归一化和残差网络1.批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。2.对卷积层做批量归⼀化位置：卷积计算之后、应⽤激活函数之前。如果卷积

ying_0f5b·2023-06-09 22:49

【LSTM】读取时间序列数据 | 时间序列数据的小批量划分方法

（内容参考了李沐老师的动手学深度学习，简化这个问题，仅进行序列的切分，不区分特征和标签，二者逻辑基本一样）0数据展示及问题时间序

猴猴小扣·2023-06-09 17:36

深度学习神经网络基础知识(三)前向传播，反向传播和计算图

文章部分文字和代码来自《动手学深度学习》文章目录深度学习神经网络基础知识(三)前向传播反向传播计算图前向传播的计算图反向传播的计算图pytorch中的计算图前向

青云遮夜雨·2023-06-09 10:00

「动手学深度学习」过拟合、欠拟合及其解决方案

主要内容过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（trainingerror）和泛化误差（generalizationerror）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例

icebearC·2023-04-20 12:55

动手学深度学习(十一) NLP循环神经网络

循环神经网络本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量，用表示在时间步的值。的计算基于和，可以认为记录了到当前字符为止的序列信息，利用对序列的下一个字符进行预测。ImageName循环神经网络的构造我们先看循环神经网络的具体构造。假设是时间步的小批量输入，是该时间步的隐藏变量，则：

致Great·2023-04-20 10:06

动手学深度学习（day2）

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TT的词的序列w1,w2,…,wTw1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型，主要是nn元语法（nn-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。语言模型假设序列w1,w2,…,wTw1,w2

丁怡泽sns·2023-04-20 00:15

学习Pytorch遇到的一些问题（一）

基本介绍这周开始学习深度学习的部分知识，参考的书是《动手学深度学习》（PyTorch版），在操作过程中遇到一些小问题，记录一下问题和解决办法。

盛夏的猫宁·2023-04-19 04:49

动手学深度学习第4.8章某公式推导

这个公式是在计算神经网络中某个隐藏层神经元的输出oio_ioi的期望值E[oi]E[o_i]E[oi]和方差Var[oi]\mathrm{Var}[o_i]Var[oi]。为了简化讨论，我们假设前一层神经元的输出xjx_jxj和权重wijw_{ij}wij之间是独立的，并且它们的期望值为零，即E[xj]=0E[x_j]=0E[xj]=0和E[wij]=0E[w_{ij}]=0E[wij]=0。同时

我想要身体健康·2023-04-18 05:32

d2l无法下载外网文件

1.背景昨天在学习李沐大神的动手学深度学习里的55RNN模型代码时需要通过d2l.doad_data下载外网亚马逊网站里的文件，但是一直卡在了十二行，无法下载。

gcj_future·2023-04-17 09:48

李沐-动手学深度学习（2）模型选择、过拟合和欠拟合

【总结】训练数据集：训练模型参数；验证数据集：选择模型超参数。非大数据集上通常使用k-折交叉验证。模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合。统计机器学习提供数学工具来衡量模型复杂度。实际中一般靠观察训练误差和验证误差。一、模型选择1、训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差2、验证数据集和测试数据集验证数据集：用来评估模型好坏的数据集。不要跟训

minlover·2023-04-16 15:20

李沐-动手学深度学习（3）权重衰退和dropout

【总结】权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度。正则项权重是控制模型复杂度的超参数。丢弃法将一些输出项随机置0来控制模型复杂度。常作用在多层感知机的隐藏层输出上。丢弃概率是控制模型复杂度的超参数。（取0.5、0.9、0.1比较常见）一、权重衰退WeightDecay一种常见的处理过拟合的方法。（1）如何控制模型容量：把模型变的比较小，控制其中的参数比较少，或者控制参数值的选

minlover·2023-04-16 07:30

《动手学深度学习Pytorch版》Task7-优化算法进阶；word2vec；词嵌入进阶

优化算法进阶ill-conditioned海森矩阵(HessianMatrix)是一个多元函数的二阶偏导数构成的方阵，当海森矩阵的特征值中最大最小的比值很大时，就称之为ill-conditioned。梯度下降时，这种情况会使得不同参数收敛速度差异很大，不容易收敛。下图就是f(x)=0.1x12+2x22f(x)=0.1x_1^2+2x_2^2f(x)=0.1x12+2x22的梯度下降更新轨迹。可以

Tylor_ljh·2023-04-14 13:51

Task04: 动手学深度学习——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

（学习笔记，待补充）本文目录如下：1.机器翻译1.1机器翻译的概念2.注意力机制与Seq2seq模型3.Transformer1.机器翻译1.1机器翻译的概念顾名思义，机器翻译即将一段文本从一种语言自动翻译成另一种语言。那么机器翻译的难点在哪呢？其难点在于，输出序列的长度可能与源序列的长度是不同的。比如，将英文“IamChinese”翻译成中文“我是中国人”，输入是三个单词，输出则变为了5个字。针

且不了了·2023-04-13 22:31

《动手学深度学习》Yes，沐神，Yes

目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型[1611.06612]RefineNet:Multi-PathRefinementNetworksforHigh-ResolutionSemanticSegmentation(arxiv.org)：（1）two-stage方法，如R-CNN系算法，其主要思路是先通过启发式方法（selectivesearch）或者CNN网络（RPN)

羞儿·2023-04-12 20:54

附加调通《动手学深度学习》课堂数据加载代码，为目标检测实战作准备

在实验中【深一点学习】目标检测任务。从人工标注框开始，经过目标框的转换(xyxy,CxCyhw)，到回归于分类综合促成的目标检测结果和非极大值抑制的后处理方法的实现，原理分析，代码实践_羞儿的博客-CSDN博客以输入图像的每个像素为中心生成多个锚框。这些锚框是对输入图像不同区域的采样。然而，如果以图像每个像素为中心都生成锚框，很容易生成过多锚框而造成计算量过大。举个例子，假设输入图像的高和宽分别为

羞儿·2023-04-12 20:53

动手学深度学习2.3线性代数练习

矩阵转置常用知识点3.给定任意方阵A，A+A⊤总是对称的吗?为什么?4.本节中定义了形状(2;3;4)的张量X。len(X)的输出结果是什么？返回的是axis=0的值的大小5、对于任意形状的张量X,len(X)是否总是对应于X特定轴的⻓度?这个轴是什么?实验可知对应轴axis=06.运行A/A.sum(axis=1)，看看会发生什么。请分析一下原因？直接求和会使A降维，不同维度的矩阵之间是不能相乘

piolet0016·2023-04-12 14:11

[动手学深度学习-PyTorch版]-6.3循环神经网络-语言模型数据集（周杰伦专辑歌词）

6.3语言模型数据集（周杰伦专辑歌词）本节将介绍如何预处理一个语言模型数据集，并将其转换成字符级循环神经网络所需要的输入格式。为此，我们收集了周杰伦从第一张专辑《Jay》到第十张专辑《跨时代》中的歌词，并在后面几节里应用循环神经网络来训练一个语言模型。当模型训练好后，我们就可以用这个模型来创作歌词。6.3.1读取数据集首先读取这个数据集，看看前40个字符是什么样的。importtorchimpor

蒸饺与白茶·2023-04-12 09:41

[动手学深度学习-PyTorch版]-5.5卷积神经网络-卷积神经网络（LeNet）

5.5卷积神经网络（LeNet）在3.9节（多层感知机的从零开始实现）里我们构造了一个含单隐藏层的多层感知机模型来对Fashion-MNIST数据集中的图像进行分类。每张图像高和宽均是28像素。我们将图像中的像素逐行展开，得到长度为784的向量，并输入进全连接层中。然而，这种分类方法有一定的局限性。图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图

蒸饺与白茶·2023-04-12 02:19

[动手学深度学习-PyTorch版]-6.1循环神经网络-语言模型

6.1语言模型image.png语言模型可用于提升语音识别和机器翻译的性能。例如，在语音识别中，给定一段“厨房里食油用完了”的语音，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率，我们就可以根据相同读音的语音输出“厨房里食油用完了”的文本序列。在机器翻译中，如果对英文“yougofirst”逐词翻译成中文的话，可能得到

蒸饺与白茶·2023-04-12 02:11

【Datawhale动手学深度学习笔记】多层感知机代码实践

多层感知机激活函数激活函数（activationfunction）通过计算加权和并加上偏置来确定神经元是否应该被激活，它们将输入信号转换为输出的可微运算。大多数激活函数都是非线性的。由于激活函数是深度学习的基础，下面简要介绍一些常见的激活函数。#引入包%matplotlibinlineimporttorchfromd2limporttorchasd2lReLU函数x=torch.arange(-8

JeffDingAI·2023-04-11 22:39

【Datawhale动手学深度学习笔记】线性神经网络

线性神经网络线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。线性回归的基本元素线性回归（linearregression）可以追溯到19世纪初，它在回归的各种标准工具中最简单而且最流行。线性回归基于几个简单的假设：首先，假设自变量x\mathbf{x}x和因变量yyy之间的关系是线性的，即yy

JeffDingAI·2023-04-11 22:09

一篇文章搞定《动手学深度学习》-（李牧）PyTorch版本的所有内容

目录目录简介阅读指南1.深度学习简介2.预备知识3.深度学习基础4.深度学习计算5.卷积神经网络6.循环神经网络7.优化算法8.计算性能9.计算机视觉10.自然语言处理环境参考（大家可以在这里下载代码）原书地址（大家可以在这里阅读电子版PDF内容）引用阅读指南目录简介阅读指南1.深度学习简介2.预备知识2.1环境配置2.2数据操作2.3自动求梯度3.深度学习基础3.1线性回归3.2线性回归的从零开

M_Q_T·2023-04-11 13:38

[动手学深度学习-PyTorch版]-3.8深度学习基础-多层感知机

3.8多层感知机我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中，我们将以多层感知机（multilayerperceptron，MLP）为例，介绍多层神经网络的概念。3.8.1隐藏层多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hiddenlayer）。隐藏层位于输入层和输出层之间。图3.3展示了一个多层感知机的神经网络图，它含有一个

蒸饺与白茶·2023-04-11 12:36

[动手学深度学习-PyTorch版]-3.2深度学习基础-线性回归的从零开始实现

3.2线性回归的从零开始实现在了解了线性回归的背景知识之后，现在我们可以动手实现它了。尽管强大的深度学习框架可以减少大量重复性工作，但若过于依赖它提供的便利，会导致我们很难深入理解深度学习是如何工作的。因此，本节将介绍如何只利用Tensor和autograd来实现一个线性回归的训练。首先，导入本节中实验所需的包或模块，其中的matplotlib包可用于作图，且设置成嵌入显示。%matplotlib

蒸饺与白茶·2023-04-09 21:21

9.7. 序列到序列学习（seq2seq）实现机器翻译英语翻译法语

9.7.序列到序列学习（seq2seq）—动手学深度学习2.0.0documentation自用笔记稍后补充注意力机制版本1.读取数据集,或者词典vocab,有英语和法语vocab作为train_iter

Rondox·2023-04-09 05:55

动手学深度学习v2—01数据操作+数据预处理

此次用到的虚拟环境：pytorchmwy项目名称：limuAI所需框架和工具：pytorch，pandas一、创建CSV文件所需工具：pandas在与项目同等目录下创建一个文件夹名为data，其中文件名称为house_tiny.csv。代码如下：importosimportpandasaspdos.makedirs(os.path.join('..','data'),exist_ok=True)d

好喜欢吃红柚子·2023-04-09 02:23

最全的PyTorch学习资源汇总

M_Q_T·2023-04-08 03:49

深度学习入门：李沐（动手学深度学习）

ve2102388688·2023-04-08 03:16

【课程笔记】动手学深度学习(李沐)

网上找了下，笔记不多http://blog.csdn.net/quincuntial/article/details/78014194http://www.cnblogs.com/yifdu25/p/8358964.htmlhttp://blog.csdn.net/catalyst_zx/article/details/53204234http://blog.csdn.net/zswang9htt

你好joy·2023-04-08 03:15

动手学深度学习-（李牧）PyTorch版本

目录编辑目录1.深度学习简介2.预备知识3.深度学习基础4.深度学习计算5.卷积神经网络6.循环神经网络7.优化算法8.计算性能9.计算机视觉10.自然语言处理环境参考（大家可以在这里下载代码）原书地址（大家可以在这里阅读电子版PDF内容）引用阅读指南目录简介阅读指南1.深度学习简介2.预备知识2.1环境配置2.2数据操作2.3自动求梯度3.深度学习基础3.1线性回归3.2线性回归的从零开始实现3

M_Q_T·2023-04-08 03:06

李沐《动手学深度学习》课程笔记：11 模型选择 + 过拟合和欠拟合

目录11模型选择+过拟合和欠拟合1.模型选择2.过拟合和欠拟合3.代码11模型选择+过拟合和欠拟合1.模型选择2.过拟合和欠拟合3.代码#模型选择、欠拟合和过拟合#通过多项式拟合来交互地探索这些概念importmathimportnumpyasnpimporttorchimportmatplotlib.pyplotaspltfromtorchimportnnfromd2limporttorchas

非文的NLP修炼笔记·2023-04-07 21:42

11 模型选择 + 过拟合和欠拟合 + 代码实现 - 动手学深度学习v2

文章目录模型选择过拟合和欠拟合模型选择验证数据集和测试数据集（不要搞混了）K-则交叉验证过拟合和欠拟合

I"ll carry you·2023-04-07 21:11

动手学深度学习——从线性回归出发

最近正在参加一个公益AI课程，学习深度学习，打卡监督自己。由于刚开始学习pytorch和深度学习，进度比较慢，没有时间仔细写笔记，因此先简单列出提纲，以后再进行补充。本文目录如下：Task011.线性回归2.logistic回归3.softmax分类模型4.多层感知机Task021.文本预处理语言模型循环神经网络基础1.线性回归1.1线性回归的形式1.2平方损失函数如何衡量线性回归模型拟合得怎么样

且不了了·2023-04-07 16:00

[动手学深度学习-PyTorch版]-3.6深度学习基础-softmax回归从零开始实现

3.6softmax回归的从零开始实现这一节我们来动手实现softmax回归。首先导入本节实现所需的包或模块。importtorchimporttorchvisionimportnumpyasnpimportsyssys.path.append("..")#为了导入上层目录的d2lzh_pytorchimportd2lzh_pytorchasd2l3.6.1获取和读取数据我们将使用Fashion-

蒸饺与白茶·2023-04-07 09:24

卷积神经网络——各种网络的简洁介绍和实现

各种网络模型：来源《动手学深度学习》一，卷积神经网络（LeNet）LeNet分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。

瞳瞳瞳呀·2023-04-07 04:54

【动手学深度学习v2】深度学习介绍

1.深度学习介绍李沐B站：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/课件：https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_2.pdf1.AI

ch_ccc·2023-04-07 04:56

人工智能前沿知识

本来想着初试完学习一下李沐大神的《动手学深度学习》这本书的，但是时间仓促，完全来不及。只能先自行了解一些知识，之后再深入了解。

阿牛大牛中·2023-04-05 23:48

动手学深度学习-Fashion-MNIST数据集

动手学深度学习-Fashion-MNIST数据集一、读取数据集我们通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中。

Moonpie小甜饼·2023-04-05 22:54

Datawhale跟李沐大神合作举办 (动手学深度学习) !

三月的组队学习跟李沐大神合作举办(动手学深度学习)，欢迎感兴趣的小伙伴报名学习，另外，欢迎志同道合的小伙伴了解、加入Datawhale!跟李沐导师：动手学深度学习！

ZhemgLee·2023-04-05 09:47

BiSeNet V2出来了！72.6%的mIOU, 156FPS的速度！让分割飞起来！

“花书”深度学习圣经——动手学深度学习2.《计算机视觉深度学习入门》共5门视频3.

baobei0112·2023-04-04 19:51

《动手学深度学习》第四天2020-02-15

https://www.boyuai.com/elites/2)第二次打卡内容（2月15日-17日）截止打卡时间：2/17-22:00Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天）Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天）Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天）Task05难度

_a30a·2023-04-04 14:54

动手学深度学习(十四) NLP注意力机制和Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（contextvector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为定长

致Great·2023-04-04 10:53

【动手学深度学习】多层感知机的从零开始实现（含源代码）

目录：多层感知机的从零开始实现一、导包+读取数据二、初始化模型参数三、激活函数四、模型五、损失函数六、训练七、输出结果八、预测函数八、源代码现在让我们尝试自己实现一个多层感知机。为了与之前softmax回归获得的结果进行比较，我们将继续使用Fashion-MNIST图像分类数据集。一、导包+读取数据importtorchfromtorchimportnnfromd2limporttorchasd2

旅途中的宽~·2023-04-03 13:47

【动手学深度学习】多层感知机

多层感知机多层感知机的基本概念多层感知机从零开始实现流程图多层感知机的简洁实现流程图多层感知机的基本概念隐藏层线性模型可能会出错在网络中加入隐藏层从线性到非线性(激活函数)通用近似原理激活函数ReLU函数sigmoid函数tanh函数小结多层感知机在输出层和输入层之间增加一个或多个全连接隐藏层,并通过激活函数转换隐藏层的输出常见的激活函数包括ReLU函数、sigmoid函数和tanh函数多层感知机

xyy ss·2023-04-03 13:42

动手学深度学习：多层感知机

一、多层感知机的从零开始实现importtorchfromtorchimportnnfromd2limporttorchasd2lbatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)实现一个具有单隐藏层的多层感知机，它包含256个隐藏单元num_inputs,num_outputs,num_hidden

GeniusAng丶·2023-04-03 13:42

《动手学深度学习》（2）线性回归

目录线性回归线性模型衡量线性模型的预估值训练数据训练损失显示解小结基础优化方法梯度下降法小批量随机梯度下降小结线性回归从0实现线性回归简洁实现Softmax回归分类与回归从回归到多类分类Softmax和交叉熵损失总结损失函数图片分类数据集Softmax回归的实现线性回归线性模型线性模型可以看做是单层神经网络神经网络源于神经科学衡量线性模型的预估值平方损失:l(y,y^)=12(y−y^)2l(y,

坚持不懈的小白白·2023-04-03 13:11

《动手学深度学习》（1）安装及预备知识

目录《动手学深度学习》课程内容[1]亚马逊云新用户福利新实例创建多维数组1.N维数组是机器学习和神经网络的主要数据结构2.访问数组元素3.数据操作及数据预处理数据操作涉及到的知识点数据预处