《动手学深度学习

动手学深度学习——网络中的网络NIN

1、全连接层的问题卷积层需要较少的参数；但卷积层后的第一个全连接层的参数：LeNet16x5x5x120=48k；AlexNet256x5x5x4096=26M;VGG512x7x7x4096=102M;2、NIN块一个卷积层后跟两个全连接层，步幅1，无填充，输出形状跟卷积层输出一样，起到全连接层的作用。3、NIN结构无全连接层；交替使用NIN块和步幅为2的最大池化层，逐步减少高宽和增大通道数；最
橙子吖21·2023-10-19 18:59

深度学习——VGG与NiN网络

参考书：《动手学深度学习》一、使用块的网络（VGG）1.1.VGG块经典卷积
星石传说·2023-10-19 18:40

《动手学深度学习 Pytorch版》 9.2 长短期记忆网络（LSTM）

解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器（longshort-termmemory，LSTM）。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。9.2.1门控记忆元为了记录附加的信息，长短期记忆网络引入了与隐状态具有相同的形状的记忆元（memorycell），或简称为单元（cell）。为了控制记忆元
AncilunKiang·2023-10-19 17:06

《动手学深度学习》TensorFlow2.0版本

机器学习&深度学习入门精选&Python&Tensorflow&Pytorch对于刚入门深度学习的童鞋，这里分享下大神们开源的将《动手学深度学习》原书中MXNet代码实现改为TensorFlow2.0实现
Mr_不想起床·2023-10-19 17:35

《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）

我们可能会遇到这样的情况：早期观测值对预测所有未来观测值具有非常重要的意义。考虑一个极端情况，其中第一个观测值包含一个校验和，目标是在序列的末尾辨别校验和是否正确。在这种情况下，第一个词元的影响至关重要。我们希望有某些机制能够在一个记忆元里存储重要的早期信息。如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度，因为它会影响所有后续的观测值。一些词元没有相关的观测值。例如，在对网页内容
AncilunKiang·2023-10-19 17:26

深度学习——深度卷积神经网络（AlexNet)

参考书：《动手学深度学习》一、学习表征在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进
星石传说·2023-10-18 07:35

深度学习——含并行连接的网络（GoogLeNet）

参考书：《动手学深度学习》一、Inception块在GoogLeNet中，基本的卷积块被称为Inception块
星石传说·2023-10-18 07:35

深度学习——残差网络（ResNet）

本章主要学习残差网络参考书：《动手学深度学习》一、函数类首先，假设有一类特定的神经网络架构F
星石传说·2023-10-18 07:35

《动手学深度学习 Pytorch版》 8.7 通过时间反向传播

8.7.1循环神经网络的梯度分析本节主要探讨梯度相关问题，因此对模型及其表达式进行了简化，进行如下表示：ht=f(xt,ht−1,wh)ot=g(ht,wo)\begin{align}h_t&=f(x_t,h_{t-1},w_h)\\o_t&=g(h_t,w_o)\end{align}htot=f(xt,ht−1,wh)=g(ht,wo)参数字典：ttt表示时间步hth_tht表示时间步ttt的隐
AncilunKiang·2023-10-17 23:14

《动手学深度学习》(四) -- LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet 实现

上一小节学习了卷积神经网络的卷积层和池化层的实现，趁热打铁继续学习现代卷积神经网络的搭建，欢迎小伙伴们一起学习和交流~为了能够应⽤softmax回归和多层感知机，我们⾸先将每个⼤小为28×2828\times2828×28的图像展平为⼀个784维的固定⻓度的⼀维向量，然后⽤全连接层对其进⾏处理。而现在，我们已经掌握了卷积层的处理⽅法，可以在图像中保留空间结构。同时，⽤卷积层代替全连接层的另⼀个好处
长路漫漫2021·2023-10-17 23:38

Windows下深度学习环境配置(CPU&GPU版本)【李沐-动手学深度学习】

文章目录1.安装入门了解2.创建虚拟环境3.记事本与d2l软件包的安装终端中找不到d2l怎么办4.跑个实例试试吧5.JupyterNoteboo运行自己的代码6.参考资料1.安装入门了解直接看李沐老师的安装视频对于小白来说很劝退，强烈建议看看下面的视频，对环境配置中的软件与配置、安装与验证讲的非常清晰,有助于了解各软件之间的关联关系。【最详细的Windows下PyTorch入门深度学习环境安装与配
YprgDay·2023-10-15 19:43

《动手学深度学习 Pytorch版》 8.4 循环神经网络

8.4.1无隐状态的神经网络对于无隐藏装态的神经网络来说，给定一个小批量样本X∈Rn×d\boldsymbol{X}\in\mathbb{R}^{n\timesd}X∈Rn×d，则隐藏层的输出H∈Rn×h\boldsymbol{H}\in\mathbb{R}^{n\timesh}H∈Rn×h通过下式计算：H=ϕ(XWxh+bh)\boldsymbol{H}=\phi(\boldsymbol{XW}
AncilunKiang·2023-10-15 08:31

《动手学深度学习 Pytorch版》 8.5 循环神经网络的从零开始实现

%matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)
AncilunKiang·2023-10-15 08:28

《动手学深度学习 Pytorch版》 8.6 循环神经网络的简洁实现

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)8.6.1定义模型num_hiddens=256rnn
AncilunKiang·2023-10-15 08:51

【动手学深度学习-Pytorch版】BERT预测系列——BERTModel

本小节主要实现了以下几部分内容：从一个句子中提取BERT输入序列以及相对的segments段落索引（因为BERT支持输入两个句子）BERT使用的是Transformer的Encoder部分，所以需要需要使用Encoder进行前向传播：输出的特征等于词嵌入+位置编码+Encoder块用于BERT预训练时预测的掩蔽语言模型任务中的掩蔽标记用于预训练任务的下一个句子的预测——在为预训练生成句子对时，有一
い☞殘風☜、™·2023-10-15 08:21

【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集

本小节的主要任务即是将wiki数据集转成BERT输入序列，具体的任务包括：读取wiki数据集生成下一句预测任务的数据—>主要用于_get_nsp_data_from_paragraph函数从输入paragraph生成用于下一句预测的训练样本：_get_nsp_data_from_paragraph生成遮蔽语言模型任务的数据—>将生成的tokens的一部分随机换成masked的tokens，用于_g
い☞殘風☜、™·2023-10-15 07:45

深度学习自学2.0

理论基础:吴恩达的机器学习和深度学习2.代码基础：Python3.框架基础：pytorch4.搭建模型：霹雳叭啦/Bubbliiing/深度学习麋了鹿进阶：1.opencv数字图像处理夯实图像处理基础2.动手学深度学习李沐
咬树羊·2023-10-14 17:19

动手学深度学习之生成对抗网络

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/yxuHJjjhqYCh3thUzcVXaN
water19111213·2023-10-14 15:36

[动手学深度学习]生成对抗网络GAN学习笔记

论文原文：GenerativeAdversarialNets(neurips.cc)李沐GAN论文逐段精读：GAN论文逐段精读【论文精读】_哔哩哔哩_bilibiliIan,J.etal.(2014)'Generativeadversarialnetwork',NIPS'14:Proceedingsofthe27thInternationalConferenceonNeuralInformatio
夏莉莉iy·2023-10-14 15:58

动手学深度学习——线性神经网络

1.线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。当函数为未知参数的线性函数时，称为线性回归模型。1.1.线性模型线性假设是指目标可以表示为特征的加权和：y：预测结果x：元素特征w：权重，决定了每个特征对我们预测值的影响b：偏置，指当所有特征都取值为0时，预测值应该为多少将所有特征放到向量x
和星星作伴_·2023-10-14 11:39

《动手学深度学习 Pytorch版》 8.1 序列模型

到目前为止，我们遇到的数据主要是表格数据和图像数据，并且所有样本都是独立同分布的。然而，大多数的数据并非如此。比如语句中的单词、视频中的帧以及音频信号，都是有顺序的。简言之，如果说卷积神经网络可以有效地处理空间信息，那么本章的循环神经网络（recurrentneuralnetwork，RNN）则可以更好地处理序列信息。循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。
AncilunKiang·2023-10-12 06:37

《动手学深度学习 Pytorch版》 8.2 文本预处理

importcollectionsimportrefromd2limporttorchasd2l解析文本的常见预处理步骤：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。8.2.1读取数据集本文从H.G.Wells的《时光机器》一书的英文原著TheTimeMachine中加载文本，它只有30000多
AncilunKiang·2023-10-12 06:37

《动手学深度学习 Pytorch版》 8.3 语言模型和数据集

8.3.1学习语言模型依靠在8.1节中对序列模型的分析，可以在单词级别对文本数据进行词元化。基本概率规则如下：P(x1,x2,…,xT)=∏t=1TP(xt∣x1,…,xt−1)P(x_1,x_2,\dots,x_T)=\prod^T_{t=1}P(x_t|x_1,\dots,x_{t-1})P(x1,x2,…,xT)=t=1∏TP(xt∣x1,…,xt−1)例如，包含了四个单词的一个文本序列的概
AncilunKiang·2023-10-12 06:57

P1-P5_动手学深度学习-pytorch(李沐版，粗浅的笔记)

目录预告  1.学习深度学习的关键是动手  2.什么是《动手学深度学习》  3.曾经推出的版本（含github链接）一、课程安排  1.目标  2.内容  3.上课形式  4.你将学到什么  5.资源二
知乎云烟·2023-10-09 23:46

安装torchtext

在阅读pytroch版本的《动手学深度学习》第七章时，源码需要安装torchtext。
微凉的衣柜·2023-10-09 19:08

【动手学深度学习】课程笔记 00-03 深度学习介绍及环境配置

目录00-01课程安排02深度学习介绍深度学习实际应用的流程完整的故事03环境配置00-01课程安排1.学习了这门课，你将收获什么？深度学习的经典和最新模型：LeNet，ResNet，LSTM，BERT；机器学习基础：损失函数、目标函数、过拟合、优化；学习使用Pytorch实现上述知识点。2.这门课的主要学习内容？3.有哪些学习资源？（点击即可跳转）1.课程主页2.课程教材3.课程论坛4.Pyto
令夏二十三·2023-10-09 16:25

动手学深度学习Task3笔记

过拟合、欠拟合及其解决方法过拟合、欠拟合定义一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合影响过拟合、欠拟合的因素模型复杂度训练数据集大小一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内
GaryLi077·2023-10-07 16:18

[动手学深度学习-PyTorch版]-4.2深度学习计算-模型参数的访问、初始化和共享

4.2模型参数的访问、初始化和共享在3.3节（线性回归的简洁实现）中，我们通过init模块来初始化模型的参数。我们也介绍了访问模型参数的简单方法。本节将深入讲解如何访问和初始化模型参数，以及如何在多个层之间共享同一份模型参数。我们先定义一个与上一节中相同的含单隐藏层的多层感知机。我们依然使用默认方式初始化它的参数，并做一次前向计算。与之前不同的是，在这里我们从nn中导入了init模块，它包含了多种
蒸饺与白茶·2023-10-07 03:24

深度学习——深度学习计算二

参考书：《动手学深度学习》三、延后初始化框架的延后初始化（defersinitialization），即直到
星石传说·2023-10-06 21:23

[动手学深度学习]现代卷积神经网络AlexNet学习笔记

动手学深度学习-李沐：7.1.深度卷积神经网络（AlexNet）—动手学深度学习2.0.0documentation(d2l.ai)动手学深度学习-李沐（pdf）：zh-v2.d2l.ai/d2l-zh-pytorch.pdf
夏莉莉iy·2023-10-06 13:05

【Dive into Deep Learning |动手学深度学习（李沐）】4.4 模型选择、欠拟合和过拟合--学习笔记

目录训练误差和泛化误差验证数据集和测试数据集K-折交叉验证小结过拟合和欠拟合VC维线性分类器的VC维数据复杂度小结代码实现生成数据集对模型进行训练和测试三阶多项式函数拟合(正常)线性函数拟合(欠拟合)高阶多项式函数拟合(过拟合)总结训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差我们更关注泛化误差，而非训练误差。验证数据集和测试数据集验证数据集：一个用来评估模型好坏
爱吃白菜的金小妞·2023-10-05 18:19

李沐动手学深度学习-过拟合和欠拟合

模型容量拟合各种函数的能力低容量的模型难以拟合训练数据高容量的模型可以记住所有的训练数据模型容量的影响估计模型容量难以在不同的种类算法之间比较：例如树模型和神经网络给定一个模型的种类，将有两个主要因素：参数的个数，参数值的选择范围VC维统计学习理论的一个核心思想对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类。VC维的用处：提供为什么一个模型好的
啥都想学点的研究生·2023-10-05 18:18

【动手学深度学习-Pytorch版】Transformer代码总结

本文是纯纯的撸代码讲解，没有任何Transformer的基础内容~是从0榨干Transformer代码系列，借用的是李沐老师上课时讲解的代码。本文是根据每个模块的实现过程来进行讲解的。如果您想获取关于Transformer具体的实现细节（不含代码）可以转到李宏毅老师的录播课：油管需要~在Transformer代码实现部分，首先需要准备Encoder和Decoder中每个层需要用到的模块，包括Enc
い☞殘風☜、™·2023-10-05 14:20

关于李沐书籍中“15.7 自然语言推断：微调BERT”节代码问题总结

本人在学习李沐《动手学深度学习》第二版的15.7节中遇到了若干问题，这导致本人久久不能跑通代码，在搜索若干资料并进行调试之后终于将代码跑通。
摩洛哥没有披萨饼·2023-10-04 10:36

[笔记] 深度学习的部分专业名词

深度学习的部分专业名词最近输入有点多，输出太少了，整个文档记录一些小知识点，以后可能还会加一些来源于沐神的动手学深度学习的前言参数：类比旋钮，旋钮的转动可以调整程序的行为模型：任一调整参数后的程序模型族
来一粒4869·2023-09-30 13:55

手动搭建Bert模型并实现与训练参数加载和微调

参考《动手学深度学习》搭建BERT语言模型，并加载huggingface上的预训练参数。
动力澎湃·2023-09-30 13:02

动手学深度学习--基础知识上篇

动手学deeplearning☁️本专栏会定期更新关于动手学深度学习的每章知识点的讲解，题目答案如果喜欢，欢迎点赞，收藏动手学深度学习-预备知识篇线性代数篇1-3题讲解证明一个矩阵A\mathbf{A}
Li&&Tao·2023-09-28 10:28

李沐_动手学深度学习_19_卷积层

一、遇到的磕磕绊绊：1.一维数组和二维矩阵数据之间的区别：二、用到的一些代码：#备注，矩阵点乘就是A*Bimporttorchfromd2limporttorchasd2l#这个库是李沐自己写的，我去fromtorchimportnndefcorr(X,k):h,w=k.shapeY=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1))foriinrange(Y
诚威_lol_中大努力中·2023-09-25 22:01

【动手学深度学习-Pytorch版】循环神经网络-从零开始实现

"""导包并设置batch和steps大小"""importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#num_steps是输入的小批量句子的长度batch_size,num_steps=32,35#device=torch.device("cuda:0"iftorch
い☞殘風☜、™·2023-09-25 21:09

3.1 线性回归 【李沐动手学深度学习】

目录房价预测问题：一、房价预测问题：1.简化模型：假设1：卧室个数、卫生间个数、居住面积记为x1,x2,x3假设2：成交价是各因素加权和y=w1x1+w2x2+w3x3+b2.线性模型：线性模型可以看做是单层神经网络3.衡量预估质量平方损失：4.训练数据。5.参数学习6.显式解总结线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显式解线性回归可以看作单层神经网络
iCiven·2023-09-25 17:54

【动手学深度学习-Pytorch版】长短期记忆网络LSTM

LSTM参数说明以及网络架构图PS：时间仓促，有空补充内容~LSTM从零开始实现"""遗忘门：相当于一个橡皮擦，决定保留昨天的哪些信息输入门：相当于一个铅笔，再次根据昨天的记忆和今天的输入决定保留哪些信息输出门：用于控制记忆细胞更新时所使用的输入信息"""importtorchfromtorchimportnn,normalfromd2limporttorchasd2lbatch_size,num
い☞殘風☜、™·2023-09-25 14:42

【动手学深度学习-Pytorch版】门控循环单元GRU

关于GRU的笔记支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要，模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。formula：门是和隐藏状态同样的一个向量重置门：Rt=σ
い☞殘風☜、™·2023-09-25 13:39

【动手学深度学习-Pytorch版】机器翻译与数据集

importosimporttorchfromd2limporttorchasd2l"""下载和预处理数据集¶"""#@saved2l.DATA_HUB['fra-eng']=(d2l.DATA_URL+'fra-eng.zip','94646ad1522d915e7b0f9296181140edcf86a4f5')#@savedefread_data_nmt():"""载入英语-法语数据集"""
い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】注意力汇聚：Nadaraya-Watson 核回归

注意力机制中的查询、键、值在注意力机制的框架中包含了键、值与查询三个主要的部分，其中键与查询构成了注意力汇聚（有的也叫作注意力池化）。键是指一些非意识的线索，例如在序列到序列的学习中，特别是机器翻译，键是指除了文本序列自身信息外的其他信息，例如人工翻译或者语言学习情况。查询则是与键（非意识提示）相反的，它常被称为意识提示或者自主提示。这体现在文本序列翻译中，则是文本序列的context上下文信息，
い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】双向循环神经网络

importtorchfromtorchimportnnfromd2limporttorchasd2l#加载数据batch_size,num_steps,device=32,35,d2l.try_gpu()train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)#通过设置“bidirective=True”来定义双向LSTM
い☞殘風☜、™·2023-09-25 05:17

【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）

序言这一节是对于“编码器-解码器”模型的实际应用，编码器和解码器架构可以使用长度可变的序列作为输入，并将其转换为固定形状的隐状态（编码器实现）。本小节将使用“fra-eng”数据集（这也是《动手学习深度学习-Pytorch版》提供的数据集）进行序列到序列的学习。在d2l官方文档中有很多的内容是根据英文版直译过来的，其中有很多空乏的句子，特别是对于每个模块的描述中，下面我提供一种全新的思路来理解整个
い☞殘風☜、™·2023-09-25 05:17

[动手学深度学习-PyTorch版]-3.4深度学习基础-softmax回归

3.4softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。3.4.1分
蒸饺与白茶·2023-09-25 02:32

动手学深度学习（pytorch版）第二章-2.2数据预处理Note-pandas

1.创建importosos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:f.write('NumRooms,Alley,Price\n')#列名f.write('NA,Pave,1275
Wall-E99·2023-09-25 00:38

动手学深度学习（pytorch版）第二章2.1 Note-ndarray

1.入门x=torch.arange(12)//首先，我们可以使用`arange`创建一个行向量`x`。这个行向量包含以0开始的前12个整数，//它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素（element）x.shapex.numel()//如果只想知道张量中元素的总数X=x.reshape(3,4)torch.randn(3,4)//以下代码创建一个形状为（3,
Wall-E99·2023-09-25 00:37

动手学深度学习（pytorch版）第二章-2.3线性代数Note-linear-algebra

类型标量：仅包含一个数值被称为标量向量：向量可以被视为标量值组成的列表矩阵：正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。A=torch.arange(20).reshape(5,4)A.T//转置张量：是描述具有任意数量轴的n维数组的通用方法X=torch.arange(24).reshape(2,3,4)张量算法的基本性质张量与张量A=torch.arange(20,dtype=
Wall-E99·2023-09-25 00:36
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他