《动手学深度学习》自学之路第8页

【动手学深度学习-Pytorch版】Transformer代码总结

本文是纯纯的撸代码讲解，没有任何Transformer的基础内容~是从0榨干Transformer代码系列，借用的是李沐老师上课时讲解的代码。本文是根据每个模块的实现过程来进行讲解的。如果您想获取关于Transformer具体的实现细节（不含代码）可以转到李宏毅老师的录播课：油管需要~在Transformer代码实现部分，首先需要准备Encoder和Decoder中每个层需要用到的模块，包括Enc

い☞殘風☜、™·2023-10-05 14:20

我在多邻国上的第一只猫头鹰

后来知道了世界语，开始了世界语的自学之路。结果从我开始世界学习到今天，断断续续有三个月时间。现在我终于在多邻国上得到了第一只通关猫头鹰--结束了我的世界语课程。

Cathyagony·2023-10-05 14:15

关于李沐书籍中“15.7 自然语言推断：微调BERT”节代码问题总结

本人在学习李沐《动手学深度学习》第二版的15.7节中遇到了若干问题，这导致本人久久不能跑通代码，在搜索若干资料并进行调试之后终于将代码跑通。

摩洛哥没有披萨饼·2023-10-04 10:36

什么是bean

chenli0707·2023-10-03 16:21

[笔记] 深度学习的部分专业名词

深度学习的部分专业名词最近输入有点多，输出太少了，整个文档记录一些小知识点，以后可能还会加一些来源于沐神的动手学深度学习的前言参数：类比旋钮，旋钮的转动可以调整程序的行为模型：任一调整参数后的程序模型族

来一粒4869·2023-09-30 13:55

手动搭建Bert模型并实现与训练参数加载和微调

参考《动手学深度学习》搭建BERT语言模型，并加载huggingface上的预训练参数。

动力澎湃·2023-09-30 13:02

动手学深度学习--基础知识上篇

动手学deeplearning☁️本专栏会定期更新关于动手学深度学习的每章知识点的讲解，题目答案如果喜欢，欢迎点赞，收藏动手学深度学习-预备知识篇线性代数篇1-3题讲解证明一个矩阵A\mathbf{A}

Li&&Tao·2023-09-28 10:28

李沐_动手学深度学习_19_卷积层

一、遇到的磕磕绊绊：1.一维数组和二维矩阵数据之间的区别：二、用到的一些代码：#备注，矩阵点乘就是A*Bimporttorchfromd2limporttorchasd2l#这个库是李沐自己写的，我去fromtorchimportnndefcorr(X,k):h,w=k.shapeY=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1))foriinrange(Y

诚威_lol_中大努力中·2023-09-25 22:01

【动手学深度学习-Pytorch版】循环神经网络-从零开始实现

"""导包并设置batch和steps大小"""importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#num_steps是输入的小批量句子的长度batch_size,num_steps=32,35#device=torch.device("cuda:0"iftorch

い☞殘風☜、™·2023-09-25 21:09

3.1 线性回归【李沐动手学深度学习】

目录房价预测问题：一、房价预测问题：1.简化模型：假设1：卧室个数、卫生间个数、居住面积记为x1,x2,x3假设2：成交价是各因素加权和y=w1x1+w2x2+w3x3+b2.线性模型：线性模型可以看做是单层神经网络3.衡量预估质量平方损失：4.训练数据。5.参数学习6.显式解总结线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显式解线性回归可以看作单层神经网络

iCiven·2023-09-25 17:54

【动手学深度学习-Pytorch版】长短期记忆网络LSTM

LSTM参数说明以及网络架构图PS：时间仓促，有空补充内容~LSTM从零开始实现"""遗忘门：相当于一个橡皮擦，决定保留昨天的哪些信息输入门：相当于一个铅笔，再次根据昨天的记忆和今天的输入决定保留哪些信息输出门：用于控制记忆细胞更新时所使用的输入信息"""importtorchfromtorchimportnn,normalfromd2limporttorchasd2lbatch_size,num

い☞殘風☜、™·2023-09-25 14:42

【动手学深度学习-Pytorch版】门控循环单元GRU

关于GRU的笔记支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要，模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。formula：门是和隐藏状态同样的一个向量重置门：Rt=σ

い☞殘風☜、™·2023-09-25 13:39

【动手学深度学习-Pytorch版】机器翻译与数据集

importosimporttorchfromd2limporttorchasd2l"""下载和预处理数据集¶"""#@saved2l.DATA_HUB['fra-eng']=(d2l.DATA_URL+'fra-eng.zip','94646ad1522d915e7b0f9296181140edcf86a4f5')#@savedefread_data_nmt():"""载入英语-法语数据集"""

い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】注意力汇聚：Nadaraya-Watson 核回归

注意力机制中的查询、键、值在注意力机制的框架中包含了键、值与查询三个主要的部分，其中键与查询构成了注意力汇聚（有的也叫作注意力池化）。键是指一些非意识的线索，例如在序列到序列的学习中，特别是机器翻译，键是指除了文本序列自身信息外的其他信息，例如人工翻译或者语言学习情况。查询则是与键（非意识提示）相反的，它常被称为意识提示或者自主提示。这体现在文本序列翻译中，则是文本序列的context上下文信息，

い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】双向循环神经网络

importtorchfromtorchimportnnfromd2limporttorchasd2l#加载数据batch_size,num_steps,device=32,35,d2l.try_gpu()train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)#通过设置“bidirective=True”来定义双向LSTM

い☞殘風☜、™·2023-09-25 05:17

【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）

序言这一节是对于“编码器-解码器”模型的实际应用，编码器和解码器架构可以使用长度可变的序列作为输入，并将其转换为固定形状的隐状态（编码器实现）。本小节将使用“fra-eng”数据集（这也是《动手学习深度学习-Pytorch版》提供的数据集）进行序列到序列的学习。在d2l官方文档中有很多的内容是根据英文版直译过来的，其中有很多空乏的句子，特别是对于每个模块的描述中，下面我提供一种全新的思路来理解整个

い☞殘風☜、™·2023-09-25 05:17

[动手学深度学习-PyTorch版]-3.4深度学习基础-softmax回归

3.4softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。3.4.1分

蒸饺与白茶·2023-09-25 02:32

动手学深度学习（pytorch版）第二章-2.2数据预处理Note-pandas

1.创建importosos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:f.write('NumRooms,Alley,Price\n')#列名f.write('NA,Pave,1275

Wall-E99·2023-09-25 00:38

动手学深度学习（pytorch版）第二章2.1 Note-ndarray

1.入门x=torch.arange(12)//首先，我们可以使用`arange`创建一个行向量`x`。这个行向量包含以0开始的前12个整数，//它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素（element）x.shapex.numel()//如果只想知道张量中元素的总数X=x.reshape(3,4)torch.randn(3,4)//以下代码创建一个形状为（3,

Wall-E99·2023-09-25 00:37

动手学深度学习（pytorch版）第二章-2.3线性代数Note-linear-algebra

类型标量：仅包含一个数值被称为标量向量：向量可以被视为标量值组成的列表矩阵：正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。A=torch.arange(20).reshape(5,4)A.T//转置张量：是描述具有任意数量轴的n维数组的通用方法X=torch.arange(24).reshape(2,3,4)张量算法的基本性质张量与张量A=torch.arange(20,dtype=

Wall-E99·2023-09-25 00:36

动手学深度学习V2___截图

Beforedivingintodeeplearningresearch,it’sbeneficialtohaveasolidfoundationinseveralkeyareas.Herearesometopicsyoushouldconsidermastering:Mathematics:Deeplearningreliesheavilyonmathematicalconceptssuchas

ShCDNay·2023-09-24 16:09

动手学深度学习_个人笔记01_李沐（更新中......）

序言神经网络——本书中关注的DL模型的前身，被认为是过时的工具。深度学习在近几年推动了CV、NLP和ASR等领域的快速发展。关于本书让DL平易近人，教会概念、背景和代码。一种结合了代码、数学和HTML的媒介测试深度学习（DL）的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用DL需要同时了解：（1）以特定方式提出问题的动机；（2）给定建模方法的数学；（3）将模型拟合数据的优化

ShCDNay·2023-09-24 16:39

解决d2l在anaconda经常安装失败的问题

李沐老师《动手学深度学习》配套一个d2l-zh用来学习非常方便，但是经常出现下载d2l失败的问题anaconda安装时大部分的库已经下好了，直接pipinstalld2l经常出现版本冲突采用最直接的办法在

wwse·2023-09-24 16:28

《动手学深度学习 Pytorch版》 7.6 残差网络(ResNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.6.1函数类如果把模型看作一个函数，我们设计的更强大的模型则可以看作范围更大的函数。为了使函数能逐渐靠拢到最优解，应尽量使函数嵌套，以减少不必要的偏移。如下图，更复杂的非嵌套函数不一定能保证更接近真正的函数。只有当较复杂的函数类包含

AncilunKiang·2023-09-23 15:57

《动手学深度学习 Pytorch版》 7.4 含并行连接的网络(GoogLeNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.4.1Inception块GoogLNet中的基本卷积块叫做Inception块（大概率得名于盗梦空间），由4条并行路径组成。前3条路径使用窗口大小为1×11\times11×1、3×33\times33×3和5×55\times5

AncilunKiang·2023-09-23 15:56

《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征，然后用全连接层对特征进行处理。AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络（NiN）则是在每个像素的通道上分别使用多层感知机。importtorchfromtorchimportnnfromd2limporttorchasd2l7.3.1NiNNiN的想法是在每个像素位置应用一个全连接

AncilunKiang·2023-09-23 15:25

《动手学深度学习 Pytorch版》 7.5 批量规范化

7.5.1训练深层网络训练神经网络的实际问题：数据预处理的方式会对最终结果产生巨大影响。训练时，多层感知机的中间层变量可能具有更广的变化范围。更深层的网络很复杂容易过拟合。批量规范化对小批量的大小有要求，只有批量大小足够大时批量规范化才是有效的。用x∈B\boldsymbol{x}\inBx∈B表示一个来自小批量BBB的输入；$\hat{\boldsymbol{\mu}}_B$表示小批量BBB的样

AncilunKiang·2023-09-23 09:14

自学笔记：python+opencv针对蓝色来进行简单的车牌定位

自学笔记：python+opencv针对蓝色来进行简单的车牌定位图像处理的自学之路车牌定位看了几个其他人的文章，综合选取了几个方法凑在一起。

狂热的蜗牛·2023-09-22 09:19

《动手学深度学习》（pytorch版+mxnet版）2023最新

这本书就是李沐、阿斯顿·张、立顿、斯莫拉四位大佬联合编写的《动手学深度学习》。本书面向中文读者，能运行、可讨论，适合本科生、研究生、工程师以及研究人员学习。

深度之眼·2023-09-21 11:20

2022-03-30

我的单片机自学之路备忘前言说来话长，自己对单片机的学习一直以来都是很向往，但总是认为很难很难，总是望而止步。

瑶琪_e1af·2023-09-21 08:23

【DL】使用pytorch从零实现线性回归

1.线性回归简介此内容主要依据李沐老师的《动手学深度学习》课程，同时结合了网络上其它资料和自己的理解。

None072·2023-09-20 04:29

《动手学深度学习 Pytorch版》 7.2 使用块的网络(VGG)

importtorchfromtorchimportnnfromd2limporttorchasd2l7.2.1VGG块AlexNet没有提供一个通用的模板来指导后续的研究人员设计新的网络，如今研究人员转向了块的角度思考问题。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。经典的卷积神经网络的基本组成部分如下：-带填充以保持分辨率的卷积层-非线性激活层-汇聚层V

AncilunKiang·2023-09-20 03:53

动手学深度学习 Task02:文本预处理；语言模型；循环神经网络基础

【一】文本预处理此次将讨论文本数据的常见预处理步骤，旨在将文本信息从人类语言转换为机器可读格式以便于后续处理。文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个基本步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H.G.Well的TimeMachine，作为示例，展示文本预处理

周周儿_zHoU·2023-09-19 18:01

动手学深度学习PyTorch版--Task2--文本预处理；语言模型；循环神经网络基础

一.文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型1.读入文本importcollectionsimportredefread_time_machine():#open函数打开文本文件，创建文件

华尔街的幻觉·2023-09-19 18:29

【动手学习深度学习v2】循环神经网络-2.文本预处理

上一篇：【动手学深度学习V2】循环神经网络-1.序列模型文章目录2.文本预处理2.1读取数据集2.2词元化2.3词表2.4整合2.文本预处理序列数据的多种形式中，文本数据是最常见的一种，在英文文本中一篇文章或者一段句子可以看做一串单词序列

紫色银杏树·2023-09-19 18:27

动手学深度学习-文本预处理；语言模型；循环神经网络基础

一、文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型其中建立字典需要经过的步骤为：去重，统计词频筛掉部分词添加一些特殊的token将token映射到唯一索引将索引映射到token二、语言模型一段自然语言文本可以看

sjtucq·2023-09-19 18:26

pycharm笔记-动手学深度学习（李沐）线性代数课后习题

1.证明一个矩阵的转置的转置是，即(⊤)⊤=(A⊤)⊤=A。#创建一个5*4的矩阵importtorchA=torch.arange(20).reshape(5,4)print(A.T.T==A)2.给出两个矩阵和，证明“它们转置的和”等于“它们和的转置”，即⊤+⊤=(+)⊤A⊤+B⊤=(A+B)⊤A=torch.arange(12).reshape(3,4)B=torch.arange(12,2

幸运的的飞起·2023-09-19 17:12

李沐《动手学深度学习》笔记3-线性代数

标量向量长度：二范数点积正交矩阵线性代数的本质：矩阵是一个扭曲的空间F范数：对称，反对称，正定，正交置换矩阵特征向量，特征值此处不被改变指方向，与大小无关。importtorchx=torch.tensor([3.0])x=torch.arange(4)len(x)#4x[3]#tensor(3)x.shape#torch.Size([4])A=torch.arange(20).reshape(5

暄染落墨·2023-09-19 17:41

我的自学之路（python）007----纸上得来终觉浅，绝知此事需躬行

第一天的作业耗费了12小时，因为如同看天书一般。但之后的学习，写作业，就好像打了鸡血一般，效率杠杠的。仔细想了原因，大概就是心里已经接受一件事，那就是遇到不会的问题时是正常的，不久的将来一定会熟练掌握的。于是，心理突破了，脑子和手并用，完成作业的速度就提上来了。再加上，我不再以借鉴代码为耻，目的就是为了学习，我再借鉴的基础上再加上自己的理解，现在已经能够写出代码的一大部分了。现在看看我写的东西，好

濃姫·2023-09-19 09:26

41 物体检测和数据集【动手学深度学习v2】(笔记)

一、物体检测1、图片分类->目标检测（应用更多：无人车、无人售货）-图片里是有主体，识别感兴趣的物体2、边缘框的两种表示方法3、目标检测中常用的数据集是COCO4、总结：物体检测识别图片里的多个物体的类别和位置-位置通常用边缘框表示-有两种表示方法，一种是左上+右下坐标，一种是左上+宽和高二、边缘框实现三、数据集

hlllllllhhhhh·2023-09-19 05:10

Java自学之路（转）

转载自：http://blog.csdn.net/anlidengshiwei/article/details/42264301JAVA自学之路一:学会选择为了就业，不少同学参加各种各样的培训。

Ricardo_Lee·2023-09-19 01:45

生物的神经系统与机器的人工神经网络

区别:总结前言因为本人是学生物的，并且深度学习的核心——人工神经网络与生物的神经系统息息相关，故想要在本章探讨一下生物的神经系统与机器的人工神经网络这两者之间的关系参考文献：从生物神经元到人工神经元《动手学深度学习

星石传说·2023-09-18 23:18

李宏毅hw-6利用GAN生成动漫图像

一、查漏补缺、熟能生巧：1.什么是转置卷积convTranspose、以及这种转置卷积怎么使用：（1）具体的原理直接看李沐老师的那个演示，非常清晰：47转置卷积【动手学深度学习v2】_哔哩哔哩_bilibili

诚威_lol_中大努力中·2023-09-18 22:14

《动手学深度学习 Pytorch版》 7.1 深度卷积神经网络(LeNet)

7.1.1学习表征深度卷积神经网络的突破出现在2012年。突破可归因于以下两个关键因素：缺少的成分：数据数据集紧缺的情况在2010年前后兴起的大数据浪潮中得到改善。ImageNet挑战赛中，ImageNet数据集由斯坦福大学教授李飞飞小组的研究人员开发，利用谷歌图像搜索对分类图片进行预筛选，并利用亚马逊众包标注每张图片的类别。这种数据规模是前所未有的。缺少的成分：硬件2012年，AlexKrizh

AncilunKiang·2023-09-18 16:10

《动手学深度学习 Pytorch版》 6.3 填充和步幅

6.3.1填充虽然我们用的卷积核较小，每次只会丢失几像素，但是如果应用多层连续的卷积层，累积的像素丢失就会很多。解决此问题的方法为填充。填充后的输出形状将为(nh−kh+ph+1)×(nw−kw+pw+1)(n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)(nh−kh+ph+1)×(nw−kw+pw+1)importtorchfromtorchimportnndefcomp_

AncilunKiang·2023-09-18 12:17

跟着李沐学AI（动手学深度学习 PyTorch版）学习笔记——03安装（环境配置d2l、pytorch）（python3.7版本+Windows+各种问题解决措施）

第一步：根据操作系统下载并安装Miniconda1.下载Miniconda下载地址2.在安装过程中需要勾选“AddAnacondatothesystemPATHenvironmentvariable”选项3.检验win+R，输入cmd，在文本框输入conda--version第二步:下载包含本书全部代码的压缩包。1.点击该链接+点击jupyter记事本下载压缩包2.解压该压缩包3.在解压后的文件夹

依洛(^_^)简·2023-09-18 10:01

《动手学深度学习 Pytorch版》 6.2 图像卷积

importtorchfromtorchimportnnfromd2limporttorchasd2l6.2.1互相关计算X=torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])K=torch.tensor([[0.0,1.0],[2.0,3.0]])此处应为：012345678*0123=19253743即0×0+1×1+3×2+4×

AncilunKiang·2023-09-18 09:12

《动手学深度学习 Pytorch版》 6.6 卷积神经网络

importtorchfromtorchimportnnfromd2limporttorchasd2l6.6.1LeNetLetNet-5由两个部分组成：-卷积编码器：由两个卷积核组成。-全连接层稠密块：由三个全连接层组成。模型结构如下流程图（每个卷积块由一个卷积层、一个sigmoid激活函数和平均汇聚层组成）：全连接层(10)↑\uparrow↑全连接层(84)↑\uparrow↑全连接层(12

AncilunKiang·2023-09-18 03:07

《动手学深度学习 Pytorch版》 6.5 汇聚层

importtorchfromtorchimportnnfromd2limporttorchasd2l6.5.1最大汇聚和平均汇聚汇聚层和卷积层类似，区别在于汇聚层不带包含参数，汇聚操作是确定性的，通常计算汇聚窗口中所有元素的最大值或平均值，即最大汇聚和平均汇聚。defpool2d(X,pool_size,mode='max'):p_h,p_w=pool_size#和互相关运算差不多Y=torch

AncilunKiang·2023-09-18 03:37

《动手学深度学习 Pytorch版》 6.4 多输入多输出通道

importtorchfromd2limporttorchasd2l6.4.1多输入通道简言之，多通道即为单通道之推广，各参数对上即可。defcorr2d_multi_in(X,K):#先遍历“X”和“K”的第0个维度（通道维度），再把它们加在一起returnsum(d2l.corr2d(x,k)forx,kinzip(X,K))X=torch.tensor([[[0.0,1.0,2.0],[3.

AncilunKiang·2023-09-18 03:36

推荐频道

《动手学深度学习》自学之路