《动手学深度学习》自学之路第7页

【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集

本小节的主要任务即是将wiki数据集转成BERT输入序列，具体的任务包括：读取wiki数据集生成下一句预测任务的数据—>主要用于_get_nsp_data_from_paragraph函数从输入paragraph生成用于下一句预测的训练样本：_get_nsp_data_from_paragraph生成遮蔽语言模型任务的数据—>将生成的tokens的一部分随机换成masked的tokens，用于_g

い☞殘風☜、™·2023-10-15 07:45

0基础Java自学之路

我的自学之路先告诉你们我的自学过程可能让你们有点参考。大三的时候，班主任请了2个已经拿到offer的实验室同学来跟我们传授一些经验。听完

Python编程社区·2023-10-14 21:42

深度学习自学2.0

理论基础:吴恩达的机器学习和深度学习2.代码基础：Python3.框架基础：pytorch4.搭建模型：霹雳叭啦/Bubbliiing/深度学习麋了鹿进阶：1.opencv数字图像处理夯实图像处理基础2.动手学深度学习李沐

咬树羊·2023-10-14 17:19

动手学深度学习之生成对抗网络

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/yxuHJjjhqYCh3thUzcVXaN

water19111213·2023-10-14 15:36

[动手学深度学习]生成对抗网络GAN学习笔记

论文原文：GenerativeAdversarialNets(neurips.cc)李沐GAN论文逐段精读：GAN论文逐段精读【论文精读】_哔哩哔哩_bilibiliIan,J.etal.(2014)'Generativeadversarialnetwork',NIPS'14:Proceedingsofthe27thInternationalConferenceonNeuralInformatio

夏莉莉iy·2023-10-14 15:58

动手学深度学习——线性神经网络

1.线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。当函数为未知参数的线性函数时，称为线性回归模型。1.1.线性模型线性假设是指目标可以表示为特征的加权和：y：预测结果x：元素特征w：权重，决定了每个特征对我们预测值的影响b：偏置，指当所有特征都取值为0时，预测值应该为多少将所有特征放到向量x

和星星作伴_·2023-10-14 11:39

自学油画我开始喜欢色彩

不知不觉喜欢上了油画，自学之路开始了…在网上看了些公开课，买了油画材料，从一无所知到上手，其实缺乏的只是行动力。不知

太古·2023-10-14 11:14

Unity自学多长时间才能参加工作

所以大部分学习者只能另辟蹊径，走上自学之路。Unity的学习分为两大部分，其一学习Unit

码上·2023-10-12 21:08

《动手学深度学习 Pytorch版》 8.1 序列模型

到目前为止，我们遇到的数据主要是表格数据和图像数据，并且所有样本都是独立同分布的。然而，大多数的数据并非如此。比如语句中的单词、视频中的帧以及音频信号，都是有顺序的。简言之，如果说卷积神经网络可以有效地处理空间信息，那么本章的循环神经网络（recurrentneuralnetwork，RNN）则可以更好地处理序列信息。循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。

AncilunKiang·2023-10-12 06:37

《动手学深度学习 Pytorch版》 8.2 文本预处理

importcollectionsimportrefromd2limporttorchasd2l解析文本的常见预处理步骤：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。8.2.1读取数据集本文从H.G.Wells的《时光机器》一书的英文原著TheTimeMachine中加载文本，它只有30000多

AncilunKiang·2023-10-12 06:37

《动手学深度学习 Pytorch版》 8.3 语言模型和数据集

8.3.1学习语言模型依靠在8.1节中对序列模型的分析，可以在单词级别对文本数据进行词元化。基本概率规则如下：P(x1,x2,…,xT)=∏t=1TP(xt∣x1,…,xt−1)P(x_1,x_2,\dots,x_T)=\prod^T_{t=1}P(x_t|x_1,\dots,x_{t-1})P(x1,x2,…,xT)=t=1∏TP(xt∣x1,…,xt−1)例如，包含了四个单词的一个文本序列的概

AncilunKiang·2023-10-12 06:57

从入门到放弃-我的自学之路

看了微信上一个叫薛衡的网友的近况，颇有感触。相识于得到的财富与自由之路，是一个有想法有行动力的小伙子，同样是参加得到的课程，他就坚持了把每天的内容做了思维导图，思维导图这个工具我三年前就会了其实。后来受他的影响，在后来参加一些培训课程时都会做一个Xmind思维导图，但都没能做的很好，经常为了赶进度或者完成阅读和学习进度而放弃做笔记。他的坚持还是有一定的收获的，他获得了得到课程里《前哨~王煜全》王煜

Parker盘继松·2023-10-11 15:49

P1-P5_动手学深度学习-pytorch(李沐版，粗浅的笔记)

目录预告 1.学习深度学习的关键是动手 2.什么是《动手学深度学习》 3.曾经推出的版本（含github链接）一、课程安排 1.目标 2.内容 3.上课形式 4.你将学到什么 5.资源二

知乎云烟·2023-10-09 23:46

安装torchtext

在阅读pytroch版本的《动手学深度学习》第七章时，源码需要安装torchtext。

微凉的衣柜·2023-10-09 19:08

【动手学深度学习】课程笔记 00-03 深度学习介绍及环境配置

目录00-01课程安排02深度学习介绍深度学习实际应用的流程完整的故事03环境配置00-01课程安排1.学习了这门课，你将收获什么？深度学习的经典和最新模型：LeNet，ResNet，LSTM，BERT；机器学习基础：损失函数、目标函数、过拟合、优化；学习使用Pytorch实现上述知识点。2.这门课的主要学习内容？3.有哪些学习资源？（点击即可跳转）1.课程主页2.课程教材3.课程论坛4.Pyto

令夏二十三·2023-10-09 16:25

动手学深度学习Task3笔记

过拟合、欠拟合及其解决方法过拟合、欠拟合定义一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合影响过拟合、欠拟合的因素模型复杂度训练数据集大小一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内

GaryLi077·2023-10-07 16:18

Java 后端自学之路

Java后端自学之路文章转载自：http://objcoding.com/2018/02/07/javaweb-learning/最近有些网友问我如何自学Java后端，还有些是想从别的方向想转过来，但都不太了解

dadalang·2023-10-07 11:19

[动手学深度学习-PyTorch版]-4.2深度学习计算-模型参数的访问、初始化和共享

4.2模型参数的访问、初始化和共享在3.3节（线性回归的简洁实现）中，我们通过init模块来初始化模型的参数。我们也介绍了访问模型参数的简单方法。本节将深入讲解如何访问和初始化模型参数，以及如何在多个层之间共享同一份模型参数。我们先定义一个与上一节中相同的含单隐藏层的多层感知机。我们依然使用默认方式初始化它的参数，并做一次前向计算。与之前不同的是，在这里我们从nn中导入了init模块，它包含了多种

蒸饺与白茶·2023-10-07 03:24

深度学习——深度学习计算二

参考书：《动手学深度学习》三、延后初始化框架的延后初始化（defersinitialization），即直到

星石传说·2023-10-06 21:23

[动手学深度学习]现代卷积神经网络AlexNet学习笔记

动手学深度学习-李沐：7.1.深度卷积神经网络（AlexNet）—动手学深度学习2.0.0documentation(d2l.ai)动手学深度学习-李沐（pdf）：zh-v2.d2l.ai/d2l-zh-pytorch.pdf

夏莉莉iy·2023-10-06 13:05

【Dive into Deep Learning |动手学深度学习（李沐）】4.4 模型选择、欠拟合和过拟合--学习笔记

目录训练误差和泛化误差验证数据集和测试数据集K-折交叉验证小结过拟合和欠拟合VC维线性分类器的VC维数据复杂度小结代码实现生成数据集对模型进行训练和测试三阶多项式函数拟合(正常)线性函数拟合(欠拟合)高阶多项式函数拟合(过拟合)总结训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差我们更关注泛化误差，而非训练误差。验证数据集和测试数据集验证数据集：一个用来评估模型好坏

爱吃白菜的金小妞·2023-10-05 18:19

李沐动手学深度学习-过拟合和欠拟合

模型容量拟合各种函数的能力低容量的模型难以拟合训练数据高容量的模型可以记住所有的训练数据模型容量的影响估计模型容量难以在不同的种类算法之间比较：例如树模型和神经网络给定一个模型的种类，将有两个主要因素：参数的个数，参数值的选择范围VC维统计学习理论的一个核心思想对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类。VC维的用处：提供为什么一个模型好的

啥都想学点的研究生·2023-10-05 18:18

【动手学深度学习-Pytorch版】Transformer代码总结

本文是纯纯的撸代码讲解，没有任何Transformer的基础内容~是从0榨干Transformer代码系列，借用的是李沐老师上课时讲解的代码。本文是根据每个模块的实现过程来进行讲解的。如果您想获取关于Transformer具体的实现细节（不含代码）可以转到李宏毅老师的录播课：油管需要~在Transformer代码实现部分，首先需要准备Encoder和Decoder中每个层需要用到的模块，包括Enc

い☞殘風☜、™·2023-10-05 14:20

我在多邻国上的第一只猫头鹰

后来知道了世界语，开始了世界语的自学之路。结果从我开始世界学习到今天，断断续续有三个月时间。现在我终于在多邻国上得到了第一只通关猫头鹰--结束了我的世界语课程。

Cathyagony·2023-10-05 14:15

关于李沐书籍中“15.7 自然语言推断：微调BERT”节代码问题总结

本人在学习李沐《动手学深度学习》第二版的15.7节中遇到了若干问题，这导致本人久久不能跑通代码，在搜索若干资料并进行调试之后终于将代码跑通。

摩洛哥没有披萨饼·2023-10-04 10:36

什么是bean

chenli0707·2023-10-03 16:21

[笔记] 深度学习的部分专业名词

深度学习的部分专业名词最近输入有点多，输出太少了，整个文档记录一些小知识点，以后可能还会加一些来源于沐神的动手学深度学习的前言参数：类比旋钮，旋钮的转动可以调整程序的行为模型：任一调整参数后的程序模型族

来一粒4869·2023-09-30 13:55

手动搭建Bert模型并实现与训练参数加载和微调

参考《动手学深度学习》搭建BERT语言模型，并加载huggingface上的预训练参数。

动力澎湃·2023-09-30 13:02

动手学深度学习--基础知识上篇

动手学deeplearning☁️本专栏会定期更新关于动手学深度学习的每章知识点的讲解，题目答案如果喜欢，欢迎点赞，收藏动手学深度学习-预备知识篇线性代数篇1-3题讲解证明一个矩阵A\mathbf{A}

Li&&Tao·2023-09-28 10:28

李沐_动手学深度学习_19_卷积层

一、遇到的磕磕绊绊：1.一维数组和二维矩阵数据之间的区别：二、用到的一些代码：#备注，矩阵点乘就是A*Bimporttorchfromd2limporttorchasd2l#这个库是李沐自己写的，我去fromtorchimportnndefcorr(X,k):h,w=k.shapeY=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1))foriinrange(Y

诚威_lol_中大努力中·2023-09-25 22:01

【动手学深度学习-Pytorch版】循环神经网络-从零开始实现

"""导包并设置batch和steps大小"""importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#num_steps是输入的小批量句子的长度batch_size,num_steps=32,35#device=torch.device("cuda:0"iftorch

い☞殘風☜、™·2023-09-25 21:09

3.1 线性回归【李沐动手学深度学习】

目录房价预测问题：一、房价预测问题：1.简化模型：假设1：卧室个数、卫生间个数、居住面积记为x1,x2,x3假设2：成交价是各因素加权和y=w1x1+w2x2+w3x3+b2.线性模型：线性模型可以看做是单层神经网络3.衡量预估质量平方损失：4.训练数据。5.参数学习6.显式解总结线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显式解线性回归可以看作单层神经网络

iCiven·2023-09-25 17:54

【动手学深度学习-Pytorch版】长短期记忆网络LSTM

LSTM参数说明以及网络架构图PS：时间仓促，有空补充内容~LSTM从零开始实现"""遗忘门：相当于一个橡皮擦，决定保留昨天的哪些信息输入门：相当于一个铅笔，再次根据昨天的记忆和今天的输入决定保留哪些信息输出门：用于控制记忆细胞更新时所使用的输入信息"""importtorchfromtorchimportnn,normalfromd2limporttorchasd2lbatch_size,num

い☞殘風☜、™·2023-09-25 14:42

【动手学深度学习-Pytorch版】门控循环单元GRU

关于GRU的笔记支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要，模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。formula：门是和隐藏状态同样的一个向量重置门：Rt=σ

い☞殘風☜、™·2023-09-25 13:39

【动手学深度学习-Pytorch版】机器翻译与数据集

importosimporttorchfromd2limporttorchasd2l"""下载和预处理数据集¶"""#@saved2l.DATA_HUB['fra-eng']=(d2l.DATA_URL+'fra-eng.zip','94646ad1522d915e7b0f9296181140edcf86a4f5')#@savedefread_data_nmt():"""载入英语-法语数据集"""

い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】注意力汇聚：Nadaraya-Watson 核回归

注意力机制中的查询、键、值在注意力机制的框架中包含了键、值与查询三个主要的部分，其中键与查询构成了注意力汇聚（有的也叫作注意力池化）。键是指一些非意识的线索，例如在序列到序列的学习中，特别是机器翻译，键是指除了文本序列自身信息外的其他信息，例如人工翻译或者语言学习情况。查询则是与键（非意识提示）相反的，它常被称为意识提示或者自主提示。这体现在文本序列翻译中，则是文本序列的context上下文信息，

い☞殘風☜、™·2023-09-25 05:48

【动手学深度学习-Pytorch版】双向循环神经网络

importtorchfromtorchimportnnfromd2limporttorchasd2l#加载数据batch_size,num_steps,device=32,35,d2l.try_gpu()train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)#通过设置“bidirective=True”来定义双向LSTM

い☞殘風☜、™·2023-09-25 05:17

【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）

序言这一节是对于“编码器-解码器”模型的实际应用，编码器和解码器架构可以使用长度可变的序列作为输入，并将其转换为固定形状的隐状态（编码器实现）。本小节将使用“fra-eng”数据集（这也是《动手学习深度学习-Pytorch版》提供的数据集）进行序列到序列的学习。在d2l官方文档中有很多的内容是根据英文版直译过来的，其中有很多空乏的句子，特别是对于每个模块的描述中，下面我提供一种全新的思路来理解整个

い☞殘風☜、™·2023-09-25 05:17

[动手学深度学习-PyTorch版]-3.4深度学习基础-softmax回归

3.4softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。3.4.1分

蒸饺与白茶·2023-09-25 02:32

动手学深度学习（pytorch版）第二章-2.2数据预处理Note-pandas

1.创建importosos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:f.write('NumRooms,Alley,Price\n')#列名f.write('NA,Pave,1275

Wall-E99·2023-09-25 00:38

动手学深度学习（pytorch版）第二章2.1 Note-ndarray

1.入门x=torch.arange(12)//首先，我们可以使用`arange`创建一个行向量`x`。这个行向量包含以0开始的前12个整数，//它们默认创建为整数。也可指定创建类型为浮点数。张量中的每个值都称为张量的元素（element）x.shapex.numel()//如果只想知道张量中元素的总数X=x.reshape(3,4)torch.randn(3,4)//以下代码创建一个形状为（3,

Wall-E99·2023-09-25 00:37

动手学深度学习（pytorch版）第二章-2.3线性代数Note-linear-algebra

类型标量：仅包含一个数值被称为标量向量：向量可以被视为标量值组成的列表矩阵：正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。A=torch.arange(20).reshape(5,4)A.T//转置张量：是描述具有任意数量轴的n维数组的通用方法X=torch.arange(24).reshape(2,3,4)张量算法的基本性质张量与张量A=torch.arange(20,dtype=

Wall-E99·2023-09-25 00:36

动手学深度学习V2___截图

Beforedivingintodeeplearningresearch,it’sbeneficialtohaveasolidfoundationinseveralkeyareas.Herearesometopicsyoushouldconsidermastering:Mathematics:Deeplearningreliesheavilyonmathematicalconceptssuchas

ShCDNay·2023-09-24 16:09

动手学深度学习_个人笔记01_李沐（更新中......）

序言神经网络——本书中关注的DL模型的前身，被认为是过时的工具。深度学习在近几年推动了CV、NLP和ASR等领域的快速发展。关于本书让DL平易近人，教会概念、背景和代码。一种结合了代码、数学和HTML的媒介测试深度学习（DL）的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用DL需要同时了解：（1）以特定方式提出问题的动机；（2）给定建模方法的数学；（3）将模型拟合数据的优化

ShCDNay·2023-09-24 16:39

解决d2l在anaconda经常安装失败的问题

李沐老师《动手学深度学习》配套一个d2l-zh用来学习非常方便，但是经常出现下载d2l失败的问题anaconda安装时大部分的库已经下好了，直接pipinstalld2l经常出现版本冲突采用最直接的办法在

wwse·2023-09-24 16:28

《动手学深度学习 Pytorch版》 7.6 残差网络(ResNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.6.1函数类如果把模型看作一个函数，我们设计的更强大的模型则可以看作范围更大的函数。为了使函数能逐渐靠拢到最优解，应尽量使函数嵌套，以减少不必要的偏移。如下图，更复杂的非嵌套函数不一定能保证更接近真正的函数。只有当较复杂的函数类包含

AncilunKiang·2023-09-23 15:57

《动手学深度学习 Pytorch版》 7.4 含并行连接的网络(GoogLeNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.4.1Inception块GoogLNet中的基本卷积块叫做Inception块（大概率得名于盗梦空间），由4条并行路径组成。前3条路径使用窗口大小为1×11\times11×1、3×33\times33×3和5×55\times5

AncilunKiang·2023-09-23 15:56

《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征，然后用全连接层对特征进行处理。AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络（NiN）则是在每个像素的通道上分别使用多层感知机。importtorchfromtorchimportnnfromd2limporttorchasd2l7.3.1NiNNiN的想法是在每个像素位置应用一个全连接

AncilunKiang·2023-09-23 15:25

《动手学深度学习 Pytorch版》 7.5 批量规范化

7.5.1训练深层网络训练神经网络的实际问题：数据预处理的方式会对最终结果产生巨大影响。训练时，多层感知机的中间层变量可能具有更广的变化范围。更深层的网络很复杂容易过拟合。批量规范化对小批量的大小有要求，只有批量大小足够大时批量规范化才是有效的。用x∈B\boldsymbol{x}\inBx∈B表示一个来自小批量BBB的输入；$\hat{\boldsymbol{\mu}}_B$表示小批量BBB的样

AncilunKiang·2023-09-23 09:14

自学笔记：python+opencv针对蓝色来进行简单的车牌定位

自学笔记：python+opencv针对蓝色来进行简单的车牌定位图像处理的自学之路车牌定位看了几个其他人的文章，综合选取了几个方法凑在一起。

狂热的蜗牛·2023-09-22 09:19

推荐频道

《动手学深度学习》自学之路