详细参考《动手学深度学习》P233，8.4节多GPU计算。数据并行的方法把一个batch的所有数据平均分配到每块GPU的显存里，把模型参数在每个GPU显存上拷贝一份。

注：本文为《动手学深度学习》开源内容，仅为个人学习记录，无抄袭搬运意图数据操作在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图6.3语言模型数据集（周杰伦专辑歌词）本节将介绍如何预处理一个语言模型数据集，并将其转换成字符级循环神经网络所需要的输入格式

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图6.4循环神经网络的从零开始实现在本节中，我们将从零开始实现一个基于字符级循环神经网络的语言模型，并在周杰伦专辑歌词数据集上训练一个模型来进行歌词创作

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图6.10双向循环神经网络之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递

15实战：Kaggle房价预测+课程竞赛：加州2020年房价预测1.访问和读取数据集importhashlibimportosimporttarfileimportzipfileimportrequestsDATA_HUB=dict()DATA_URL='http://d2l_data.s3-accelerate.amazonaws.com/'defdownload(name,cache_dir=

参考资料：沐神——动手学深度学习importtorchimporttorchvisionfrommatplotlibimportpyplotaspltfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limporttorchasd2lfromIPythonimportdisplaydefget_dataloader_work

一、引言Python，作为最受欢迎的编程语言之一，不仅语法简洁易懂，而且应用领域广泛，从数据科学、机器学习、网络开发到自动化脚本编写等，无所不能。对于初学者来说，如何系统地自学Python可能会是一个挑战。本文将为你提供一个详细的自学Python的路线图，帮助你从入门到精通。二、入门阶段1.了解基础语法首先，你需要了解Python的基本语法，包括变量、数据类型、条件语句、循环语句等。可以通过在线教

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.6ConciseImplementationofRNNimporttorchfrom

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.7BackpropagationThroughTime通过时间反向传播（backpr

Pytorch复习总结，仅供笔者使用，参考教材：《动手学深度学习》本文主要内容为：Pytorch张量的常见运算、线性代数、高等数学、概率论。

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.5ImplementationofRNNfromScratch8.5.1ModelD

损失函数，用来衡量预测值和真实值之间的区别。是机器学习里面一个非常重要的概念。三个常用的损失函数L2loss、L1loss、Huber’sRobustloss均方损失L2Lossl(y,y′)=12(y−y′)2l(y,y^{\prime})=\frac{1}{2}(y-y^{\prime})^{2}l(y,y′)=21(y−y′)2（除以222的时候，222和12\frac{1}{2}21相互抵

回归VS分类回归估计一个连续值分类预测一个离散类别从回归到多类分类回归单连续数值输出输出的区间：自然区间R\mathbb{R}R损失：跟真实值的区别分类通常多个输出（这个输出的个数是等于类别的个数）输出的第iii个元素是用来预测第iii类的置信度从回归到多类分类——均方损失对类别进行一位有效编码（因为类别不是一个数，可能是一个字符串等等）假设我们有nnn个类别，我们可以用最简单的一位有效编码来进行

通过使用深度学习框架来简洁地实现线性回归模型生成数据集importnumpyasnpimporttorchfromtorch.utilsimportdata#从torch.utils中引入一些处理数据的模块fromd2limporttorchasd2ltrue_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(

相关文章李沐《动手学深度学习》注意力机制文章目录相关文章一、导入相关库二、准备工作（一）理论基础（二）定义PrepareForMultiHeadAttention模块三、多头注意模块（一）理论基础（二）

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.3LanguageModelsandtheDataset假设长度为TTT的文本序列中

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.4RecurrentNeuralNetworks对nnn元语法模型，单词xtx_tx

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.1SequenceModels用xtx_txt表示在时间步（timestep）t∈Z

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter8RecurrentNeuralNetworks8.2TextPreprocessing文本的预处理步骤通常包括：将文本作为字符串加载到

我的自学之路大学时期临近毕业，幡然醒悟，好好读书学习一门技术是有多么的重要。毕业季找工作，苦于学习期间没有好好学习，手里没有一门过硬的技术。

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.6ResidualNetworks(ResNet)随着我们设计越

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.7DenselyConnectedNetworks(DenseN

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《

过拟合、欠拟合及其解决方案1.过拟合、欠拟合的概念2.权重衰减3.丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差训练误差：模型在训练数据集上表现出的误差。泛化误差：模型在任意一个测试数据样本上表现出的误差的期望。模型选择验证数据集除训练集和测试集之外的数据。目的是为了从训练误差估计泛化误差。k折交叉验证把原始训练数据集分割成k个不重合的子数据集，然后做k次模型训练和验证。每一次我们使用一个子数据

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.4NetworkswithParallelConnections

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.5BatchNormalization批量规范化应用于单个可选层

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.3NetworkinNetworks:NiNNiN的想法是在每个

本博文复现李沫动手学深度学习，网页链接在此，（第一版）【建议实操之前先通读一遍2.1章节的文档与本教程的文字说明】2.1.获取和运行本书的代码（完成）一些过程总结：（windows）（GPU）1、本人安装的是

教材选用《动手学深度学习》，李沐等著；词嵌⼊（word2vec）⾃然语⾔是⼀套⽤来表达含义的复杂系统。把词映射为实数域向量的技术也叫词嵌⼊（wordembedding）。

循环神经网络进阶GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系•重置⻔有助于捕捉时间序列⾥短期的依赖关系；•更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。载入数据集importosos.listdir('/home/kesci/input')#['d2lzh1981','houseprices2807','jaychou_lyric

手动创建训练数据集根据带有噪声的线性模型构造一个人造数据集。我们使用线性模型参数w=[2,−3.4]T\pmb{w}=[2,-3.4]^{T}w=[2,−3.4]T、b=4.2b=4.2b=4.2和噪声项ϵ\epsilonϵ生成数据集及其标签：y=Xw+b+ϵ\pmb{y}=\pmb{Xw}+b+\epsilony=Xw+b+ϵ%matplotlibinline#在plot的时候，默认嵌入到not

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.2NetworkUsingBlocks:VGGimportmat

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter7ModernConvolutionalNeuralNetworks7.1DeepConvolutionalNeuralNetwork:

最常见的算法——梯度下降当一个模型没有显示解的时候，该怎么办呢？首先挑选一个参数的随机初始值，可以随便在什么地方都没关系，然后记为w0\pmb{w_{0}}w0在接下来的时刻里面，我们不断的去更新w0\pmb{w_{0}}w0，使得它接近我们的最优解具体来说：挑选一个初始值w0\pmb{w_{0}}w0重复迭代参数t=1，2，3t=1，2，3t=1，2，3wt=wt−1−η∂ℓ∂wt−1\pmb{

简化核心模型假设1:影响房价的关键因素是卧室个数，卫生间个数和居住面积，记为x1x_{1}x1，x2x_{2}x2，x3x_{3}x3假设2:成交价是关键因素的加权和y=w1x1+w2x2+w3x3+by=w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{3}+by=w1x1+w2x2+w3x3+b权重和偏差的实际值在后面决定线性一般模型给定nnn维输入x=[x1,x2,...,xn]T

5.11残差网络（ResNet）让我们先思考一个问题：对神经网络模型添加新的层，充分训练后的模型是否只可能更有效地降低训练误差？理论上，原模型解的空间只是新模型解的空间的子空间。也就是说，如果我们能将新添加的层训练成恒等映射f(x)=x，新模型和原模型将同样有效。由于新模型可能得出更优的解来拟合训练数据集，因此添加层似乎更容易降低训练误差。然而在实践中，添加过多的层后训练误差往往不降反升。即使利用

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归李沐《

文章作者：Tyan博客：noahsnail.com|CSDN|注：本文为李沐大神的《动手学深度学习》的课程笔记！

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter6ConvolutionalNeuralNetwork(CNN)6.3LeNetLeNet模型中每个卷积块中的基本单元是一个卷积层、一个

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter6ConvolutionalNeuralNetwork(CNN)6.1BasicConcepts卷积神经网络将空间不变性（spatial

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过，同时对于书上部分章节也做了整合。Chapter6ConvolutionalNeuralNetwork(CNN)6.2ImageConvolutionOperation6.2.1Con

目录2.预备知识2.1数据操作torch.arange()x.shapex.numel()x.reshape(m,n)torch.zeros((2,3,4))torch.ones((2,3,4))torch.randn(3,4)torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]])x+y,x-y,x*y,x/y,x**y,x==ytorch.exp(x)torc

1.filter(function,iterable)filter函数用于过滤序列。过滤的方式则是采用传入的函数，去循环序列的元素调用，如果函数计算的结果为True则保留元素，否则将舍弃该元素。当function参数传入None时，序列中的元素值如果为False，也会自动舍弃。2.float([x])函数功能将一个数值或者字符转换成浮点型数值。不提供参数的时候，返回0.0。字符串必须能正确转换成浮

这个社会，竞争太TMD激烈了。你能做好，但能做好的人太多了。做好可以崭露头角，做到极致才是凤毛麟角。什么是做事极致？规定时间和能力范围内做到最好，就是极致。但这个定义貌似没什么实际意义，听上去很美，但没有现实指导意义。这个不可再优化不是绝对的，而是相对的，是在规定时间、能力范围、资源结构内，你做到了不可再优化。每次当你做完一件事，准备收工时，多问自己一句：我真的没办法做得更好一点了么？哪怕一点点？

classAccumulator:def__init__(self,n):self.data=[0.0]*ndefadd(self,*args):self.data=[a+float(b)fora,binzip(self.data,args)]defreset(self):self.data=[0.0]*len(self.data)def__getitem__(self,idx):returnse

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在JupyterNotebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python3.9.18下测试通过,对于书上部分章节也做了整合。Chapter5DeepLearningComputation5.1LayersandBlocksimporttorchfromtorchimportnn

目录一、引言1.日常生活中的机器学习：2.机器学习中的关键组件：2.1数据：2.2模型：2.3目标函数：2.4优化算法：3.各种机器学习问题：3.1监督学习：3.1.1回归：3.1.2分类：3.1.3标记问题：3.1.4搜索：3.1.5推荐系统：3.1.6序列学习：3.2无监督学习：3.3与环境互动：3.4强化学习：一、引言时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开

目录二、起源三、深度学习的成功案例：四、特点：五、小结：二、起源为了解决各种各样的机器学习问题，深度学习提供了强大的工具。虽然许多深度学习方法都是最近才有重大突破，但使用数据和神经网络编程的核心思想已经研究了几个世纪。事实上，人类长期以来就有分析数据和预测未来结果的愿望，而自然科学大部分都植根于此。例如，伯努利分布是以雅各布•伯努利（1654-1705）命名的。而高斯分布是由卡尔•弗里德里希•高斯