动手学深度学习第29页

《动手学深度学习》(八) -- 多尺度标检测和单发多框检测

1多尺度目标检测在前面的章节中，我们以输入图像的每个像素为中心，生成了多个锚框。基本而言，这些锚框代表了图像不同区域的样本。然而，如果为每个像素都生成的锚框，我们最终可能会得到太多需要计算的锚框。1.1多尺度锚框减少图像上的锚框数量并不困难。比如，我们可以在输入图像中均匀采样一小部分像素，并以它们为中心生成锚框。此外，在不同尺度下，我们可以生成不同数量和不同大小的锚框。直观地说，比起较大的目标，较

长路漫漫2021·2022-08-10 17:47

动手学深度学习_目标检测算法 R-CNN 系列

简单整理记录一下，有个大概了解。区域卷积神经网络region-basedCNN或regionswithCNNfeatures，R-CNN比较有名的几个网络：R-CNN、FastR-CNN、FasterR-CNN、MaskR-CNNR-CNNR-CNN首先从输入图像中选取若干提议区域（如锚框也是一种选取方法），并标注它们的类别和边界框（如偏移量）。然后，用卷积神经网络对每个提议区域进行前向传播以抽取

CV小Rookie·2022-08-10 07:10

深度学习环境搭建超级详解（Miniconda、pytorch安装）

小白刚开始学习《动手学深度学习》，第一次发文，本文主要是为了记录在环境搭建过程中遇到的问题和疑惑，以及解决方法，同时希望能帮到遇到相同问题的小伙伴。

暗三体·2022-08-08 07:57

《动手学深度学习》(PyTorch版)理解笔记 - 6 【初始化权重】

目录运行环境书中片段理解运行环境使用环境：python3.8平台：Windows10IDE：PyCharm书中片段理解在构建网络是，我们需要进行权重的初始化初始化过程中我们最常见的便是如下代码：defget_net(feature_num):net=nn.Linear(feature_num,1)forparaminnet.parameters():#print(param)nn.init.nor

Hurri_cane·2022-08-07 07:09

李沐动手学深度学习V2-BERT微调和代码实现

2.加载预训练的BERT在前面博客BERT预训练第二篇：李沐动手学深度学习V2-bert预训练数据集和代码实现和BERT预训练第三篇

cv_lhp·2022-08-05 14:00

【深度学习】今日bug：TypeError: ‘method‘ object is not iterable

前言博主主页：阿阿阿阿锋的主页_CSDN代码来源：《动手学深度学习》今天遇到了一个报错提示：TypeError:'method'objectisnotiterable。

阿阿阿阿锋·2022-08-03 07:39

学习笔记——动手学深度学习（RNN，GRU，LSTM）

文章标题摘要1.RNN循环神经网络1.1无隐藏状态的神经网络1.2有隐藏状态的循环神经网络1.3以文本数据集为例实现RNN预测模型1.3.1读取数据1.3.2独热编码（词）1.3.3初始化RNN的模型参数1.3.4定义RNN模型1.3.5创建一个类来包装这些函数1.3.6梯度裁剪1.3.7预测（未训练先预测）1.3.8开始训练1.4简洁实现RNN文本预测模型2.门控循环单元（GRU）2.1重置门和

HSR CatcousCherishes·2022-07-23 08:31

Pytorch实现文本情感分析

文本情感分析在本文中介绍如何使用神经网络实现情感分析任务，主要内容为：加载预训练的词向量介绍如何处理情感分析数据集使用循环神经网络模型训练使用一维卷积神经网络模型训练参考：动手学深度学习1、加载Glove

CityD·2022-07-21 13:34

动手学深度学习PyTorch（六）：卷积神经网络

1.二维卷积层卷积神经网络（convolutionalneuralnetwork）是含有卷积层（convolutionallayer）的神经网络。本章中介绍的卷积神经网络均使用最常见的二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。本节中，我们将介绍简单形式的二维卷积层的工作原理。1.1二维互相关运算虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使用更加直观的互相

J_Xiong0117·2022-07-21 07:02

【Kaggle项目实战记录】一个图片分类项目的步骤和思路分享——以树叶分类为例（用Pytorch）

2数据预处理，建立Dataset创建数据集Dataset对象预览训练集和验证集3定义模型、优化器4设置训练集和测试集5训练设定数据增广方法训练6保存模型7验证数据，上传预测上传简单的技术点总结这是一个动手学深度学习中的一个练习项目

takedachia·2022-07-21 07:01

第三周作业:卷积神经网络(Part1)

Part1《动手学深度学习》之卷积神经网络Part2注：本次使用的数据集并非是AI研习社下载的数据集，因为其数据集太大了，在自己电脑上用cpu跑一次就得两三个小时，所以最后采用的是少量的数据集，也就是pytorch

Qxw1012·2022-07-21 07:30

第三周作业：卷积神经网络（Part1）

跟李沐学AI-动手学深度学习-深度学习计算在一开始学习高级编程语言的时候，我们就听说过一个词“模块化”。

洋-葱·2022-07-21 07:23

动手学深度学习之卷积神经网络之池化层

池化层卷积层对位置太敏感了，可能一点点变化就会导致输出的变化，这时候就需要池化层了，池化层的主要作用就是缓解卷积层对位置的敏感性二维最大池化这里有一个窗口，来滑动，每次我们将窗口中最大的值给拿出来还是上面的例子，这里的最大池化窗口为2*2填充、步幅和多个通道这里基本与卷积层类似，与卷积层不同的是，池化层不需要学习任何的参数平均池化层与最大池化层不同的地方在于将最大操作子变为平均，最大池化层是将每个

哈哈哈捧场王·2022-07-19 07:07

Pytorch Softmax 多分类

Softmax0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-07-17 16:32

Torch_2_SoftMax多分类问题

动手学深度学习（zh-v2.d2l.ai）SoftMax也是单层的网络，其思路是将多类的输出转为概率表示，每类的输出在0−10-10−1之间，且和为1.数学表达为y^=softmax(o)其中y^j=exp⁡

aaaaaaze·2022-07-17 16:00

李沐动手学深度学习V2-多头注意力机制和代码实现

一.多头自注意力1.介绍在实践中，当给定相同的查询、键和值的集合时，希望模型可以基于相同的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，捕获序列内各种范围的依赖关系（例如短距离依赖和长距离依赖关系）。因此允许注意力机制组合使用查询、键和值的不同子空间表示（representationsubspaces）可能是有益的。为此与其只使用单独一个注意力汇聚，我们可以用独立学习得到的ℎ组不同

cv_lhp·2022-07-17 07:40

李沐动手学深度学习V2-注意力评分函数

一.注意力评分函数1.注意力评分权重在上篇博客李沐动手学深度学习V2-注意力机制中，使用高斯核来对查询和键之间的关系建模。

cv_lhp·2022-07-17 07:09

动手学深度学习：softmax完整代码（pytorch + windows+ pycharm）

删去多余的演示部分，解决了图像无法显示的问题文章目录softmax从零开始实现softmax简洁实现遇到的问题pycharm无法多进程读取数据导致的报错pycharm绘图不显示/卡顿无法动态绘制图像PermissionError:[WinError5]拒绝访问。:'../data'图片自动关闭softmax从零开始实现importtorchfromd2limporttorchasd2limport

看星星的花栗鼠·2022-07-15 07:40

动手学深度学习-线性回归的简单实现

动手学深度学习-线性回归的简单实现一、生成数据集二、读取数据集三、定义模型四、初始化模型参数五、定义损失函数六、定义优化算法七、训练本节介绍如何使用深度学习框架实现线性回归模型。

LuZhouShiLi·2022-07-15 07:01

【PyTorch】动手学深度学习-梳理与笔记小结|深度学习计算

动手学深度学习-梳理与笔记小结Refs：参考书籍-动手学深度学习课程主页与资源汇总层和块【小结】一个块可以由许多块组成，也可以由许多层组成；块中可以包含自定义的代码；块负责大量的内部处理，包括参数初始化和梯度反向传播

kodoshinichi·2022-07-15 07:52

《动手学深度学习Pytorch版》之Pytorch常用操作

未完待续。。。。。GPU操作二、模型保存读取操作1、访问模块模型参数model.parameters()一个从参数名称隐射到参数Tesnor的字典对象state_dict举例1importtorchfromtorchimportnnnet=MLP()#这里我省略了MLP()的定义，详见《动手学习深度学习Pytorch》对应章节net.state_dict()输出1classMLP(nn.Modul

irober·2022-07-15 07:50

【笔记】动手学深度学习 - pytorch神经网络基础

介绍为了实现复杂的网络，我们引入了神经网络块的概念。块可以描述单个层、由多个层组成的组件或整个模型本身。从编程的角度来看，块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的正向传播函数（forward），并且必须存储任何必需的参数。注意，有些块不需要任何参数。最后，为了计算梯度，块必须具有反向传播函数。幸运的是，在定义我们自己的块时，由于自动微分（在2.5节中引入）提供了一些

echo_gou·2022-07-15 07:49

《动手学深度学习》(PyTorch版)代码注释 - 16 【Model_construction】

目录说明配置环境此节说明代码说明本博客代码来自开源项目：《动手学深度学习》(PyTorch版)并且在博主学习的理解上对代码进行了大量注释，方便理解各个函数的原理和用途配置环境使用环境：python3.8

Hurri_cane·2022-07-15 07:17

动手学深度学习-2021-11-12

softmax回归的从零开始实现在前面已经引入了Fashion-MNIST数据集，并设置数据迭代器的批量大小为256引入importtorchfromIPythonimportdisplay#IPython是一个python的交互式shell，支持交互式数据可视化fromd2limporttorchasd2lbatch_size=256train_iter,test_iter=d2l.load_d

Anday33·2022-07-15 07:47

《动手学深度学习-pytorch》书中定义函数后加#@save的含义

笔者在学习《动手学深度学习-pytorch》一书的时候，发现很多定义的函数后面都会加#@save符号，如下：defuse_svg_display():#@save"""使⽤svg格式在Jupyter中显

Acrab_Chogori·2022-07-15 07:43

李沐-动手学深度学习（1）损失函数和激活函数

一、损失函数损失函数，用来衡量预测值和真实值之间的区别。1、均方损失（L2Loss）横坐标应该是y-y'。蓝色曲线是：真实值y不变时，变化预测值y'的曲线，是一个二次函数。绿色是它的似然函数，是一个高斯分布。橙色线是损失函数的梯度，是个过原点的直线。箭头长度是下降的快不快。图中可以看出L2Loss损失函数的特点，当离极值点较远的时候，其以较大的梯度绝对值下降；当靠近我们的极值点时它的梯度变得很小。

minlover·2022-07-08 22:37

Pytorch基本操作（8）——搭建实战、Sequential、损失函数以及优化器

1前言在学习李沐在B站发布的《动手学深度学习》PyTorch版本教学视频中发现在操作使用PyTorch方面有许多地方看不懂，往往只是“动手”了，没有动脑。

Xujl99·2022-07-05 07:13

《动手学深度学习》（二）-- 多层感知机

1多层感知机1.1从零开始实现本节将继续使⽤Fashion-MNIST图像分类数据集，数据导入步骤和上一节一样，本节将不再展示。importtorchfromd2limporttorchasd2limporttorch.nn.functionalasFfromtorch.utils.dataimportDataLoaderfromtorch.utilsimportdatafromtorchvisi

长路漫漫2021·2022-07-03 13:04

《动手学深度学习》（一）-- 线性神经网络

本篇主要学习《动手学深度学习》第三章线性神经网络线性回归的实现。可以结合线性分类器学习笔记和《计算机视觉与深度学习》——线性分类器一起学习。

长路漫漫2021·2022-07-03 13:03

《动手学深度学习》(三) -- 卷积神经网络 CNN

长路漫漫2021·2022-07-03 13:25

Pytorch 注意力机制

Pytorch注意力机制0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-07-02 07:54

PyTorch注意力机制【动手学深度学习v2】

文章目录1.注意力机制1.1注意力机制1.1.1非参注意力池化层1.1.2Nadaraya-Watson核回归1.1.3参数化的注意力机制1.1.4注意力汇聚：Nadaraya-Watson核回归的代码实现2注意力分数2.1加性注意力2.2缩放点积注意力2.3注意力打分函数代码实现3使用注意力机制的seq2seq4多头注意力5自注意力5.1比较卷积神经网络、循环神经网络和自注意力5.2位置编码5.

紫色银杏树·2022-07-02 07:53

【动手学深度学习Pycharm实现6】权重衰退（正则化）以及查看DataLoader返回的数据

前言李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。一、简介权重衰退是最广泛使用的正则化技术之一，一般有L1正则化和L2正则化，这里就不详细介绍了，具体看这位大佬的博客吧：点这里。其主要思想就是通过在损失函数中添加正则项来让参数的取值变小，因为训练数据中常常有噪音，而噪音越大，在训练中w把这些噪音数据也学习了，w也会越大（w越大这点可以证

Stick_2·2022-07-01 07:35

动手学深度学习笔记（一）——权重衰退

一直在csdn上学习别人发的博客，第一次尝试自己写博客，今天周日，在实验室小学一会，发现自己有些不明白的点突然想明白了，想记录一下在学习过程中遇到的难点或者有些迷惑的地方，希望自己以后能掌握牢固，并把自己的一些看法分享给大家，欢迎一起讨论。目录一、引言二、权重衰退的作用和原因1、为什么权重矩阵稀疏可以防止过拟合?2、为何权重参数w减小就可以防止过拟合?其他缓解过拟合的方法：三、权重衰退的实现通过限

SaltyFish_Go·2022-07-01 07:03

[动手学深度学习(PyTorch)]——丢弃法Dropout

正则化通过为模型损失函数添加惩罚项使得学出的模型参数值较小，是应对过拟合常用手段丢弃法（Dropout）是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递。有效抑制过拟合的一种正则化手段通常作用再隐藏全连接层的输出上训练时，每传递一次信号，就会随机选择要删除的神经元（丢弃法将一些输出项随机置为0来控制模型的复杂度）测试时，虽然会传

Star星屹程序设计·2022-07-01 07:57

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

权重衰退是一种解决过拟合的方式正则项：在训练参数化机器学习模型时，权重衰减（weightdecay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们对单个变量中的观测误差更为稳定。惩罚项的加入，是得最优值

Star星屹程序设计·2022-07-01 07:57

动手学深度学习——权重衰退的简洁实现代码

importtorchimporttorch.nnasnnimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2limportsysfrommatplotlibimportpyplotaspltn_train,n_test,num_inputs=20,100,200#训练数据集越小，越容易过拟合。训练数据集为20，测

橙子吖21·2022-07-01 07:41

动手学深度学习——权重衰退及代码实现

一、权重衰退1、权重衰退：是常用来处理过拟合的一种方法。2、使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量通常不限制偏移b（限制不限制都差不多）。小的意味着更强的正则项。3、使用均方范数作为柔性限制对于每个，都可以找到λ使得之前的目标函数等价于下面：可以通过拉格朗日乘子来证明。超参数λ控制了正则项的重要程度：4、参数更新法则每一次引入λ就会把权重放小，所以叫权重衰退。5、总结权重衰

橙子吖21·2022-07-01 07:41

Pytorch 正则化方法（权重衰减和Dropout）

0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-07-01 07:10

动手学深度学习：3.13 丢弃法DropOut

3.13丢弃法除了前一节介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）[1]来应对过拟合问题。丢弃法有一些不同的变体。本节中提到的丢弃法特指倒置丢弃法（inverteddropout）。3.13.1方法回忆一下，3.8节（多层感知机）的图3.3描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元hihih_ih1,…,h5中的任一个，从而在训练模型时起到

AI_Younger_Man·2022-07-01 07:08

丢弃法——dropout

《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。丢弃法——dropout除了权重衰减以外，深度学习模型常使⽤丢弃法（dropout）来应对过拟合问题。丢弃法有一些不同的变体。

Clark-dj·2022-07-01 07:18

05 线性代数【动手学深度学习v2】

文章目录1.背景2.线性代数实现3.按特定轴求和3.1矩阵求和-常规3.2矩阵求和-keepdims4.QA问题解答1.背景我们讲的多维数组是一个计算机的概念，多维数组是一个纯计算机的语言，它和C++的数组一样。但线性代数，同样一个东西，但是它是在数学上的表达，所以它有数学上的意义，我们不需要太多的数学上的知识，我们这里还是稍微的讲一下，我们就简单的入门一下。简单操作c=a+b;c=a⋅b;c=s

取个名字真难呐·2022-06-28 17:06

动手学深度学习----pytorch中数据操作的基本知识

04数据操作+数据预处理【动手学深度学习v2】_哔哩哔哩_bilibili文章目录数据操作入门运算符广播机制索引和切片节省内存转换为其他Python对象小结练习数据操作sec_ndarray为了能够完成各种数据操作

Hydrion-Qlz·2022-06-28 17:34

深度学习 3.线性代数

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》在深度学习1.PyTorch入门中，我们了解了看起来最基本tensor间的加减乘除运算，但是对于一个拥有多维的数据以及拥有数学线代知识的我们来说

baiyucraft·2022-06-28 17:31

深度学习 1.PyTorch入门

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》一、深度学习简介1.深度学习首先，我们得知道什么是深度学习：深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性

baiyucraft·2022-06-28 17:28

动手学深度学习PyTorch-打卡2

一、过拟合、欠拟合及其解决方案训练误差和泛化误差区分训练误差（trainingerror）和泛化误差（generalizationerror）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失

weixin_41765544·2022-06-25 07:51

基于Seq2Seq的机器翻译-PyTorch

动手学深度学习笔记一、机器翻译1.下载和预处理数据集2.构建词表3.加载数据集二、编码器-解码器架构三、Seq2Seq1.编码器2.解码器3.损失函数4.训练5.预测6.预测序列的评估一、机器翻译机器翻译指将序列从一种语言自动翻译成另一种语言

葫芦娃啊啊啊啊·2022-06-23 07:40

用RNN & CNN进行情感分析 - PyTorch

动手学深度学习笔记一、情感分析及数据集1.读取数据集2.预处理数据集二、利用RNN进行情感分析1.使用RNN表示单个文本2.加载预训练的词向量3.训练和评估模型4.预测三、利用CNN进行情感分析1.一维卷积

葫芦娃啊啊啊啊·2022-06-23 07:12

Win10—pytorch环境配置

本文中的配置操作来源于沐神的视频教程，网址如下：Windows下安装CUDA和Pytorch跑深度学习-动手学深度学习v2_哔哩哔哩(゜-゜)つロ干杯~-bilibilipytorch的GPU环境配置真的是相当简单啊

繁星&皓月·2022-06-22 07:31

李沐动手学深度学习V2-语言模型，NLP数据集加载和数据迭代器实现以及代码实现

一.语言模型和数据集1.介绍将文本数据映射为词元，以及将这些词元可以视为一系列离散的观测，例如单词或字符。假设长度为TTT的文本序列中的词元依次为x1,x2,…,xTx_1,x_2,\ldots,x_Tx1,x2,…,xT，于是xtx_txt（1≤t≤T1\leqt\leqT1≤t≤T）可以被认为是文本序列在时间步ttt处的观测或标签。在给定这样的文本序列时，语言模型（languagemodel）

cv_lhp·2022-06-22 07:53

推荐频道

动手学深度学习