动手学深度学习学习整理第42页

PyTorch注意力机制【动手学深度学习v2】

文章目录1.注意力机制1.1注意力机制1.1.1非参注意力池化层1.1.2Nadaraya-Watson核回归1.1.3参数化的注意力机制1.1.4注意力汇聚：Nadaraya-Watson核回归的代码实现2注意力分数2.1加性注意力2.2缩放点积注意力2.3注意力打分函数代码实现3使用注意力机制的seq2seq4多头注意力5自注意力5.1比较卷积神经网络、循环神经网络和自注意力5.2位置编码5.

紫色银杏树·2022-07-02 07:53

【动手学深度学习Pycharm实现6】权重衰退（正则化）以及查看DataLoader返回的数据

前言李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。一、简介权重衰退是最广泛使用的正则化技术之一，一般有L1正则化和L2正则化，这里就不详细介绍了，具体看这位大佬的博客吧：点这里。其主要思想就是通过在损失函数中添加正则项来让参数的取值变小，因为训练数据中常常有噪音，而噪音越大，在训练中w把这些噪音数据也学习了，w也会越大（w越大这点可以证

Stick_2·2022-07-01 07:35

动手学深度学习笔记（一）——权重衰退

一直在csdn上学习别人发的博客，第一次尝试自己写博客，今天周日，在实验室小学一会，发现自己有些不明白的点突然想明白了，想记录一下在学习过程中遇到的难点或者有些迷惑的地方，希望自己以后能掌握牢固，并把自己的一些看法分享给大家，欢迎一起讨论。目录一、引言二、权重衰退的作用和原因1、为什么权重矩阵稀疏可以防止过拟合?2、为何权重参数w减小就可以防止过拟合?其他缓解过拟合的方法：三、权重衰退的实现通过限

SaltyFish_Go·2022-07-01 07:03

[动手学深度学习(PyTorch)]——丢弃法Dropout

正则化通过为模型损失函数添加惩罚项使得学出的模型参数值较小，是应对过拟合常用手段丢弃法（Dropout）是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递。有效抑制过拟合的一种正则化手段通常作用再隐藏全连接层的输出上训练时，每传递一次信号，就会随机选择要删除的神经元（丢弃法将一些输出项随机置为0来控制模型的复杂度）测试时，虽然会传

Star星屹程序设计·2022-07-01 07:57

[动手学深度学习(PyTorch)]——权重衰退（Weight decay）

权重衰退是一种解决过拟合的方式正则项：在训练参数化机器学习模型时，权重衰减（weightdecay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们对单个变量中的观测误差更为稳定。惩罚项的加入，是得最优值

Star星屹程序设计·2022-07-01 07:57

动手学深度学习——权重衰退的简洁实现代码

importtorchimporttorch.nnasnnimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2limportsysfrommatplotlibimportpyplotaspltn_train,n_test,num_inputs=20,100,200#训练数据集越小，越容易过拟合。训练数据集为20，测

橙子吖21·2022-07-01 07:41

动手学深度学习——权重衰退及代码实现

一、权重衰退1、权重衰退：是常用来处理过拟合的一种方法。2、使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量通常不限制偏移b（限制不限制都差不多）。小的意味着更强的正则项。3、使用均方范数作为柔性限制对于每个，都可以找到λ使得之前的目标函数等价于下面：可以通过拉格朗日乘子来证明。超参数λ控制了正则项的重要程度：4、参数更新法则每一次引入λ就会把权重放小，所以叫权重衰退。5、总结权重衰

橙子吖21·2022-07-01 07:41

Pytorch 正则化方法（权重衰减和Dropout）

0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-07-01 07:10

动手学深度学习：3.13 丢弃法DropOut

3.13丢弃法除了前一节介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）[1]来应对过拟合问题。丢弃法有一些不同的变体。本节中提到的丢弃法特指倒置丢弃法（inverteddropout）。3.13.1方法回忆一下，3.8节（多层感知机）的图3.3描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元hihih_ih1,…,h5中的任一个，从而在训练模型时起到

AI_Younger_Man·2022-07-01 07:08

丢弃法——dropout

《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。丢弃法——dropout除了权重衰减以外，深度学习模型常使⽤丢弃法（dropout）来应对过拟合问题。丢弃法有一些不同的变体。

Clark-dj·2022-07-01 07:18

05 线性代数【动手学深度学习v2】

文章目录1.背景2.线性代数实现3.按特定轴求和3.1矩阵求和-常规3.2矩阵求和-keepdims4.QA问题解答1.背景我们讲的多维数组是一个计算机的概念，多维数组是一个纯计算机的语言，它和C++的数组一样。但线性代数，同样一个东西，但是它是在数学上的表达，所以它有数学上的意义，我们不需要太多的数学上的知识，我们这里还是稍微的讲一下，我们就简单的入门一下。简单操作c=a+b;c=a⋅b;c=s

取个名字真难呐·2022-06-28 17:06

动手学深度学习----pytorch中数据操作的基本知识

04数据操作+数据预处理【动手学深度学习v2】_哔哩哔哩_bilibili文章目录数据操作入门运算符广播机制索引和切片节省内存转换为其他Python对象小结练习数据操作sec_ndarray为了能够完成各种数据操作

Hydrion-Qlz·2022-06-28 17:34

深度学习 3.线性代数

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》在深度学习1.PyTorch入门中，我们了解了看起来最基本tensor间的加减乘除运算，但是对于一个拥有多维的数据以及拥有数学线代知识的我们来说

baiyucraft·2022-06-28 17:31

深度学习 1.PyTorch入门

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》一、深度学习简介1.深度学习首先，我们得知道什么是深度学习：深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性

baiyucraft·2022-06-28 17:28

动手学深度学习PyTorch-打卡2

一、过拟合、欠拟合及其解决方案训练误差和泛化误差区分训练误差（trainingerror）和泛化误差（generalizationerror）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失

weixin_41765544·2022-06-25 07:51

基于Seq2Seq的机器翻译-PyTorch

动手学深度学习笔记一、机器翻译1.下载和预处理数据集2.构建词表3.加载数据集二、编码器-解码器架构三、Seq2Seq1.编码器2.解码器3.损失函数4.训练5.预测6.预测序列的评估一、机器翻译机器翻译指将序列从一种语言自动翻译成另一种语言

葫芦娃啊啊啊啊·2022-06-23 07:40

用RNN & CNN进行情感分析 - PyTorch

动手学深度学习笔记一、情感分析及数据集1.读取数据集2.预处理数据集二、利用RNN进行情感分析1.使用RNN表示单个文本2.加载预训练的词向量3.训练和评估模型4.预测三、利用CNN进行情感分析1.一维卷积

葫芦娃啊啊啊啊·2022-06-23 07:12

Win10—pytorch环境配置

本文中的配置操作来源于沐神的视频教程，网址如下：Windows下安装CUDA和Pytorch跑深度学习-动手学深度学习v2_哔哩哔哩(゜-゜)つロ干杯~-bilibilipytorch的GPU环境配置真的是相当简单啊

繁星&皓月·2022-06-22 07:31

李沐动手学深度学习V2-语言模型，NLP数据集加载和数据迭代器实现以及代码实现

一.语言模型和数据集1.介绍将文本数据映射为词元，以及将这些词元可以视为一系列离散的观测，例如单词或字符。假设长度为TTT的文本序列中的词元依次为x1,x2,…,xTx_1,x_2,\ldots,x_Tx1,x2,…,xT，于是xtx_txt（1≤t≤T1\leqt\leqT1≤t≤T）可以被认为是文本序列在时间步ttt处的观测或标签。在给定这样的文本序列时，语言模型（languagemodel）

cv_lhp·2022-06-22 07:53

thinkphp6-学习记录-应用手册

thinkphp6ThinkPHP6-开发学习整理TP6框架源码下载项目目录框架测试安装重点介绍TP6的架构详述-依赖注入容器与系统服务和门面中间件事件触发监听路由器详解数据库主要特性：连接数据库配置文件连接参数切换连接模型类定义配置参数参考断线重连分布式数据库分布式支持读写分离主库读取查询构造器查询数据查询单个数据查询数据集值和列查询数据分批处理游标查询添加数据添加一条数据添加多条数据更新数据自

amingMM·2022-06-21 18:19

《动手学深度学习》第三章——（3）softmax回归的从零开始实现_学习思考与习题答案

文章目录softmax回归的从零开始实现初始化模型参数定义softmax操作定义模型定义损失函数分类精度训练预测小结练习#作者github[源码地址](https://github.com/Zhangshuor/deeplearning/tree/main/chapter_linear-networks)softmax回归的从零开始实现sec_softmax_scratch(就像我们从零开始实现线

coder_sure·2022-06-21 07:22

canvas基础3 - 点阵式数据结构

canvas基础3-点阵式数据结构本文是canvas基础2-arc-画弧线，通俗易懂，小白也没烦恼，根据慕课网liuyubobobo老师的视频课学习整理视频课指路：慕课网liuyubobobo老师炫丽的倒计时效果

·2022-06-20 00:41

李沐-动手学深度学习（六）线性回归

1、线性模型输出层不算一层，因为不带权重。训练数据：收集数据点来决定参数值（权重和偏差）。数据在每个样本上损失的均值：线性模型有显示解。因为线性模型，所以损失是一个凸函数，所以最优解是梯度为0的地方。2、基础优化方法（1）梯度下降学习率，不能选太小，也不能太大总结3、线性回归的从零开始实现chapter_linear-networks/linear-regression-scratch.ipynb

minlover·2022-06-18 14:42

注意力、自注意力和多头注意力

动手学深度学习笔记一、注意力评分函数1.maskedsoftmax2.加性注意力3.缩放点积注意力二、使用注意力机制的Seq2Seq1.重新定义上下文向量2.定义注意力解码器三、多头注意力1.模型2.代码实现四

葫芦娃啊啊啊啊·2022-06-16 01:35

多层感知机总结-PyTorch

动手学深度学习-多重感知机笔记多层感知机多层感知机的从零开始实现多层感知机的简洁实现范数与权重衰减(weightdecay)暂退法(Dropout)前向传播和反向传播梯度消失和梯度爆炸模型验证方法过拟合和欠拟合多层感知机多层感知机

葫芦娃啊啊啊啊·2022-06-16 01:34

CNN卷积神经网络-PyTorch

动手学深度学习-CNN笔记一、从全连接层到卷积二、图像卷积1.卷积层2.学习卷积核参数3.特征映射和感受野三、填充(padding)四、步幅(stride)五、多输入多输出通道1.多输入通道2.多输出通道

葫芦娃啊啊啊啊·2022-06-16 01:34

springboot学习

学习整理摘自http://www.yund.tech/zdetail.html?

张帆demo·2022-06-15 11:29

李沐动手学深度学习V2-风格迁移学习（style transfer learning）和代码实现

一.风格迁移学习（styletransferlearning）1.介绍本节介绍如何使用卷积神经网络，自动将一个图像中的风格应用在另一图像之上，即风格迁移学习（styletransferlearning）。这里需要两张输入图像：一张是内容图像，另一张是风格图像，使用卷积神经网络修改内容图像，使其在风格上接近风格图像。例如下图中内容图像为李沐老师在西雅图郊区的雷尼尔山国家公园拍摄的风景照，而风格图像则

cv_lhp·2022-06-14 17:30

Dropout【动手学深度学习v2】

Dropout1.理论好的模型应该对输入的扰动具有鲁棒性。使用有噪音的数据其实是一种正则化的手段（等价于Tikhonov正则）Dropout则是在层之间加入噪音，本质上是一种正则化的手段2.计算与使用无偏差地加入噪音（期望保持不变）E[x′]=p∗0+(1−p)∗x1−p=xE[x']=p*0+(1-p)*\frac{x}{1-p}=xE[x′]=p∗0+(1−p)∗1−px=x训练使用：一般用于

hei_hei_hei_·2022-06-12 07:35

李沐动手学深度学习V2-转置卷积和代码实现

一.转置卷积1.介绍卷积神经网络层中卷积层和汇聚层，通常会减少下采样输入图像的空间维度（高和宽）。然而如果输入和输出图像的空间维度保持相同，在以像素级分类的语义分割中将会很方便，输出像素所处的通道维可以保存有输入像素在同一位置上的分类结果。为了实现这一点，尤其是在空间维度被卷积神经网络层缩小后，可以使用另一种类型的卷积神经网络层，它可以增加上采样中间层特征图的空间维度。下面介绍转置卷积（trans

cv_lhp·2022-06-12 07:05

特征归一化总结（Feature Scaling）

纯粹自己学习整理，侵权删。也参考了部分笔记：https://www.cnblogs.com/shine-lee/p/11

Solor_Rays·2022-06-08 09:57

李沐-动手学深度学习-多层感知机的实现

多层感知机的从零开始实现1.多层感知机（MLP）原理简介多层感知机（MLP，MultilayerPerceptron）也叫人工神经网络（ANN，ArtificialNeuralNetwork），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：从上图可以看到，多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。隐藏层的神经元怎

啥都想学点的研究生·2022-06-08 07:20

自动求导（动手学深度学习v2）

importtorchx=torch.arange(4.0)print(x)x.requires_grad_(True)#存梯度x.gradprint(x.grad)y=2*torch.dot(x,x)print(y)#反向传播计算y关于x每个分量梯度y.backward()print(x.grad)print(x.grad==4*x)#默认情况会累积梯度x.grad.zero_()y=x*xy.

Recurss·2022-06-06 07:03

n-grams语言模型——【torch学习笔记】

语言模型引用翻译：《动手学深度学习》文本是序列数据的一个重要例子。事实上，我们将使用自然语言模型作为本章中许多例子的基础。鉴于此，值得对一些事情进行更详细的讨论。

一个语文不好的NLPer·2022-06-05 15:22

《动手学深度学习+PyTorch》3.5图像分类数据集（Fashion-MNIST）学习笔记

文章目录一、torchvision包二、步骤1.引入库2.下载数据集和测试集3.展示训练集中样本总结一、torchvision包torchvision包，它是服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几部分构成：1.torchvision.datasets:一些加载数据的函数及常用的数据集接口；2.torchvision.models:包含常用

稚晖君的小弟·2022-06-03 07:21

Pytorch 转置卷积

Pytorch转置卷积0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-06-02 11:38

Pytorch FCN 全卷积神经网络

PytorchFCN全卷积网络0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解

哇咔咔负负得正·2022-06-02 11:38

Pytorch 语义分割和数据集

Pytorch语义分割和数据集0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解

哇咔咔负负得正·2022-06-02 11:03

【PyTorch 07】动手学深度学习——chapter_preliminaries/ndarray 习题动手版

目录1.导入torch2.使用arange创建一个行向量x，这个行向量包含以0开始的前12个整数。3.通过张量的shape属性来访问张量x（沿每个轴的长度）的形状4.【重点】只想知道张量中元素的总数，可以检查它的大小（size）5.把张量x从形状为（12,）的行向量转换为形状为（3,4）的矩阵。6.创建一个形状为（2,3,4）的张量，其中所有元素都设置为0。7.创建一个形状为(2,3,4)的张量，

ECCUSXR·2022-05-30 07:06

Pytorch 模型选择，过拟合和欠拟合

模型选择，过拟合和欠拟合0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-05-27 07:40

李沐-动手学深度学习-线性代数

tensor()里面给一个元素表示一个标量向量视为标量组成的列表也可以通过索引访问张量中的元素通过len()函数访问张量的长度矩阵的转置（A.T）计算其元素的和指定维度求和axis=0，表示按第0个维度求和，就是消去第0个维度。默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。我们还可以指定张量沿哪一个轴来通过求和降低维度。以矩阵为例，为了通过求和所有行的元素来降维（轴0），我

啥都想学点的研究生·2022-05-24 15:15

Datawhale 《动手学深度学习》(二)

动手学深度学习（二）Day3过拟合&欠拟合及其解决方案一些概念高维线性回归实验从零开始的实现丢弃法梯度消失&梯度爆炸一些理论Kaggle房价预测实战循环神经网络进阶代码实现Day4机器翻译及相关技术定义代码实现注意力机制与

Zhiguo Ding·2022-05-22 21:18

Datawhale《动手学深度学习》

动手学深度学习Day1线性回归Softmax与分类模型多层感知机基础知识代码实现Day2文本预处理通用步骤代码示例语言模型简介n元语法语言模型数据集读取数据集建立字符索引定义函数load_data_jay_lyrics

Zhiguo Ding·2022-05-22 21:48

《14天动手学深度学习》——梯度消失、梯度爆炸

梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第l层H(l)的权重参数为W(l)，输出层H(L)的权重参数为W(L)。为了便于讨论，不考虑偏差参数，且设所

我真的爱发明·2022-05-22 21:47

【动手学深度学习v2】循环神经网络-1.序列模型

文章目录1.序列模型1.1统计工具1.2自回归模型1.3总结1.4代码实现-马尔可夫模型回归实现1.5问题1.序列模型与CNN提取空间信息不同的是，序列模型处理的是时间信息。1.1统计工具下图为股票价格（近30年的富时100指数）假设在时间t观察到价格xtx_txt，那么得到T个不独立的随机变量，p(x1,...,xT)∼p(X)p(x_1,...,x_T)\simp(X)p(x1,...,xT)

紫色银杏树·2022-05-22 21:17

vue中@change为什么要绑定一个回调函数_连肝3个晚上，我总结了一份Vue实操绝密干货！（共34条）

这是我学习整理的关于Vue.js系列文章的第一篇，另外还有两篇分别是关于优化和原理的。希望读完这3篇文章，你能对Vue有个更深入的认识。

weixin_39933356·2022-05-21 11:27

Pytorch实现简单自定义网络层的方法

博主在学习了沐神的动手学深度学习这

·2022-05-20 11:45

李沐《动手学深度学习》课程笔记：08 线性回归 + 基础优化算法

目录08线性回归+基础优化算法1.线性回归2.基础优化算法3.线性回归的从零开始实现4.线性回归的简洁实现08线性回归+基础优化算法1.线性回归2.基础优化算法3.线性回归的从零开始实现importrandomimporttorchfromd2limporttorchasd2limportosos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"#根据带有噪声的线性模型

feiwen110·2022-05-20 07:03

Pytorch 目标检测算法(1)（基于李沐老师的课程）

最近从0开始学习了李沐老师的动手学深度学习课程，收益匪浅，想着弄个笔记，若有错误请及时指出，感谢各位！

世界在你手中·2022-05-20 07:30

目标检测（动手学深度学习）

目标检测是计算机视觉中的重要任务之一。本系列博客将总结目标检测的各类算法，包括传统方法、基于CNN的算法（Onestage、Twostage）。本文主要对传统方法进行概述，大部分思想源自网上的博客和论文。个人观点，广义的目标检测不仅包括物体检测（ObjectDetection），还包括边缘检测（BorderDetection）及关键点检测（LandmarkDetection）等。因此本文将涵盖边缘

聆一·2022-05-20 07:00

推荐频道

动手学深度学习学习整理