《动手学深度学习第17页

【动手学深度学习----注意力机制笔记】

注意力提示因此，“是否包含自主性提示”将注意力机制与全连接层或汇聚层区别开来。在注意力机制的背景下，我们将自主性提示称为查询（query）。给定任何查询，注意力机制通过注意力汇聚（attentionpooling）将选择引导至感官输入（sensoryinputs，例如中间特征表示）。在注意力机制中，这些感官输入被称为值（value）。更通俗的解释，每个值都与一个键（key）配对，这可以想象为感官输

瞲_大河弯弯·2023-01-03 20:06

《动手学深度学习》-E2-2

1.创建TensorFlow一、x1=tf.constant(range(12))x2=tf.constant([1,2,3],[1,2,3])x3=tf.reshape(x1,(3,4))x4=tf.zeros((2,3,4))x5=tf.ones((2,3,4))二、有些情况下，我们需要随机生成tensor中每个元素的值。下面我们创建一个形状为(3,4)的tensor。它的每个元素都随机采样于

m0_37773168·2023-01-03 20:36

动手学深度学习--第一课

一、线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+bprice=warea⋅area+wa

loveheart123·2023-01-03 20:06

李沐动手学深度学习-06矩阵计算

06矩阵计算矩阵计算中最重要的就是矩阵的导数计算，这对于深度学习或者机器学习的训练与优化都是非常重要的依据如果dy/dx，如果y是一个标量，而x是一个向量，那么就需要使用y的这个表达式，对x1,x2全部求一次导，然后变成一个向量；相反如果y是一个向量而x是一个标量的话，那么每一个y都需要对指定的x进行求导；如果x，y都是向量，那么就是每一个y都需要对每一个x进行求导。拓展到矩阵可以看出，如果矩阵和

Allure丶憨憨·2023-01-03 20:05

李沐动手学深度学习概率部分报错

我用的版本情况：tensorflow2.9.1tensorflow-estimator2.9.0rc0tensorflow-io-gcs-filesystem0.26.0tensorflow-probability0.14.0d2l0.17.5numpy1.21.5先看代码：importnumpyasnpimporttensorflowastfimporttensorflow_probabilit

qq_44788215·2023-01-03 19:19

【动手学深度学习v2】计算机视觉——1数据增广

数据增广数据增广图片增广常用图片增广操作翻转和裁剪改变颜色数据增广通过对数据变形，获取多样性，从而使得模型泛化性能更好。语音：增加噪音图片：改变颜色/形状图片增广训练时，从原始数据，随机、在线生成测试时，不进行图片增强常用图片增广操作翻转和裁剪左右翻转上下翻转（取决于数据集样子，叶子可以翻转，楼房不翻转）切割：从图片中切割一块，变形到固定长度（随机高宽比，随机大小，随机位置）改变颜色色调（黄色、绿

Hannah2425·2023-01-03 13:29

【动手学深度学习v2】计算机视觉——2微调

微调Fine-Tuning1网络架构2微调步骤3训练4常用技术重用分类器权重固定一些层5总结1网络架构一个神经网络一般可以分两块：特征抽取，将原始像素变成容易线性分割的特征Softmax回归，线性分类器做分类2微调步骤Pretrain:在源数据集（例如ImageNet数据集）上预训练神经网络模型，即源模型。Copy:创建一个新的神经网络模型，即目标模型。复制源模型上的所有模型设计及其参数（输出层除

Hannah2425·2023-01-03 13:29

动手学深度学习学习笔记tf2.0版（3.3: 线性回归的简单实现）

线性回归学习笔记github代码地址：https://github.com/taichuai/d2l_zh_tensorflow2.0tf2.0线性回归简单实现，前面数据都是和上一篇一样，就不一一解释了主要内容总结：１、创建模型：tf.kears.Sequential(),tf.keras.layer直接创建,并且可以使用tensorflow.initializers进行参数初始化２、损失函数：t

Zero_to_zero1234·2023-01-03 12:12

《动手学深度学习v2》之细致解析（2)数据处理以及相关数学基础

前言作者来自北京某不知名985，现在是本科在读学生，专业是数据科学与大数据技术，班上同学都太卷了，没办法，需要学习深度学习，经大佬介绍，在B站上找到了一个很不错的资源，李沐老师的《动手学深度学习v2》，

Trafalger D Water Law·2023-01-03 08:02

【深度学习】《动手学深度学习》环境配置

首先我们可以去https://developer.nvidia.com/cuda-toolkit-archive下载点进去，不管你是win11还是win10都能点win10版本下载下载完成之后打开安装即可之后我们使用anacondanavigator新建一个环境：anacondanavigator是anaconda的一个图形化管控界面，安装anaconda之后会有https://www.anaco

zbossz·2023-01-02 18:51

2.2_tensor

作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。在PyTorch中，torch.Tensor是存储和变换数据的主要工具。

给算法爸爸上香·2023-01-02 16:05

动手学深度学习pytorch入门

本项目将《动手学深度学习》原书中MXNet代码实现改为PyTorch实现。

chadqiu·2023-01-02 16:04

《动手学深度学习》5、9.1(计算机视觉)学习小结

目录第五章的卷积神经网络概述为什么playkaggle的CIFAR-10竞赛CIFAR-10竞赛经验和教训其他吐槽第五章的卷积神经网络概述第五章介绍的卷积神经网络大多是在imagenet竞赛上的历年冠军。从书中可以看到卷积网络从刚开始的lenet,到引入图像增广的Alexnet,到并行的goognet,以及模块化的VGG，NiN，再到跳跃传输x，拟合f(x)-x的残差网络，以及在此基础上变换通道数

数学家面膜·2023-01-02 16:33

PyTorch动手学深度学习笔记目录

PyTorch动手学深度学习目录1_deep-learning-intro2.1_install2.2_tensor2.3_autograd3.1_linear-regression3.2_linear-regression-scratch3.3

给算法爸爸上香·2023-01-02 16:30

Softmax分类以及交叉熵详解

Softmax分类以及交叉熵详解Softmax分类写这篇文章的目的是记录下实现分类时所遇到的问题在李沐的动手学深度学习中有这样的代码y=torch.tensor([0,2])y_hat=torch.tensor

深度学习渣·2023-01-02 13:23

《动手学深度学习》课后习题1

《动手学》：线性回归**1.**假如你正在实现一个全连接层，全连接层的输入形状是7×8，输出形状是7×1，其中7是批量大小，则权重参数w和偏置参数b的形状分别是____和____答案：8×1,1×12.课程中的损失函数定义为：defsquared_loss(y_hat,y):return(y_hat-y.view(y_hat.size()))**2/2将返回结果替换为下面的哪一个会导致会导致模型无

极客阿宝·2023-01-02 13:53

深度学习笔记（线性神经网络）

3.1.线性回归—动手学深度学习2.0.0-beta1documentation目录3.1.线性回归—动手学深度学习2.0.0-beta1documentation3.1线性回归3.1.1线性回归的基本元素

han_lx、·2023-01-02 13:21

学习笔记7：关于softmax回归的一些理解（未完）

课程：李沐《动手学深度学习v2》本节课件：softmax回归的从零开始实现一、方括号再方括号就是上图用红色方框圈出来的地方。

Asdzxcyuihjkqwe·2023-01-02 13:18

纯小白动手学深度学习之细致解析（1)内容及介绍及安装

前言作者来自北京某不知名985，现在是本科在读学生，专业是数据科学与大数据技术，班上同学都太卷了，没办法，需要学习深度学习，经大佬介绍，在B站上找到了一个很不错的资源，李沐老师的《动手学深度学习v2》，

Trafalger D Water Law·2023-01-02 10:11

anchor——锚框详细介绍与实现

本文章参考动手学深度学习一书，主要使用的是mxnet深度学习模块，在jupyter上进行实现。

心无旁骛~·2023-01-01 14:43

softmax回归和交叉熵损失函数

本文章参考动手学深度学习一书，主要使用的是mxnet深度学习模块，在jupyter上进行实现。softmax回归线性回归模型适用于输出为连续值的情景。

心无旁骛~·2023-01-01 14:43

《动手学深度学习》(PyTorch版)要点笔记 - 2 【3.11.1 训练误差和泛化误差】

目录训练误差泛化误差总结训练误差训练误差（trainingerror）：模型在训练数据集上表现出的误差泛化误差泛化误差（generalizationerror）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似总结一味地降低训练误差并不意味着泛化误差一定会降低。机器学习模型应关注降低泛化误差。

Hurri_cane·2023-01-01 14:41

深度学习优化算法：梯度下降GD、随机梯度下降SGD、小批量梯度下降MBGD、动量法(momentum)

原文链接：动手学深度学习pytorch版：优化算法7.1-7.4github：https://github.com/ShusenTang/Dive-into-DL-PyTorch最好去看一下原书和GitHub

ywm_up·2023-01-01 11:12

CUDA和Pytorch（GPU版）安装问题解决

PyTorchCUDA官网：CUDAToolkit11.7Update1Downloads|NVIDIADeveloperB站Up跟李沐学AI的vedio：Windows下安装CUDA和Pytorch跑深度学习-动手学深度学习

想要有书读·2022-12-31 16:45

动手学深度学习V2——李沐Bilibili直播视频Jupyter Notebook安装

在哔哩哔哩上发现李沐是视频直播讲解《动手学深度V2》-Pytorch，准备按照视频中的安装教程来搭建一个新的虚拟环境d2l，李沐使用的是JupyterNotebook而不是Pycharm，在安装学习中了解到二者都是Python代码编辑器，可根据不同的项目需求进行选择，二者不能混为一谈。安装开始按照书中的步骤安装了Python3.8和torch和torchvision最新的版本，运行后提示cuda版

wangcan2166·2022-12-31 15:23

深度学习环境搭建-整理参考链接

1、李沐深度学习课程安装动手深度学习–windows环境安装李沐《动手学深度学习》学习笔记（2）windows10下的环境配置李沐动手学深度学习视频教程环境配置2、Windows搭建gpu或者cpu版本的

码农小C·2022-12-31 15:19

【动手学深度学习】0

前言自学笔记一、学习准备：贴出李沐老师标明的资源：1、课程主页：https://courses.d2l.ai/zh-v22、教材：https://zh-v2.d2l.ai/3、课程论坛讨论：https://discuss.d2l.ai/c/164、Pytorch论坛：https://discuss.pytorch.org/二、为什么想学这门课？What：深度学习里有哪些技术How：如何实现调参Wh

Roar_Ryoma·2022-12-31 15:17

动手学深度学习-2021.11.09

动手学深度学习-2021.11.09线性回归从零开始实现pytorch，环境还没弄，先学着原理李沐学AI每天一个模块代码块学习导入相关模块%matplotlibinline//绘图函数importrandomimporttorchfromd2limporttorchasd2l

Anday33·2022-12-31 15:17

李沐动手学深度学习环境搭建

李沐动手学深度学习环境搭建1环境我的环境是ubuntu18.04，在腾讯云上买的轻量云服务器进行使用，没有GPU，前几章可以正常使用，后面用到GPU就不好使了。可以作为一个快速上手的过渡版本。

NUAA_Peter·2022-12-31 15:14

李沐动手学深度学习V2-图像增广和代码实现

图像增广大型数据集是成功应用深度神经网络的先决条件，因为解决了大型复杂网络的过拟合性。图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。我们还可以调整亮度、

cv_lhp·2022-12-31 00:23

RNN学习-序列模型预测实战

一、任务构建一个序列，1000个模拟sin的数据，加上normal噪声利用一个双线性层来训练得到的结果分别利用单步、自预测和多步预测对比思路参考：李沐《动手学深度学习》附加说明：由于是练习，所以内容实现全部用自己构建的函数实现

自在犹仙·2022-12-30 14:09

权重衰减 - 《动手学深度学习》 - 书栈网 · BookStack...

3.12.权重衰减上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减(weightdecay)。3.12.1.方法权重衰减等价于范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述

weixin_39922151·2022-12-30 11:17

深度学习的权重衰减是什么_动手学深度学习13-权重衰减

上一节中提提到的过拟合现象，在模型的训练误差远小于测试集上的误差。虽然增大训练接数据集可以减轻过拟合，但是获得额外的训练数据往往代价过大，本节介绍过拟合常用的方式:权重衰减(weightdecay)。权重衰减权重衰减等价于L2范数正则化(regularzation)。正则化通过模型损失函数添加惩罚项使学到的模型参数值较小，是应对过拟合的常用方法，我们先描述L2范数正则化，再解释它为何称为权重衰减。

weixin_39750195·2022-12-30 10:47

（一）学习笔记：动手学深度学习

文章目录前言1.AI地图2.深度学习在应用上的突破2.1图片分类2.2物体检测和分割2.3样式迁移2.4人脸合成2.5文字生成2.6无人驾驶3.案例研究------广告点击3.1问题背景3.2步骤3.3机器学习的在其中的应用3.4完整的故事前言时至今日，我们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在我们要编写一个程序来管理网上商城。经过思考，我们可能提出如下一个解决方案：首先，用户

卡拉比丘流形·2022-12-30 10:44

【动手学深度学习】12.权重衰减--防止过拟合

1、方法权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。原始损失函数如下：带有L2范数惩罚项的新损失函数为：较⼩的λ值对应较少约束的w，⽽较⼤的λ值对w的约束更⼤计算梯度方法：理解：1、正则项就是防止达到损失函数最优导致过拟合，把损失函数最优点往外拉一拉。2、损失函数加上正则项成为目标函数，目标函数最优解不是损失函数最优解。train

ShadoooWM·2022-12-30 10:12

李沐动手学深度学习V2-双向循环神经网络Bidirectional RNN和代码实现

一.双向循环神经网络和代码实现1.介绍在序列学习中，以往假设的目标是：在给定观测的情况下（例如在时间序列的上下文中或在语言模型的上下文中），对下一个输出进行建模，虽然这是一个典型情景，但不是唯一的，例如我们考虑以下三个在文本序列中填空的任务：我___。我___饿了。我___饿了，我可以吃半头猪。根据可获得的信息量，我们可以用不同的词填空，如“很高兴”（“happy”）、“不”（“not”）和“非常

cv_lhp·2022-12-30 10:06

动手学深度学习v2-pytorch神经网络基础

层和块：importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFnet=nn.Sequential(nn.Linear(20,256),nn.ReLU(),nn.Linear(256,10))X=torch.rand(2,20)net(X)nn.Sequential定义了一种特殊的ModuleModule任何一个层和神经网络应该都是Mo

Hzt_dreamer·2022-12-30 08:47

动手学深度学习（现代卷积神经网络学习笔记）

现代卷积神经网络之前的传统的机器学习方式，是传入人工制作选取的图像特征作为输入，训练后送入分类器中，如今是原始图像（可能裁剪）输入网络进行训练。计算机视觉研究人员相信，从对最终模型精度的影响来说，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步要大得多。大纲主要有以下结构，学习这些结构，包含的思想，有助于以后自己网络模型的搭建AlexNet。它是第一个在大规模视觉竞赛中击败传

遥感人遥感魂·2022-12-30 07:14

[Pytorch]＜动手学深度学习＞pytorch笔记-----线性回归

1.房屋价格预测的模型建立1.1数学定义设房屋的面积为，房龄为，售出价格为y。我们需要建立基于输入和来计算输出y的表达式，也就是模型（model）。顾名思义，线性回归假设输出与各个输入之间是线性关系:其中和是权重（weight），b是偏差（bias），且均为标量。它们是线性回归模型的参数（parameter）。模型输出是线性回归对真实价格y的预测或估计。我们通常允许它们之间有一定误差。1.2模型训

End1esz·2022-12-30 03:30

《动手学深度学习》7.4. 含并行连结的网络（GoogLeNet）

《动手学深度学习》7.4.含并行连结的网络（GoogLeNet）1.训练部分导入功能包importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromtorchsummaryimportsummaryimportMyFunctionasMFInception

whut_52xj·2022-12-29 23:16

【动手学深度学习PyTorch版】19 含并行连结的网络 GoogLeNet / Inception V3

上一篇请移步【动手学深度学习PyTorch版】17深度卷积神经网络AlexNet_水w的博客-CSDN博客【动手学深度学习PyTorch版】18使用块的网络VGG_水w的博客-CSDN博客【动手学深度学习

水w·2022-12-29 23:42

动手学深度学习——含并行连结的网络GoogLenet

1、网络结构2、Inception块四个路径从不同层面抽取信息，然后再输出通道维合并。4条线路都使⽤了合适的填充来使输⼊与输出的⾼和宽⼀致。第一个Inception块，显示通道数，降低通道数来控制模型复杂度；每条路上通道数可能不同。跟3x3或者5x5卷积层比，Inception块有更少的参数个数和计算复杂度。3、GoogLenet5段，9个Inception块（1）段1和2更小的宽口，更多的通道。

橙子吖21·2022-12-29 23:12

32李沐动手学深度学习v2/含并行连结的网络，GoogLeNet

Inception块importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#GoogLeNet的v1版本的inception块classInception(nn.Module):def__init__(self,in_channels,c1,c2,c3,c4,**kwargs):'''in

xcrj·2022-12-29 23:08

动手学深度学习系列笔记02预备知识-02数据预处理pandas

读取数据集注释#@save是一个特殊的标记，该标记下方的函数、类或语句将保存在d2l软件包中，以便以后可以直接调用它们（例如d2l.mkdir_if_not_exist(path)）而无需重新定义将数据集按行写入csv文件中。importosos.makedirs(os.path.join('/home','data'),exist_ok=True)#确保目录存在data_file=os.path

kira_Y·2022-12-29 20:19

《动手学深度学习》之深度卷积神经网络（AlexNet）

参考深度卷积神经网络（AlexNet）importtimeimporttorchfromtorchimportnn,optimimporttorchvisionimportsyssys.path.append("..")importd2lzh_pytorchasd2ldevice=torch.device('cuda'iftorch.cuda.is_available()else'cpu')cla

乾巽·2022-12-29 17:44

动手学深度学习（四十三）——机器翻译及其数据构建

文章目录一、机器翻译二、机器翻译数据集1.下载和预处理数据集1.1文本预处理1.2词元化[tokenization](https://zhuanlan.zhihu.com/p/371300063)1.3词汇表（[wordembedding](https://www.zhihu.com/question/32275069)）2.加载数据集小结练习这篇Blog开始介绍翻译，都是NLP的相关内容，翻

留小星·2022-12-29 15:12

【动手学深度学习v2】注意力机制—2 使用注意力机制Seq2Seq

使用注意力机制的seq2seq动机Seq2Seq+Attention(Bahdanau注意力模型)总结参考系列文章在【动手学深度学习v2】注意力机制—1注意力评分函数，讲解了注意力评分函数的两种形式，但未阐明何为

Hannah2425·2022-12-29 14:49

《动手学深度学习》tensorflow2.0版第三章笔记

《动手学深度学习》tensorflow2.0版第三章笔记线性回归训练图像分类数据集（Fashion-MNIST）训练误差（trainingerror）和泛化误差（generalizationerror）

「已注销」·2022-12-28 18:08

动手学深度学习---从全连接层到卷积层篇

卷积神经网络1.从全连接层到卷积层前言：MLP适合处理表格数据，行对应样本，列对应特征。但对于高维感知数据，就会变得不实用（数据量过于庞大，需要大量GPU和耐心）采用卷积神经网路(convolutionalneuralnetworks,CNN)时机器学习利用自然图像中一些已知结构的创造性方法不变性不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性

yijie_01·2022-12-28 16:21

推荐频道

《动手学深度学习