《动手学深度学习第23页

动手学深度学习(三)——丢弃法(gluon)

文章作者：Tyan博客：noahsnail.com|CSDN|简书注：本文为李沐大神的《动手学深度学习》的课程笔记！

SnailTyan·2022-11-23 12:09

动手学深度学习(三)——丢弃法(从零开始)

文章作者：Tyan博客：noahsnail.com|CSDN|简书注：本文为李沐大神的《动手学深度学习》的课程笔记！

SnailTyan·2022-11-23 12:39

动手学深度学习v2笔记-Day9-卷积神经网络

动手学深度学习v2Day9原书第六章笔记，会不断修改补充内容，如有任何错误，欢迎指出0x00预备知识建议在这章的学习之前先看完下面三个视频什么是卷积神经网络CNN？

CabbSir·2022-11-23 11:39

动手学深度学习v2笔记-Day7-基础知识总结

动手学深度学习v2Day7复习与总结内容均为本人现阶段学习中浅显的理解，如有任何错误，欢迎指出0x00自动微分深度学习其实就是一个复合函数微分可以解决深度学习中的优化问题系统自动构建计算图来跟踪变量参与的计算

CabbSir·2022-11-23 11:09

动手学深度学习v2笔记-Day8-深度学习计算

动手学深度学习v2Day8内容均为本人现阶段学习中浅显的理解，如有任何错误，欢迎指出本章以及之后内容均运行在NVIDIA独立显卡的机器上0x00层和块之前我们已经了解了神经网络中的层结构，现在引入块的概念块可以描述单个层

CabbSir·2022-11-23 11:09

动手学深度学习v2笔记-Day1-线代高数概率

动手学深度学习v2Day10x00线性代数线代这考研必考，没啥多说的，直接看torch的操作importtorch标量a、向量b、矩阵ca=torch.tensor(1.0)b=torch.arange

CabbSir·2022-11-23 11:08

动手学深度学习v2笔记-Day4-多层感知机

动手学深度学习v2Day40x00感知机人工智能最早的模型之一模型定义给一个输入XXX权重WWW偏移量bbb有o=σ(+b)o=\sigma(+b)o=σ(+b)其中σ\sigmaσ函数的选择很多，举例一个二分类问题

CabbSir·2022-11-23 11:08

动手学深度学习v2笔记-Day0-入门

动手学深度学习v2Day00x00安装pytorch各个版本直接引用官网代码安装即可2022.09.22MacM1版本安装代码如下condainstallpytorchtorchvisiontorchaudio-cpytorch0x01

CabbSir·2022-11-23 11:38

动手学深度学习v2笔记-Day6

动手学深度学习v2Day60x00数值稳定性一个d层的神经网络，计算其梯度（复合函数求导）∂l∂wt=∂l∂hd∂hd∂hd−1...

CabbSir·2022-11-23 11:38

（六）学习笔记：动手学深度学习（自动求导）

自动求导1.链式法则1.1向量的链式法则1.1.1实例一1.1.2实例二2.计算图3.自动求导的两种模式3.1正向累积和反向累积3.2反向累积总结3.3复杂度3.3.1反向累积和正向累积复杂度的对比4.自动微分4.1一个简单的例子4.2非标量变量的反向传播4.3分离计算4.4Python控制流的梯度计算4.5小结4.6练习1.链式法则这是因为在深度学习中，多元函数通常是复合（composite）的

卡拉比丘流形·2022-11-23 10:10

动手学深度学习（四十六）——注意力机制

文章目录一、注意力机制二、注意力提示2.1生物学中的注意力提示2.2查询、键和值2.3注意力的可视化三、注意力池化：Nadaraya-Watson核回归3.1生成数据集3.2平均池化3.3非参数的注意力池化3.4带参数的注意力池化3.4.1批量矩阵乘法3.4.2模型定义3.4.2模型训练四、总结一、注意力机制灵长类动物的视觉系统中的视神经接受了大量的感官输入，其内容远远超过了大脑能够完全处理的

留小星·2022-11-23 09:13

动手学深度学习（三十六）——语言模型和数据集

文章目录语言模型和数据集一、学习语言模型1.1理论说明1.2实例推导二、马尔可夫模型与nnn元语法三、自然语言统计3.1对比多元语法组3.2读取长序列数据3.2.1随机采样3.2.2顺序分区3.2.3整理采样函数四、整理五、练习语言模型和数据集在给定这样的文本序列时，语言模型（languagemodel）的目标是估计序列的联合概率。P(x1,x2,…,xT).P(x_1,x_2,\ldots,

留小星·2022-11-23 07:37

动手学深度学习-循环神经网络-day2打卡

今天终于把RNN的坑补上了，基本逻辑挺明白，但是一到代码部分就晕乎了。还是有一些问题没有搞懂，希望在以后真正实践的时候搞清楚吧！RNN基础循环神经网络引入一个隐藏变量HHH，用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1，可以认为HtH_{t}Ht记录了到当前字符为止的序列信息。上图展示了如何基于RNN实现语言模型。

Aileen爱学习·2022-11-23 06:27

卷积神经网络（Alex Net）学习日记

AlexNet与LeNet图示（出处：李沫《动手学深度学习》）AlexNet在设计理念上贯承了LeNet的结构，深度比LeNet更加深，AlexNet使用ReLU而不是sigmoid作为其激活函数，随着深度加深其卷积运算窗口逐渐减少

吃pepper的dog酱·2022-11-23 04:27

pyTorch 快速入门

这几天，我对《动手学深度学习pyTorch版》这本书很感兴趣，但不熟悉pyTorch，所以快速学

_missTu_·2022-11-23 03:40

动手学深度学习笔记三

Task06错题一.批量归一化和残差网络二.凸优化可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。三.梯度下降实现深层循环神经网络需要修改的参数是？num_layers3.GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频

Little_stepL·2022-11-23 02:53

动手学深度学习笔记一

Task01错题一.线性回归加法的广播机制:给Xw中的每个元素加上的偏置是一样的.参数的形状与批量大小没有关系，也正是因为如此，对同一个模型，我们可以选择不同的批量大小。2.y_hat的形状是[n,1]，而y的形状是[n]，两者相减得到的结果的形状是[n,n]，相当于用y_hat的每一个元素分别减去y的所有元素，所以无法得到正确的损失值。对于第一个选项，y_hat.view(-1)的形状是[n]，

Little_stepL·2022-11-23 02:23

【动手学深度学习】环境配置（详细记录，从vmware虚拟机安装开始）

目录装了很多次环境，步骤已精简每一步都不可缺，也得按顺序第一大步：VMware安装+使用①VMware下载及安装②ubuntu18.04下载③VMware使用第二大步：ubuntu18.4基本配置+深度学习配置2.1开机2.2ubuntu基本配置①更换国内源②切换中文界面（非必须，换了好看吧）2.3ubuntu内深度学习环境配置①安装GCC②安装python3.8③安装miniconda④安装py

知立·2022-11-23 01:34

李沐动手学深度学习第四章-4.7前向传播、反向传播和计算图

梯度的自动计算（自动微分）大大简化了深度学习算法的实现。在自动微分之前，即使是对复杂模型的微小调整也需要手工重新计算复杂的导数，学术论文也不得不分配大量页面来推导更新规则。1.前向传播前向传播（forwardpropagation或forwardpass）指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。2.反向传播反向传播（backwardpropagation或backprop

nousefully·2022-11-22 22:36

李沐动手学深度学习安装错误总结

http://t.csdn.cn/eRzBS跟着上述博客进行安装，出现如下问题：第一个问题：明明已经安装了jupyter却出现了这个错误，后来在搜索栏搜索了jupyter-notebook,才找jupyternotebook实际安装的路径，这时将所在路径添加至环境变量中，关闭cmd窗口重新打开，这个错误就解决了。参考http://t.csdn.cn/WX8HO第二个问题：检查后发现没有C\User

wyyoowyy·2022-11-22 21:01

Dive into deep learning(01)[动手学深度学习]———————第一章，预备知识

文章目录Diveintodeeplearning(01)[动手学深度学习]———————第一章，预备知识1、数据操作(DataManipulation)2、数据预处理(DataPreprocessing

梦想实干家杭77·2022-11-22 18:47

pycharm动手学深度学习笔记-01预备知识

笔记参考：B站橘子CSDNpycharm版（简略版笔记）核心的不懂的地方参考沐神的课程主页本地python环境python3.8改成了深度学习专用的文章目录预备知识数据操作和数据预处理线性代数微积分自动求导预备知识数据操作和数据预处理dim啥意思查了一下torch.cat((x,y),dim=0):张量X,Y按照列堆起来torch.cat((x,y),dim=1):张量X,Y按照行并排起来广播机制

东方-教育技术博主·2022-11-22 18:07

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（批量归一化）

批量归一化(BatchNormalization)1.引言当神经网络比较深的时候，数据在下边损失函数在上边，在梯度自动求导,forward是数据从下一点点往上走，计算backWard是从上往下计算（这里有个问题，梯度在上边的时候会比较大，越往下边就越容易变小），因为上边的梯度比较大，那么每次上边的梯度都会不断去更新，下边的梯度比较小，所以权重的更新的就比较小，上边的会很快收敛，下边的会很慢。那么就

Jul7_LYY·2022-11-22 18:20

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（VGG、NIN）

1.vgg引言alexnet比lenet更深更大？能带来更好的精度？能不能更深更大？（1）更多的全连接层【太贵】（2）更多的卷积层（3）讲卷积层组合成块2.vgg（1）vgg16包括3个全连接+13个卷积层（2）CNN感受野计算公式：F(i)=(F(i+1)-1)stride+ksize【概念公式看下方】（3）亮点：通过堆叠三个33卷积核来代替5*5卷积核需要的参数【减少参数】（4）Vgg16网络

Jul7_LYY·2022-11-22 18:50

【深度学习】入门过程个人笔记（持续更新）

主要内容来自于B站up主刘二大人的《PyTorch深度学习实践》以及跟李沐学AI的《动手学深度学习》部分内容来自网络DeepLearning深度学习入门线性模型LinearModel训练目的:找到一组参数使得

杰瑞雾里·2022-11-22 18:08

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（googlenet）

googlenet注意：每个分支所得的特征矩阵高和宽必须相同1.inception块的引入（1）alexnet引入ReLu（缓解梯度消失），隐层全连接层后加入了丢弃层（2）vgg出现卷积层组合成块（通过堆叠三个33卷积核来代替55卷积核需要的参数）（3）nin模型出行1*1卷积，丢弃全连接层（4）googlenet全部结合，inception块，从四个路径从不同层面抽取信息，然后在输出通道维合并（

Jul7_LYY·2022-11-22 18:37

动手学深度学习--线性神经网络篇

线性神经网络前言：该大章分为7小章节，本章我们将介绍神经网络的整个训练过程:如下图顺序所示：定义简单的神经网络架构数据处理指定损失函数如何训练模型1.linear-regression(线性回归)NOTE:回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法：当我们想预测一个数值时，就会涉及到回归问题不是所有的预测都是回归问题，分类问题的目标是预测数据属于一组类别中的哪

yijie_01·2022-11-22 08:54

实用程序类Accumulator

前些日子发现动手学深度学习pytorch版李沐大佬是有课的，之前一直跟着另外一个GitHub项目在学，这里是对之前准确率中的一个实用程序类的解释，防止自己忘记。

小陈是菜狗·2022-11-22 08:21

学习笔记：动手学深度学习 12 softmax回归的从零开始实现

importtorch...:fromIPythonimportdisplay...:fromd2limporttorchasd2l...:...:...:batch_size=256...:train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)BackendQt5Aggisinteractivebackend.Turningint

进击的番茄~·2022-11-22 08:50

《动手学深度学习》softmax回归的从零开始实现

3.6.softmax回归的从零开始实现（动手学深度学习）代码学习笔记importtorchfromIPythonimportdisplayfromd2limporttorchasd2lbatch_size

认真学习！！！·2022-11-22 08:47

《动手学深度学习》实用程序类

计时器classTimer:#@save"""记录多次运行时间。"""def__init__(self):self.times=[]self.start()defstart(self):"""启动计时器。"""self.tik=time.time()defstop(self):"""停止计时器并将时间记录在列表中。"""self.times.append(time.time()-self.tik)

小威W·2022-11-22 08:16

动手学深度学习之softmax实现

Softmax回归回归VS分类回归估计的是一个连续值分类预测一个离散类别从回归到多类分类回归单连续数值输出自然区间R\mathbb{R}R跟真实值区别作为损失分类通常为多个输出输出i时预测为第i类的置信度从回归到多类分类—均方损失对类别进行一位有效编码：意思时一位代表一个类别。$y=[y_1,y_2,…,y_n]^T$yi={1ifi=y0otherwisey_i=\left\{\begin{ma

哈哈哈捧场王·2022-11-22 08:13

动手学深度学习--softmax回归和MLP的pytorch实现

目录softmax从零开始实现导包导入数据初始化模型参数定义softmax操作定义模型损失函数优化函数分类精度训练函数训练预测softmax简洁实现初始化模型参数Softmax的实现优化算法训练多层感知机的从零开始实现初始化模型参数激活函数模型训练评估多层感知机的简洁实现不难，但是一些实现方法比较有特色softmax从零开始实现导包importtorchfromtorchimportnnimpor

iwill323·2022-11-22 08:38

【动手学深度学习】实用程序类Accumulator

这里定义一个实用程序类Accumulator，用于对多个变量进行累加。源代码为：classAccumulator:def__init__(self,n):self.data=[0,0]*ndefadd(self,*args):self.data=[a+float(b)fora,binzip(self.data,args)]defreset(self):self.data=[0,0]*len(sel

旅途中的宽~·2022-11-22 08:02

《动手学深度学习》第三章——（1）线性回归从零开始实现_学习思考与习题答案

文章目录3.1线性回归学习笔记习题习题解答3.1线性回归作者github链接：github链接学习笔记习题如果我们将权重初始化为零，会发生什么。算法仍然有效吗？假设你是乔治·西蒙·欧姆，试图为电压和电流的关系建立一个模型。你能使用自动微分来学习模型的参数吗?您能基于普朗克定律使用光谱能量密度来确定物体的温度吗？如果你想计算二阶导数可能会遇到什么问题？你会如何解决这些问题？为什么在squared_l

coder_sure·2022-11-22 06:52

线性回归-从零开始

简洁实现2.1代码-简洁实现2.2结果-简洁实现3.小结3.1数据加载类3.2线性回归网络3.3损失函数类3.4数据更新优化器(随机梯度下降)3.5训练常用思路如下1.线性回归-从零实现注：代码参考李沐动手学深度学习

取个名字真难呐·2022-11-22 05:47

动手学深度学习v2课后习题线性回归的从零开始实现基于pytorch

1.如果我们将权重初始化为零，会发生什么。算法仍然有效吗？2.假设你是乔治·西蒙·欧姆，试图为电压和电流的关系建立一个模型。你能使用自动微分来学习模型的参数吗?3.您能基于普朗克定律使用光谱能量密度来确定物体的温度吗？4.如果你想计算二阶导数可能会遇到什么问题？你会如何解决这些问题？5.为什么在squared_loss函数中需要使用reshape函数？6.尝试使用不同的学习率，观察损失函数值下降的

lzmmmQAQ·2022-11-22 05:43

Transformer详解

本文主要参考了李沐大佬的《动手学深度学习》，

loki2018·2022-11-22 05:03

【动手学深度学习】关于“softmax回归的简单实现”报错的解决办法（含源代码）

目录：关于“softmax回归的简单实现”报错的解决办法一、前言二、实现步骤2.1导包2.2初始化模型参数2.3重新审视Softmax的实现2.4优化算法2.5训练2.6源代码三、问题出现四、问题的解决五、再跑代码六、改正后的函数源代码一、前言在之前的学习中，我们发现通过深度学习框架的高级API能够使实现线性回归变得更加容易。同样，通过深度学习框架的高级API也能更方便地实现softmax回归模型

旅途中的宽~·2022-11-22 03:22

AttributeError: ‘builtin_function_or_method‘ object has no attribute ‘shuffle‘

今天在复现深度学习的代码的时候，遇到了一个问题，百思不得其解：Traceback(mostrecentcalllast):File"d:\CodeProject\15.动手学深度学习代码手撸\线性回归.

旅途中的宽~·2022-11-22 03:37

实现线性回归——【torch学习笔记】

实现线性回归引用翻译：《动手学深度学习》深度学习的热潮激发了各种成熟的软件框架的发展，这些框架将实现深度学习模型的大部分重复性工作自动化。

一个语文不好的NLPer·2022-11-21 23:47

【动手学深度学习】softmax回归在实现过程中，无法在VSCode中绘制动图的解决办法（含源代码）

一、问题提出李沐老师《动手学深度学习》这本书中，3.6节中涉及到softmax回归的从零开始实现，其中有一个绘制动图的程序，展示的效果很好。

旅途中的宽~·2022-11-21 21:19

【动手学深度学习】每日必看的PyTorch深度学习框架

源代码如下：#Thisfileisgeneratedautomaticallythrough:#d2lbookbuildlib#Don'tedititdirectly#Definedinfile:./chapter_preface/index.mdimportcollectionsfromcollectionsimportdefaultdictfromIPythonimportdisplayimp

旅途中的宽~·2022-11-21 21:48

《动手学深度学习》参考答案(第二版)-第四章

最近在学习《动手学深度学习》，结合百度和课后的大家的讨论(侵删)，整理出这一份可能并不完全正确的参考答案(菜鸡的做题记录)，因为个人水平有限，有错误的地方欢迎在公众号联系我，后面我对错误进行更正时候

平平无奇小扑街·2022-11-21 21:44

【动手学深度学习Pycharm实现4】Softmax的从0开始实现

前言李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。一、背景Softmax跟前面的线性回归模型一样，是一个非常重要的模型，也是所有深度模型的基础，这也是沐神为什么建议我们从0开始实现，了解Softmax的所有细节。二、代码如下python版本：3.8.6torch版本：1.11.0d2l版本：0.17.5importtorchfromIP

Stick_2·2022-11-21 21:44

《动手学深度学习》参考答案(第二版)-第三章