动手学深度学习第12页

10 多层感知机

李沐大神动手学深度学习课程笔记简单学习笔记，详情请阅读https://zh-v2.d2l.ai/importtorchfromtorchimportnnfromd2limporttorchasd2lbatch_size

Myrna_Q·2023-04-03 13:38

《动手学深度学习》之多层感知机

文章目录多层感知机从线性到非线性激活函数ReLU函数sigmoid函数tanh函数模型选择、欠拟合和过拟合训练误差和泛化误差统计学习理论模型复杂性模型选择验证集KKK折交叉验证权重衰减范数与权重衰减Dropout正向传播、反向传播和计算图数值稳定性和模型初始化梯度消失和梯度爆炸参数初始化默认初始化Xavier初始化环境和分布偏移分布偏移的类型协变量偏移标签偏移概念偏移分布偏移示例医学诊断自动驾驶汽

QxwOnly·2023-04-03 13:05

[动手学深度学习] 03 多层感知机

多层感知机1.多层感知机1.1激活函数1.2多层感知机的实现2.正则化2.1范数2.21范数与2范数正则化3.Dropout3.1简单实现Reference1.多层感知机多层感知机(multilayerperceptron)通常被称作MLP，也叫做深度前馈网络。多层感知机中的多层体现在，在之前的先行神经网络中添加了一个隐藏层。如下图所示：这是一个两层的神经网络。其中的层数指的是神经元之间的权重参数

gokingd·2023-04-03 13:32

动手学深度学习_多层感知机

MLP多层感知机解决了非线性问题！结束了！就是这样！一个简单的两层MLP（关于MLP的层数，除去输入层剩下的都算作层数）的实现。importtorchfromd2limporttorchasd2lfromtorchimportnnbatch_size,lr,num_epochs=256,0.1,10train_iter,test_iter=d2l.load_data_fashion_mnist(b

CV小Rookie·2023-04-03 13:22

动手学深度学习之多层感知机

多层感知机(MLP)是早期就出现的神经网络，拥有一层隐藏层，但由于没有非线性的激活函数，即使2层也只是做线性映射，功效与单层输出的神经网络差不多，本节将介绍MLP的基本概念以及如何解决MLP存在的缺陷。MLP隐藏层形式化如下：H=XWh+BhO=HWo+Bo=XWhWo+BhWo+BoH=XW_h+B_h\\O=HW_o+B_o=XW_hW_o+B_hW_o+B_oH=XWh+BhO=HWo+Bo

程序猿一帆·2023-04-03 13:21

《动手学深度学习》（3）多层感知机

目录感知机多层感知机解决XOR问题单隐藏层激活函数Sigmoid激活函数Tanh激活函数ReLU激活函数多类分类多隐藏层总结多层感知机的实现模型选择两种误差验证数据集和测试数据集K折交叉验证总结过拟合和欠拟合模型容量估计模型容量VC维数据复杂度总结其他知识点权重衰退使用均方范数作为硬性限制使用均方范数作为柔性限制参数更新法则总结其他知识点丢弃法（dropout）数值稳定性模型初始化和激活函数让训练

坚持不懈的小白白·2023-04-03 13:43

CSDN周赛第41期：赢《动手学深度学习（PyTorch版）》和定制周边

本场竞赛由「人民邮电出版社&CSDN」联合主办，「卷积传媒」协办。一、报名方式第41期周赛报名地址，3月29日19点开考（周三）：https://edu.csdn.net/contest/detail/54第42期周赛也在报名中，4月2日9点开考（周日）：https://edu.csdn.net/contest/detail/56第43期周赛也在报名中，4月5日19点开考（周三）：https://

CSDN学习·2023-04-03 11:37

[动手学深度学习-PyTorch版]-3.9深度学习基础-多层感知机的从零开始实现

3.9多层感知机的从零开始实现我们已经从上一节里了解了多层感知机的原理。下面，我们一起来动手实现一个多层感知机。首先导入实现所需的包或模块。importtorchimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2l3.9.1获取和读取数据这里继续使用Fashion-MNIST数据集。我们将使用多层感知机对图像进行

蒸饺与白茶·2023-04-02 14:56

动手学深度学习001

线性回归这里考虑的是二元线性回归一共引入三个参数，两个weight分别对应面积和房龄，还有一个bias使用的数据集是许多形如((area,age),price)的样本对损失函数如下优化方式使用梯度下降首先我们需要注意要多使用矢量加法，python的for循环调用解释器进行操作效率较低，而矢量加法的底层使用了一些C++和BLAS库的加速，效率很高一个标准的流程Softmax多层感知机

狂蛆如龙·2023-04-02 14:08

[动手学深度学习-PyTorch版]-6.4循环神经网络-循环神经网络的从零开始实现

6.4循环神经网络的从零开始实现在本节中，我们将从零开始实现一个基于字符级循环神经网络的语言模型，并在周杰伦专辑歌词数据集上训练一个模型来进行歌词创作。首先，我们读取周杰伦专辑歌词数据集：importtimeimportmathimportnumpyasnpimporttorchfromtorchimportnn,optimimporttorch.nn.functionalasFimportsys

蒸饺与白茶·2023-04-02 13:32

跟李沐导师：动手学深度学习！

二月学习需求收集李沐动手学深度学习热度排名第二。根据读者的学习建议，Datawhale团队联系了李沐老师，将组织动手学深度学习课程的学习。

guangcheng0312q·2023-03-31 14:03

你期待已久的《动手学深度学习》（PyTorch版）来啦！

《动手学深度学习》全新PyTorch版本，李沐和亚马逊科学家阿斯顿·张等大咖作者强强联合之作，机器学习、深度学习领域重磅教程，交互式实战环境，配套资源丰富！

人邮异步社区·2023-03-29 10:11

李沐-动手学深度学习（八）多层感知机

【总结】感知机是一个二分类的问题，是最早的AI模型之一。它的求解算法等价于使用批量大小为1的梯度下降。它不能拟合XOR函数，导致第一次AI寒冬。多层感知机使用隐藏层和激活函数来得到非线性模型。常用的激活函数时Sigmoid、Tanh、ReLU。使用Softmax来处理多类分类。超参数为隐藏层数，和各个隐藏层大小。1、感知机比线性回归多了个激活函数，激活函数有很多种选择。感知机是个二分类的问题，是最

minlover·2023-03-28 14:51

[动手学深度学习-PyTorch版]-1.深度学习简介

你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。实际上，或者说幸运的是，大部分程序并不需要深度学习或者是更广义上的人工智能技术。例如，如果我们要为一台微波炉编写一个用户界面，只需要一点儿工夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。再比如，假设我们要编写一个电子邮件客

蒸饺与白茶·2023-03-28 14:53

好使的网站合集

+图形比例自调+……OfficePLUS世界地图-PixelMapGenerator消除图片中的背景–remove.bg设计-Canva在线平面设计软件|拼图软件|图片编辑器–FotoJet学习相关《动手学深度学习

丿曰·2023-03-27 14:22

[动手学深度学习-PyTorch版]-7.3优化算法-小批量随机梯度下降

7.3小批量随机梯度下降在每一次迭代中，梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降（batchgradientdescent）。而随机梯度下降在每次迭代中只随机采样一个样本来计算梯度。正如我们在前几章中所看到的，我们还可以在每轮迭代中随机均匀采样多个样本来组成一个小批量，然后使用这个小批量来计算梯度。下面就来描述小批量随机梯度下降。image.png7.3.1读取数据本章

蒸饺与白茶·2023-03-27 05:31

[动手学深度学习-PyTorch版]-3.5深度学习基础-图像分类数据集(Fashion-MINIST)

3.5图像分类数据集（Fashion-MNIST）在介绍softmax回归的实现前我们先引入一个多类图像分类数据集。它将在后面的章节中被多次使用，以方便我们观察比较算法之间在模型精度和计算效率上的区别。图像分类数据集中最常用的是手写数字识别数据集MNIST[1]。但大部分模型在MNIST上的分类精度都超过了95%。为了更直观地观察算法之间的差异，我们将使用一个图像内容更加复杂的数据集Fashion

蒸饺与白茶·2023-03-23 21:40

李沐-动手学深度学习（七）softmax回归

【总结】softmax是一个多类的分类问题。使用softmax操作子得到每个类的预测置信度。使用交叉熵来衡量预测和标号的区别。1、回归与分类回归：预测一个连续值分类：预测一个离散类别2、softmax与交叉熵损失首先对类别进行编码，独热编码，假设有n个类别，那么就是一个长为n的向量。上图最后一行，就是选最大化置信度的i作为预测的类别（i就是预测的标号，o是置信度）。o_i其实数值不关心，重要的是使

minlover·2023-03-23 18:15

动手学深度学习Task2笔记

循环神经网络什么是循环神经网络下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量，用表示在时间步的值。的计算基于和，可以认为记录了到当前字符为止的序列信息，利用对序列的下一个字符进行预测。循环神经网络构造由于引入了，能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。由于的计算基于

GaryLi077·2023-03-23 11:13

【学习笔记】动手学深度学习1

动手学深度学习笔记1关于本书数字：标量可以看作0维张量向量可以看作1维张量矩阵可以看作2维张量张量可以看作一个多维数组关于本书函数和运算符指示函数是定义在某集合X上的函数，表示其中有哪些元素属于子集A。

华慕·2023-03-22 07:02

【动手学深度学习】(task1)注意力机制（更新中）

note注意力机制文章目录note零、基础回顾0.0不同人员的学习定位0.1AI地图0.2深度学习的应用0.3答疑一、可视化注意力权重1.1查询、键和值1.2注意力的可视化1.3小结和练习二、注意力汇聚：Nadaraya-Watson核回归2.1平均汇聚2.2非参数注意力汇聚2.3带参数注意力汇聚三、注意力评分函数四、Bahdanau注意力五、多头注意力六、自注意力和位置编码6.1比较卷积神经网络

山顶夕景·2023-03-21 07:08

跟李沐学AI——动手学深度学习 PyTorch版——学习笔记pycharm版本（第一天——00-03）2023.2.26

参考内容：李沐大神的B站视频动手学深度学习PyTorch版《动手学深度学习》第二版计划用时1个月的时

yy_helloworld·2023-03-17 16:40

《动手学深度学习》阅读笔记

第一章：回归1.获取数据集Fashion-MNIST是一个10类服饰分类数据集，体量比较小所以使用它importtorchimporttorchvisionimporttorchvision.transformsastransformsimportmatplotlib.pyplotaspltimporttimeimportsyssys.path.append("D:\anaconda\Lib")#

Diros1g·2023-03-17 08:25

解决 jupyter command not found的问题

按照《动手学深度学习》这本书的指引，在完成软件安装和环境部署中有个很多人会遇到的问题也就是，在终端输入jupyternotebook收到反馈：-bash:jupyter:commandnotfound下面贴解决办法

DanlinC·2023-03-10 17:44

【Pytorch】用自动微分求sin(x)的导数

我们的需求是：图片来源：李沐：《动手学深度学习PyTorch版》1.2解决思路我们使用pytorch的自动微分机制来实现，我第一次是这么写的：importtorchx=torch.arange(-5,5,0.01

SinHao22·2023-03-10 16:52

经典模型LeNet跑Fashion-MNIST 代码解析

测试6.6.卷积神经网络（LeNet）—动手学深度学习2.0.0documentationimporttorchfromtorchimportnnfromd2limporttorchasd2lnet=nn.Sequential

Rondox·2023-03-09 16:00

现代卷积神经网络（ResNet）

文章部分文字和代码来自《动手学深度学习》文章目录残差网络（ResNet）恒等变换跳跃连接残差块ResNet模型结构实现残差块ResNet利用ResNet50进行CIFAR10分类数据集损失函数优化器训练可

青云遮夜雨·2023-03-09 11:21

现代卷积神经网络(NiN),并使用NIN训练CIFAR10的分类

文章部分文字和代码来自《动手学深度学习》文章目录网络中的网络（NiN）简介全局平均汇聚层和VGG的区别优点网络结构定义实现实战（CIFAR10分类）模型设计导入模块数据集训练和评估保存模型测试网络中的网络

青云遮夜雨·2023-03-09 11:21

现代神经网络(VGG)，并用VGG16进行实战CIFAR10分类

文章部分文字和代码来自《动手学深度学习》文章目录使用块的网络(VGG)VGG块定义实现VGG和AlexNet的区别VGG16模型设计实现利用VGG16进行CIFAR10分类数据集超参数，优化器，损失函数训

青云遮夜雨·2023-03-09 11:20

现代卷积神经网络(AlexNet)

文章部分文字和代码来自《动手学深度学习》文章目录深度卷积神经网络（AlexNet）学习表征AlexNet架构模型设计使用模型进行Fashion-MNIST分类数据集超参数、优化器，损失函数训练测试结果深度

青云遮夜雨·2023-03-09 11:50

现代卷积神经网络(GoogleNet)，并使用GoogleNet进行实战CIFAR10分类

文章部分文字和代码来自《动手学深度学习》文章目录含并行连结的网络（GoogLeNet）Inception块定义和结构实现GoogLeNet模型结构实现实战导包数据集优化器，损失函数训练和评估含并行连结的网

青云遮夜雨·2023-03-09 10:23

[动手学深度学习-PyTorch版]-3.3深度学习基础-线性回归的简洁实现

3.3线性回归的简洁实现随着深度学习框架的发展，开发深度学习应用变得越来越便利。实践中，我们通常可以用比上一节更简洁的代码来实现同样的模型。在本节中，我们将介绍如何使用PyTorch更方便地实现线性回归的训练。3.3.1生成数据集我们生成与上一节中相同的数据集。其中features是训练数据特征，labels是标签。num_inputs=2num_examples=1000true_w=[2,-3

蒸饺与白茶·2023-03-08 22:12

李沐的深度学习笔记来了！

去年年初，机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月，超过28000人参与了直播，课程回放在B站的播放量达到了上百万次。

Datawhale·2023-03-08 21:01

动手学深度学习（十一、自然语言处理基础知识）

动手学深度学习（十一、自然语言处理基础知识）附两个词向量基础的博客链接：word2vec原理--CBOW与Skip-Gram模型基础Word2Vec-知其然知其所以然词向量：word2vector、Glove

jiangchao98·2023-02-24 07:18

动手学深度学习（MXNet）6：自然语言处理

本章中，根据输入与输出的不同形式，按”定长到定长“、”不定长到定长“，”不定长到不定长“的顺序，逐步展示在自然语言处理中如何表征并变换定长的词或类别以及不定式的句子或段落序列。词嵌入（word2vec）把词映射为实数域向量的技术也叫词嵌入（wordembedding）。为何不采用one-hot向量跳字模型：训练通过最大化似然函数来学习模型参数，即最大似然估计。这等价于最小化以下损失函数：如果使用随

CopperDong·2023-02-24 07:16

BERT - PyTorch

动手学深度学习笔记一、BERT1.BERT：把两个结合起来2.BERT的输入表示3.编码器4.预训练任务掩蔽语言模型下一句预测5.整合代码二、用于预训练BERT的数据集1.下载并读取数据集2.生成下一句预测任务的数据

葫芦娃啊啊啊啊·2023-02-23 21:26

「动手学深度学习」多层感知机

主要内容多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用PyTorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayerperceptron，MLP）为例，介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。image表达公式具体来说，给定一个小批量样本，其批量大小为，输入个

icebearC·2023-02-18 10:13

[动手学深度学习-PyTorch版]-4.1深度学习计算-模型构造

4.1模型构造让我们回顾一下在3.10节（多层感知机的简洁实现）中含单隐藏层的多层感知机的实现方法。我们首先构造Sequential实例，然后依次添加两个全连接层。其中第一层的输出大小为256，即隐藏层单元个数是256；第二层的输出大小为10，即输出层单元个数是10。我们在上一章的其他节中也使用了Sequential类构造模型。这里我们介绍另外一种基于Module类的模型构造方法：它让模型构造更加

蒸饺与白茶·2023-02-18 06:13

[动手学深度学习-PyTorch版]-3.11深度学习基础-模型选择、欠拟合和过拟合

3.11模型选择、欠拟合和过拟合在前几节基于Fashion-MNIST数据集的实验中，我们评价了机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不一定更准确。这是为什么呢？3.11.1训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（trainingerror）和泛化误差（generali

蒸饺与白茶·2023-02-17 08:19

自注意力和位置编码（比较卷积神经网络、循环神经网络和自注意力）

参考：10.6.自注意力和位置编码—动手学深度学习2.0.0documentation在深度学习中，经常使用卷积神经

流萤数点·2023-02-07 09:32

[动手学深度学习(PyTorch)]——梦开始的地方

Star星屹程序设计·2023-02-06 10:48

沐神-动手学深度学习-线性回归

引言写在2022年暑假，结果只写了个环境配置就因为杂七杂八的原因没有学完。现在是研一下学期了，趁着不需要开题的空挡，在学一些专业技能吧。线性回归的概念线性回归其实很容易理解，他的目的就是通过直线拟合输入输出数据，得到输入与输出的变化关系，从而可以实现数据的分析、预测。详细点解释就是，我们首先通过实验得到输入输出数据；其次我们将模型已经确定为线性模型，因此可以得到Y=wX+b(其中X为输入数据，Y为

T_FLY1999·2023-02-06 10:17

沐神-动手学深度学习-softmax回归

Softmax回归的概念上一节提到的线性回归是在做数据的拟合，而softmax是在进行数据的分类，线性回归和Softmax回归的区别在于前者是多输入单输出，后者是多输入多输出（因为需要衡量分到不同类的概率）。那相较于线性回归，softmax需要解决的问题包括：通过输入值得到多个输出值多个输出值进行损失计算得到多个输出值其实解决办法很容易想到，如果一个图片是10*10像素的，不考虑位置关系，那就相当

T_FLY1999·2023-02-06 10:17

沐神-动手学深度学习-环境的配置

在本次学习中，我使用Anaconda3进行环境的配置，使用JupyterNotebook进行编程。软件的安装我是在网上搜了个教程装的，结果很好可以使用。我着重对环境配置以及库函数的安装过程进行记录。打开anaconda后界面如下图所示，左边导航栏共有4个选项，分别为主页，环境；学习和社区。环境配置在环境中，也就是environments。进入environments便可以进行环境的相关操作。从图中

T_FLY1999·2023-02-06 10:46

第二周作业：多层感知机

跟李沐学AI-动手学深度学习-线性回归+基础优化算法

洋-葱·2023-02-06 10:16

《动手学深度学习》第十天---模型构造

（一）继承Block类来构造模型Block类是nn模块里提供的一个模型构造类，我们可以继承它来定义我们想要的模型。下面继承Block类构造本节开头提到的多层感知机。这里定义的MLP类重载了Block类的__init__函数和forward函数。它们分别用于创建模型参数和定义前向计算。前向计算也即正向传播。frommxnetimportndfrommxnet.gluonimportnnclassML

打着灯笼摸黑·2023-02-06 10:46

动手学深度学习-序列模型代码逐行精讲

笔记参考小王同学，代码参考我用的pycharm需要对代码做微小修改。代码：importmatplotlib#注意这个也要import一次importmatplotlib.pyplotaspltimporttorchfromtorchimportnnfromd2limporttorchasd2lT=1000time=torch.arange(1,T+1,dtype=torch.float32)#1到

东方-教育技术博主·2023-02-06 10:46

动手学深度学习（十五）——Dropout

文章目录一、从其他方向审视过拟合二、使用Dropout的动机及其定义三、从零开始实现dropout四、使用pytorch简洁实现五、总结说明：此博客是笔者根据李沐沐神2021年动手学深度学习进行的笔记整理

留小星·2023-02-06 10:44

沐神-动手学深度学习-多层感知机

感知机的概念感知机原理用公式表示如下图所示，相当于对线性回归模型外又加了一层函数，变成二分类问题：在训练过程中，感知机模型的损失函数与线性回归的差平方损失函数定义不同。其损失函数定义如下：在感知机模型中，如果预测值大于0，预测为1类；如果预测值小于0，预测为-1类。因此如果预测正确，预测值与真值的乘积大于0，损失为0；预测错误，乘积为小于0，损失为乘积的相反数。对该函数进行梯度下降，得到迭代公式如

T_FLY1999·2023-02-06 10:42

神经风格转换（Style Transfer）小试牛刀

本文代码和部分内容参考课程：《动手学深度学习》：样式迁移深度学习框架：MXNET（Python调用）神经风格转换论文原文参考：ANeuralAlgorithmofArtisticStyle1什么是神经风格转换神经风格转换

why502b·2023-02-05 02:26

推荐频道

动手学深度学习