《动手学深度学习第10页

《动手学深度学习》——第二章习题及自写答案

文章目录2.1数据操作练习1练习22.2数据预处理练习1练习22.3线性代数练习1练习2练习3练习4练习5练习6练习7练习82.4微积分练习1练习2练习3练习42.5自动微分练习1练习2练习3练习4练习52.6概率练习1练习2练习2练习22.1数据操作练习1运⾏本节中的代码。将本节中的条件语句X==YX==YX==Y更改为XYX>YX>Y，然后看看你可以得到什么样的张量。练习2用其他形状（例如三维

FeatherWaves·2023-07-26 14:27

动手学深度学习——实战Kaggle比赛：预测房价

导入包，建立字典DATA_HUB包含数据集的url和验证文件完整性的sha-1密钥。定义download()函数用来下载数据集，将数据集缓存在本地目录（默认情况下为…/data）中，并返回下载文件的名称。定义download_extract()函数下载并解压缩一个zip或tar文件，定义download_all()将所有数据集从DATA_HUB下载到缓存目录中。进行数据标准化得到all_featu

緈福的街口·2023-07-26 03:30

线性神经网路——线性回归随笔【深度学习】【PyTorch】【d2l】

d2l库是《动手学深度学习》(DiveintoDeepLea

来杯Sherry·2023-07-25 11:13

【动手学深度学习】Task03

过拟合、欠拟合及其解决方案模型选择、过拟合和欠拟合模型选择.jpg模型泛化性.jpg权重衰减基本概念权重衰减等价于范数正则化（regularization）。以线性回归中的线性回归损失函数为例其中是权重参数，是偏差参数，样本的输入为，标签为，样本数为。将权重参数用向量表示，带有范数惩罚项的新损失函数为其中超参数。有了范数惩罚项后，在小批量随机梯度下降中，线性回归中权重和的迭代方式更改为可见，范数正

逍遥客小老虎·2023-07-25 06:21

10、动手学深度学习——文本预处理：代码详解

1、文本预处理一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。本节中，我们将解析文本的常见预处理步骤。这些步骤通常包括：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。importcollectionsimportrefromd2limporttorchasd2l2、读取数据集首先，我们从

辰阳星宇·2023-07-24 21:54

8、动手学深度学习——现代卷积神经网络：AlexNet

1、学习表征在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进结果，并撰写论文是盛极一时的潮流另一组研究人员，包括YannLeCun、GeoffHinton、YoshuaBengio、AndrewNg、ShunichiAmari和JuergenSchmidhuber，想法则与众不同：他们认为特征本身应该被学习。此外，他们还认为，在合理地复杂性前提下，特征应该由多个共同

辰阳星宇·2023-07-24 21:24

9、动手学深度学习——使用块的网络（VGG）

1、VGG块虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。在下面的几个章节中，我们将介绍一些常用于设计深层神经网络的启发式概念。与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似，神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题，发展到整个层，现在又转向块，重复层的模式。使用块的想法首先出现在牛津大学的

辰阳星宇·2023-07-24 21:24

7、动手学深度学习——卷积神经网络：基础部件+LeNet

辰阳星宇·2023-07-24 21:23

12、动手学深度学习——循环神经网络从零实现+Pytorch内置函数实现：代码详解

1、基础知识参考文章：8.4.循环神经网络2、从零开始实现本节将上述描述，从头开始基于循环神经网络实现字符级语言模型。这样的模型将在H.G.Wells的时光机器数据集上训练。首先，我们先读取数据集。%matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limportto

辰阳星宇·2023-07-24 21:48

Pytorch中的多项分布multinomial.Multinomial().sample()解析

在读《动手学深度学习Pytorch》，疑惑于：fair_probs=torch.ones([6])/6multinomial.Multinomial(1,fair_probs).sample()故有此篇文章

Hoper.J·2023-07-24 16:46

【动手学深度学习】--12.深度卷积神经网络AlexNet

文章目录深度卷积神经网络AlexNet1.AlexNet2.模型设计3.激活函数4.模型实现5.读取数据集6.训练AlexNet深度卷积神经网络AlexNet学习视频：深度卷积神经网络AlexNet【动手学深度学习

小d<>·2023-07-24 13:27

【动手学深度学习】--17.残差网络 ResNet

文章目录残差网络ResNet1.函数类2.残差块3.RestNet模型4.训练模型残差网络ResNet学习视频：残差网络ResNet【动手学深度学习v2】官方笔记：残差网络（ResNet）1.函数类针对这一问题

小d<>·2023-07-24 09:16

【动手学深度学习】--16.批量归一化

文章目录批量归一化1.训练深层网络2.批量归一化层2.1全连接层2.2卷积层2.3预测过程中的批量归一化3.从零实现批量归一化4.使用批量归一化层的LeNet5.简明实现批量归一化学习视频：批量归一化【动手学深度学习

小d<>·2023-07-24 09:15

【动手学深度学习】--14.网络中的网络 NiN

文章目录网络中的网络NiN1.NiN块1.2NiN架构1.3NiN模型1.4训练模型网络中的网络NiN学习视频：网络中的网络NiN【动手学深度学习v2】官方笔记：网络中的网络（NiN）全连接层的问题LeNet

小d<>·2023-07-24 09:45

【动手学深度学习】--15.含并行连结的网络GoogLeNet

文章目录含并行连结的网络GoogLeNet1.Inception块2.GoogLeNet模型3.训练模型含并行连结的网络GoogLeNet学习视频：含并行连结的网络GoogLeNet/InceptionV3【动手学深度学习

小d<>·2023-07-24 09:45

动手学深度学习——多层感知机（原理解释+代码详解）

目录一、多层感知机1.隐藏层1.1线性模型可能会出错1.2在网络中加入隐藏层1.3从线性到非线性1.4通用近似定理2.激活函数2.1ReLU函数2.2sigmoid函数2.3tanh函数3.小结二、多层感知机的从零开始实现2.1初始化模型参数2.2激活函数2.3模型2.4损失函数2.5训练三、多层感知机的简洁实现一、多层感知机1.隐藏层1.1线性模型可能会出错线性意味着单调假设：特征的增大导致模型

緈福的街口·2023-07-23 23:47

蜗嘎嘎·2023-07-22 17:13

【李沐】动手学深度学习学习笔记

目录【内容介绍】动手学深度学习-基于pytorch版本【脉络梳理】预备知识数据操作数据预处理线性代数矩阵计算自动求导线性神经网络线性回归深度学习的基础优化算法线性回归的从零开始实现线性回归的简洁实现Softmax

chenxiaowai_·2023-07-22 10:26

【深入浅出学习笔记】李沐《动手学深度学习2.0》之卷积神经网络基础

卷积神经网络基础05.15-05.22本文主要是学习李沐：动手学深度学习2.0在线课程的笔记。视频地址：https://zhuanlan.zhihu.com/p/29125290。

程序员龙一·2023-07-22 10:56

动手学深度学习-学习笔记（一）

写在前面动手学习深度学习的学习笔记是在新冠疫情期间参加了深度学习公益训练营的打卡笔记合集，虽然是训练营的基本要求，但是作为对所学内容的总结与提炼还是很有帮助的。本文主要内容：线性回归，softmax分类模型与多层感知机一、线性回归线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。回归问题解决的是连续函数的分类问题。线性回归的例子以房价

花花世界1202·2023-07-22 10:25

李沐《动手学深度学习》学习笔记（一）

一、线性神经网络回归是能为一个或多个自变量与因变量之间建模的一类方法。其主要包括线性回归与softmax回归。线性回归的输出往往是预测一个连续值，而softmax回归虽然叫做回归，但其实是一个分类任务，其输出往往是预测一个离散的值。1:线性回归线性回归最经典的例子便是预测房价了，根据样本的特征数量，分别给予不同的权重，再加上一个偏置项，来表达我们的预测模型。线性模型的具体形式如下：机器学习的任务便

m0_46457452·2023-07-22 10:25

李沐《动手学深度学习》卷积神经网络

这篇文章是我在学习李沐《动手学深度学习》pytorch版“卷积神经网络”的笔记。

BanLisen·2023-07-22 10:55

李沐《动手学深度学习》学习笔记（3）第一章预备知识第一节数据操作

第一节数据操作frommxnetimportnp,npxnpx.set_np()#设置兼容MXNet其他的张量处理组件1.1.1创建指定元素和规模的矩阵(1)np.arrange,np.reshape#numpy.arange创建一个行向量，包含从0开始到12的整数，默认为浮点数x=np.arange(12)xarray([0.,1.,2.,3.,4.,5.,6.,7.,8.,9.,10.,11.

Artificial Idiots·2023-07-22 10:55

Resnet网络回归的简单实现与经典错误解析

注：参考《动手学深度学习》一书错误分析参考网页：1.https://blog.csdn.net/qq_35235032/article/details/1073840792.https://betheme.net

大牛操作实操员·2023-07-22 08:29

动手学深度学习(李沐)的pytorch版本（包含代码和PDF版本）

目录网址（特别适合自学）说明:代码与PDF版网址（特别适合自学）传送门界面一览：说明: github上一个项目将《动手学深度学习》从mxnet改为了pytorch实现。感谢大佬们的工作。

MqtGhj·2023-07-20 21:48

《动手学深度学习 Pytorch版》 2.1 数据操作

2.1.1数据操作注意此处import的不是pytorch而是torch。Torch是采用lua语言实现的，从某种程度上说，PyTorch是Torch的Python版本。（当然还是有部分差别的）importtorch张量（tensor）可以说是机器学习中的数组，直观的看张量像是封装了数组以及一系列相关操作的数据结构。一个轴的张量对应数学上的向量（vector），两个轴的张量对应数学上的矩阵（mat

AncilunKiang·2023-07-20 21:48

动手学深度学习 PyTorch版-2.1. 数据操作

为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。通常，我们需要做两件重要的事：（1）获取数据；（2）将数据读入计算机后对其进行处理。如果没有某种方法来存储数据，那么获取数据是没有意义的。首先，我们介绍�维数组，也称为张量（tensor）。使用过Python中NumPy计算包的读者会对本部分很熟悉。无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和T

手把手教你学AI·2023-07-20 21:48

11、动手学深度学习——语言模型和数据集：代码详解

我们了解了如何将文本数据映射为词元，以及将这些词元可以视为一系列离散的观测，例如单词或字符。假设长度为TTT的文本序列中的词元依次为x1,x2,…,xTx_1,x_2,\ldots,x_Tx1,x2,…,xT。于是，xtx_txt（1≤t≤T1\leqt\leqT1≤t≤T）可以被认为是文本序列在时间步ttt处的观测或标签。在给定这样的文本序列时，语言模型（languagemodel）的目标是估计

辰阳星宇·2023-07-19 10:23

【动手学深度学习】GPU初步认识与使用

【动手学深度学习】GPU初步认识与使用查看显卡使用nvidia-smi命令来查看显卡信息 pytorch中每一个数组都有一个设备，将其称之为环境，那么默认情况下都是在CPU上，有时候环境是GPU计算设备

MoonpieXia·2023-07-19 05:49

【动手学深度学习】自定义层

【动手学深度学习】自定义层不带参数的层下面的类不带任何参数importtorchimporttorch.nn.functionalasFfromtorchimportnnclassCenteredLayer

MoonpieXia·2023-07-19 05:16

【动手学深度学习】--09.PyTorch神经网络基础

文章目录PyTorch神经网络基础1.层和块1.1自定义块1.2顺序块1.3在前向传播函数中执行代码2.参数管理2.1参数访问2.1.1目标参数2.1.2一次性访问所有参数2.1.3从嵌套块收集参数2.2参数初始化2.2.1内置初始化2.2.2自定义初始化2.3参数绑定3.自定义层3.1不带参数的层3.2带参数的层4.读写文件4.1加载和保存张量4.2加载和保存模型参数5.GPU5.1计算设备5.

小d<>·2023-07-18 08:02

【动手学深度学习】--08.实战：Kaggle房价预测

文章目录实战：Kaggle房价预测1.访问和读取数据集2.数据预处理2.1标准化数据2.2离散数据处理3.训练4.K折交叉验证5.模型选择实战：Kaggle房价预测1.访问和读取数据集#如果没有安装pandas，请取消下一行的注释#!pipinstallpandas%matplotlibinlineimportnumpyasnpimportpandasaspdimporttorchfromtorc

小d<>·2023-07-18 08:32

【动手学深度学习】--10.卷积神经网络

文章目录卷积神经网络1.从全连接层到卷积1.1全连接层1.2平移不变性1.3局部性1.4卷积2.卷积层2.1互相关计算2.2卷积层2.3图像中目标的边缘检测2.4学习卷积核3.填充和步幅3.1填充3.2步幅4.多输入多输出通道4.1多输入通道4.2多输出通道4.31×1卷积层5.池化层5.1池化层5.2填充和步幅5.3多个通道卷积神经网络1.从全连接层到卷积官方笔记：从全连接层到卷积学习视频：卷积

小d<>·2023-07-18 08:57

动手学深度学习v2 p1引言监督学习与无监督学习

1.引言1.2.机器学习中的关键组件首先介绍一些核心组件。无论什么类型的机器学习问题，都会遇到这些组件：可以用来学习的数据（data）；如何转换数据的模型（model）；一个目标函数（objectivefunction），用来量化模型的有效性；调整模型参数以优化目标函数的算法（algorithm）。1.数据仅仅拥有海量的数据是不够的，我们还需要正确的数据。如果数据中充满了错误，或者如果数据的特征不

O丶ne丨柒夜·2023-07-17 08:01

动手学深度学习v2 p2 线性神经网络线性回归

3.线性神经网络回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。在机器学习领域中的大多数任务通常都与预测（prediction）有关。当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、预测需求（零售销量等）。但不是所有的预测都是回归问

O丶ne丨柒夜·2023-07-17 08:58

动手学深度学习——线性回归（原理解释+代码详解）

目录1、线性回归2、线性回归模型2.1线性模型2.2损失函数2.2.1平方差损失函数2.2.2整个数据集上的损失函数2.3随机梯度下降2.4用模型进行预测3、线性回归的简单实现3.1生成数据集3.2读取数据集3.3初始化模型参数3.4定义模型3.5定义损失函数3.6定义优化算法3.7训练4、线性回归的简洁实现4.1生成数据集4.2读取数据集4.3定义模型4.4初始化模型参数4.5定义损失函数4.6

緈福的街口·2023-07-16 22:29

动手学深度学习——softmax回归（原理解释+代码详解）

目录1.softmax回归1.1分类问题1.2网络架构1.3全连接层的参数开销1.4softmax运算1.5小批量样本的矢量化1.6损失函数1.6.1对数似然1.6.2softmax及其导数1.6.3交叉熵损失1.7信息论基础1.7.1熵1.7.2信息量1.7.3重新审视交叉熵1.8模型预测与评估1.9小结2.图像分类数据集2.1读取数据集2.2读取小批量2.3整合所有组件2.4小结3.softm

緈福的街口·2023-07-16 22:29

动手学深度学习——图像分类数据集（代码详解）

目录1.图像分类数据集1.1读取数据集1.2读取小批量1.3整合所有组件1.4小结1.图像分类数据集这里采用Fashion-MNIST数据集torchvision：torch类型的可视化包，一般计算机视觉和数据可视化需要使用fromtorchvisionimporttransforms：该组件经常用于图片的修改（一般数据集中的图片都是PIL格式，使用的时候需要转化为tenser，而在加入函数时常需

緈福的街口·2023-07-16 22:59

动手学深度学习——softmax回归的从零开始（代码详解）

目录1.softmax回归的从零开始实现1.1初始化模型参数1.2定义softmax操作1.3定义模型1.4定义损失函数1.5分类精度1.6训练1.7预测1.8小结1.softmax回归的从零开始实现引入Fashion-MNIST数据集，并设置数据迭代器的批量大小为256。importtorchfromIPythonimportdisplayfromd2limporttorchasd2l#随机读取

緈福的街口·2023-07-16 22:24

【动手学深度学习】--07.数值稳定性、模型初始化、激活函数

1.3梯度爆炸1.4梯度消失1.5打破对称性2.模型初始化2.1让训练更加稳定2.2权重初始化2.3Xavier初始3.激活函数数值稳定性、模型初始化、激活函数学习视频：数值稳定性+模型初始化和激活函数【动手学深度学习

小d<>·2023-07-16 17:37

《动手学深度学习》：线性回归重点

线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现重点记录：损失函数在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。它在评估索引为i的样本误差的表达式为()(,)=12(̂()−())2,l(i)(w,b)=12(y^(i)−y(i))2,(,)=1∑

AI_er·2023-07-16 16:17

动手学深度学习V2的笔记小记

自动求导两种方式：正向，反向内存复杂度：O(n)计算复杂度：O(n)线性回归梯度下降通过不断沿着反梯度方向更新参数求解两个重要的超参数是批量大小和学习率小批量随机梯度下降是深度学习默认的求解算法训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差验证数据集：一个用来评估模型好坏的数据集测试数据集：只用一次的数据集K则交叉验证常用K=5或者10过拟合和欠拟合权重衰退wei

骨子带刺·2023-07-16 16:27

【动手学深度学习】--06.暂退法Dropout

原理1.1动机1.2无偏差的加入噪音1.3使用丢弃法1.4推理中的丢弃法2.从零实现Dropout2.1定义模型参数2.2定义模型2.3训练和测试3.简洁实现暂退法(Dropout)学习视频：丢弃法【动手学深度学习

小d<>·2023-07-16 13:32

【动手学深度学习】--04.模型选择、过拟合和欠拟合

代码实现3.1生成数据集3.2对模型进行训练和测试3.3三阶多项式拟合（正常）3.4线性函数拟合（欠拟合）3.5高阶多项式函数拟合（过拟合）模型选择、过拟合和欠拟合学习视频：模型选择+过拟合和欠拟合【动手学深度学习

小d<>·2023-07-16 13:31

【动手学深度学习】--01.线性回归

文章目录线性回归1.原理1.1线性模型1.2衡量预估质量——平方损失1.3训练数据1.4参数学习1.5优化算法2.从零开始实现线性回归2.1生成数据集2.2批量读取数据集——Mini-batch思想2.3初始化模型参数2.4定义模型2.5定义损失函数2.6定义优化算法2.7训练模型3.借助深度学习框架实现线性回归模型3.1生成数据集3.2读取数据集3.3定义模型3.4初始化模型参数3.5定义损失函

小d<>·2023-07-16 13:01

【动手学深度学习】--03.多层感知机MLP

文章目录多层感知机1.原理1.1感知机1.2多层感知机MLP1.3激活函数2.从零开始实现多层感知机2.1初始化模型参数2.2激活函数2.3模型2.4损失函数2.5训练3.多层感知机的简洁实现3.1模型3.2训练多层感知机1.原理官方笔记：多层感知机1.1感知机训练感知机收敛定理问题：感知机不能拟合XOR问题，它只能产生线性分割面总结：感知机是一个二分类模型，是最早的AI模型之一它的求解算法等价于