过拟合简答来说即模型在训练集上错误率较低，但在未知数据（包括测试集）上错误率很高。欠拟合简单来说是模型不能很好的拟合训练集，在训练集上就已经错误率较高。模型复杂度是影响拟合的一个因素。模型复杂度较低就会出现欠拟合的现象。模型复杂度较高，导致与训练集拟合非常好，模型参数训练出来是十分适合训练集的，可能出现过拟合的现象。影响欠拟合和过拟合的另⼀个重要因素是训练数据集的大小。⼀般来说，如果训练数据集中样

一、Mini-batchgradientdescent(小批量梯度下降法)Mini-batch：把整个训练数据集分成若干个小的训练集，即为Mini-batch。为什么要分？梯度下降法必须处理整个训练数据集，才能进行下一次迭代。当训练数据集很大时，对整个训练集进行一次处理，处理速度较慢。但是如果每次迭代只使用一部分训练数据进行梯度下降法，处理速度就会变慢。而处理的这些一小部分训练子集即称为Mini-

1.Mini_batchgradientdescent小批量梯度下降法思想：batchgd是一次性处理所有数据，在数据集较大时比如500万个样本，一次迭代的时间会很长，而mini_batchgd是把数据集分为多个子数据集，每个eopch中对子集进行一次处理实现：实现mini_batch分为两步，第一步shuffle，将原集打乱，乱序步骤确保将样本被随机分成不同的小批次。第二步partition分割

1、minibatch梯度下降传统的batch梯度下降是把所有样本向量化成一个矩阵，每一次iteration遍历所有样本，进行一次参数更新，这样做每一次迭代的计算量大，要计算所有样本，速度慢，但是收敛可以比较直接地收敛到costfunction的最小值。随机梯度下降（stochasticgradientdescent）是每次迭代以一个样本为输入，这种方法每次迭代更新参数时，参数不一定是朝着cost

机器学习笔记之优化算法——动量法的简单认识引言回顾：条件数与随机梯度下降的相应缺陷动量法简单认识动量法的算法过程描述附：动量法示例代码引言上一节介绍了随机梯度下降(StochasticGradientDescent,SGD)(\text{StochasticGradientDescent,SGD})(StochasticGradientDescent,SGD)，本节将介绍动量法。回顾：条件数与随机

IntroductionOneofthemostdebatedtopicsindeeplearningishowtointerpretandunderstandatrainedmodel–particularlyinthecontextofhighriskindustrieslikehealthcare.Theterm“blackbox”hasoftenbeenassociatedwithdeep

关于在Anaconda3中配置环境，打开AnacondaPrompt通过输入命令：1.activategluon2.jupyternotebook如若打开指定的文件目录如学习的课件：1.activategluon进入环境gluon，然后选择文件目录-进入D:cdd:\d2l-zh2.jupyternotebookjupyternotebook几个常用的快捷键H查看本次使用jupyternotebo

模型选择例子：预测谁会偿还贷款银行雇你来调查谁会偿还贷款你得到了100个申请人的信息其中五个人在3年内违约了发现：5个人在面试的时候都穿模型也发现了这个强信号这会有什么问题？训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差（主要关注）例子：根据模考成绩来预测未来考试分数在过去的考试中表现很好（训练误差）不代表未来考试一定会好（泛化误差）学生A通过背书在模考中拿到好成

1、首先，导入所需的库和模块，包括NumPy、PyTorch、MNIST数据集、数据处理工具、模型层、优化器、损失函数、混淆矩阵、绘图工具以及数据处理工具。importnumpyasnpimporttorchfromtorchvision.datasetsimportmnistimporttorchvision.transformsastransformsfromtorch.utils.datai

深度学习笔记之微积分及绘图学习资料来源：微积分%matplotlibinlinefrommatplotlib_inlineimportbackend_inlinefrommxnetimportnp,npxfromd2limportmxnetasd2lnpx.set_np

神经网络与深度学习笔记要点在numpy中矩阵乘法与点乘:1.1矩阵乘法np.dot(a,b)=a@b其中矩阵a的列和b的行数相等看一下下面的这两个随机数组“a”和“b”：a=np.random.randn

深度学习笔记之线性代数一、向量在数学表示法中，向量通常记为粗体小写的符号（例如，x，y，z）当向量表示数据集中的样本时，它们的值具有一定的现实意义。

1、导入包importnumpyasnpimporttorch#导入pytorch内置的mnist数据fromtorchvision.datasetsimportmnist#importtorchvision#导入预处理模块importtorchvision.transformsastransformsfromtorch.utils.dataimportDataLoader#导入nn及优化器imp

1、特征映射什么意思指在卷积神经网络（ConvolutionalNeuralNetwork，CNN）中的卷积层中，通过对输入数据进行卷积操作得到的输出数据。特征映射可以看作是输入数据在卷积神经网络中的“抽象”，它可以提取输入数据中的不同特征，例如边缘、纹理、形状等信息。随着网络深度的增加，特征映射也变得越来越抽象，可以提取更高级别的特征，例如物体的部分、整体、类别等信息。这些特征映射最终会通过池化

1AUTOGRADAUTOMATICDIFFERENTIATIONCentraltoallneuralnetworksinPyTorchistheautogradpackage.Let’sfirstbrieflyvisitthis,andwewillthengototrainingourfirstneuralnetwork.Theautogradpackageprovidesautomaticdi

1、使用了PyTorch的nn.Module类来定义神经网络模型;使用nn.Linear来创建全连接层。(CPU)importtorch.nnasnnimporttorch.nn.functionalasFfromtorchsummaryimportsummary#定义神经网络模型classNet(nn.Module):def__init__(self):super(Net,self).__ini

1、nn.Moduleimporttorchfromtorchimportnnimporttorch.nn.functionalasFclassModel_Seq(nn.Module):""def__init__(self,in_dim,n_hidden_1,n_hidden_2,n_hidden_3,out_dim):super(Model_Seq,self).__init__()self.fl

课程地址和说明Softmax回归p1本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。Softmax回归虽然它名字叫作回归，但是它其实是分类问题本节课的基础想要学会本节课得需要一点基础，我真没看懂这节课讲的是什么，查了一些资料补了补基础此处参考视频信息量｜熵｜交叉熵｜KL散度（相对熵）｜交叉熵损失函数信息量（AmountofInformation）定义事件

深度学习笔记之优化算法——随机梯度下降引言回顾：梯度下降法梯度下降法在机器学习中的问题随机梯度下降随机梯度下降方法的思想随机梯度下降方法的步骤描述关于学习率引言本节将介绍随机梯度下降(StochasticGradientDescent

课程地址和说明线性回归的简洁实现p4本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。线性回归的简洁实现通过使用深度学习框架来简洁地实现线性回归模型生成数据集importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2l#真实w和btrue_w=torch.tensor(

动手深度学习笔记（三十三）6.3.填充和步幅题6.卷积神经网络6.3.填充和步幅6.3.1.填充6.3.2.步幅6.3.3.小结6.3.4.练习6.卷积神经网络6.3.填充和步幅在前面的例子图6.2.1

1.主要代码：#线性回归的简单实现importtorchfromtorch.utilsimportdatafromd2limporttorchasd2l#获取数据集true_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(true_w,true_b,1000)#调用d2l库中的synthetic_data构造

课程地址和说明自动求导实现p2本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。自动求导#创建变量importtorchx=torch.arange(4,dtype=torch.float32)#只有浮点数才能求导#计算y关于x的梯度之前，需要一个地方存储梯度x.requires_grad_(True)print("x为：",x)#计算yy=2*torch

吴恩达作业-搭建多层神经网络。神经网络的结构可以有很多层，结构是输入层>隐藏层>隐藏层>>>输出层，在每一层中，首先计算的是矩阵相乘[linear_forward]，然后再计算激活函数[linear_activation_forward],合并起来就是这一层的计算方式，所以每一层的计算都有两个步骤。可参照如下图：计算步骤表示图文末附全部代码链接计算伪代码如下：1.初始化网络参数2.前向传播（1）计

课程地址和说明线性代数实现p4本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。本节是第二篇矩阵计算矩阵的导数运算此处参考了视频：矩阵的导数运算为了方便看出区别，我将所有的向量都不按印刷体加粗，而是按手写体在向量对应字母上加箭头的方式展现。标量方程对向量的导数在一元函数中，求一个函数的极值点，一般令导数为0（该点切线斜率为0），求得驻点，最后通过极值点定义

注：关于类和标签的说明。在机器学习中，分类问题中的某个类别叫做类（class）。数据点叫做样本（Sample）。某个样本对应的类叫做标签（lable）。MNIST数据集预加载在Keras库中fromkeras.datasetsimportmnist(train_images,train_labels),(test_images,test_labels)=mnist.load_data()注：tra

课程地址和说明线性代数实现p2本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。这节就算之前内容的复习，后面以截图形式呈现标量由只有一个元素的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])#加减法print(x+y)#乘法print(x*y)#除法print(x/y)#幂运算print(x

计算机视觉现状（Thestateofcomputervision）深度学习已经成功地应用于计算机视觉、自然语言处理、语音识别、在线广告、物流还有其他许多问题。在计算机视觉的现状下，深度学习应用于计算机视觉应用有一些独特之处。在这个笔记中，我将和你们分享一些我对深度学习在计算机视觉方面应用的认识，希望能帮助你们更好地理解计算机视觉作品（此处指计算机视觉或者数据竞赛中的模型）以及其中的想法，以及如何自

声明本文根据个人理解写的，如有纰漏望指正，谢谢！Conv1d的理解conv1d有两个，一个是torch.nn模块中，另一个是torch.nn.functional模块中。第一种：torch.nn.Conv1d调用格式torch.nn.Conv1d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,

文章目录线性代数线性代数实现QA线性代数直观理解矩阵乘法相当于扭曲空间，向量通过一个矩阵相乘变成另外一个向量，相当于矩阵把一个空间进行了扭曲矩阵也有长度，即范数c和b是向量。F范数相当于把矩阵拉成一个向量求范数，由于F范数比较简单，所以一般会用F范数在数学上，特别是在矩阵理论中，置换矩阵是一个方形二进制矩阵，它在每行和每列中只有一个1，而在其他地方则为0。设P是一个m×n的(0,1)矩阵，如果m≤

06矩阵计算标量导数亚倒数如果不存在导数的话，将导数拓展到不可微的函数梯度将导数拓展到向量当y是标量，x是标量，求导为标量当y是标量，x是向量，求导为向量当y是向量，x是标量，求导为向量当y是向量，x是向量，求导为矩阵

这里求导可以参看上一节这张图，∂∂w=xT∂w∂w+wT∂x∂w=xT∂w∂w=xT\frac{\partial}{\partialw}=x^T\frac{\partialw}{\partialw}+w^T\frac{\partialx}{\partialw}=x^T\frac{\partialw}{\partialw}=x^T∂w∂=xT∂w∂w+wT∂w∂x=xT∂w∂w=xT，因为∂w∂w=

2线性代数2.1线性代数基础这一节其实就相当于啥呢，一个简单的了解：2.1.1标量、向量、矩阵那么之后李沐老师会讲一个用Python怎么实现，这里就不多赘述了。因为网上关于矩阵的Numpy&Pytorch实现都是现成的，不用纠结太多，遇见了就会了。

课程地址和说明数据预处理实现p3本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。线性代数标量标量（scalar），亦称“无向量”。有些物理量，只具有数值大小，而没有方向，部分有正负之分。物理学中，标量（或作纯量）指在坐标变换下保持不变的物理量。用通俗的说法，标量是只有大小，没有方向的量。（在深度学习领域也是如此）标量的运算规律加减法：c=a+bc=a+b

Deeplearninghasbeenwidelyappliedtovariouscomputervisiontaskswithexcellentperformance.PriortotherealizationoftheadversarialexamplephenomenonbyBiggioetal.,Szegedyet.al,modelperformanceoncleanexampleswas

单一数字评估指标（Singlenumberevaluationmetric）无论你是调整超参数，或者是尝试不同的学习算法，或者在搭建机器学习系统时尝试不同手段，你会发现，如果你有一个单实数评估指标，你的进展会快得多，它可以快速告诉你，新尝试的手段比之前的手段好还是差。所以当团队开始进行机器学习项目时，我经常推荐他们为问题设置一个单实数评估指标。我们来看一个例子，你之前听过我说过，应用机器学习是一个

1.线性代数标量由只有一个元素的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y#输出(tensor([5.]),tensor([6.]),tensor([1.5000]),tensor([9.]))可以将向量视为标量值组成的列表x=torch.arange(4)x#输出tensor([0,1,2,3

数据操作首先，我们导入torch。请注意，虽然它被称为Pytorch,但我们应该导入torch而不是Pytorch。张量表示一个数值组成的数组，这个数组可能有多个维度。我们可以通过张量的shape属性来访间问张量的形状和张量中元素的总数通过shape可以查看张量的形状（维度），numel()（即numberofelements的缩写）可以查看张量有多少元素要改变一个张量的形状而不改变元素数量和元素

3.3简洁实现线性回归#生成数据集importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2ltrue_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(true_w,true_b,1000)#读取数据集defload_ar

课程地址数据操作实现p2数据操作首先导入PyTorch包（importtorch)，虽然叫PyTorch，但实际上要导入torch。importtorch张量张量表示的是一个数值组成的数组，这个数组可以有很多个维度。#生成0-11的顺序序列构成的一维数组张量（12那里是开区间，取不到）x=torch.arange(12)print(x)输出结果：tensor([0,1,2,3,4,5,6,7,8,

课程地址和说明数据预处理实现p3本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。数据预处理Python文件操作OS标准库Python的OS标准库是一个操作系统接口模块,提供一些方便使用操作系统相关功能的函数。这里只提及李沐老师示例代码中的各种函数的用法，至于该库的其他内容请参考网络。os.makedir方法os.makedir是python中常用的一个函

网络中的网络以及1×1卷积（NetworkinNetworkand1×1convolutions）在架构内容设计方面，其中一个比较有帮助的想法是使用1×1卷积。也许你会好奇，1×1的卷积能做什么呢？不就是乘以数字么？听上去挺好笑的，结果并非如此，我们来具体看看。过滤器为1×1，这里是数字2，输入一张6×6×1的图片，然后对它做卷积，起过滤器大小为1×1×1，结果相当于把这个图片乘以数字2，所以前三

文章目录门控循环单元GRU1.门控隐状态1.1重置门和更新门1.2候选隐状态1.3隐状态2.从零开始实现2.1读取数据2.2初始化模型参数2.3定义模型2.4训练与预测3.简洁实现门控循环单元GRU学习视频：门控循环单元（GRU）【动手学深度学习v2】官方笔记：门控循环单元（GRU）思考一下这种梯度异常在实践中的意义：我们可能会遇到这样的情况：早期观测值对预测所有未来观测值具有非常重要的意义。考虑

从本次笔记开始，笔者在深度学习笔记中会不定期的对CNN发展过程中的经典论文进行研读并推送研读笔记。

深度学习笔记1.简单的二输入单层感知机模型的实现结构如图所属：由图可知：输入信号（input）：X[x1,x2]也就是样本集合权重：[w1,w2]，用来体现对应输入的重要性在这里我们设定，这个神经元（感知机

1.代价函数(costfunction)与误差函数(lossfunction)之间的关系：，其中J为代价函数，L为误差函数，Y为标签矢量，A为根据样本计算矢量。2.代价函数J对w和b的导数：推导过程，误差函数以交叉熵为例：根据链式传播：。由：，，有：，设：，，，推广到所有特征权重

%matplotlibinlineimporttorchimporttorchvisionfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limporttorchasd2ld2l.use_svg_display()SVG是一种无损格式–意味着它在压缩时不会丢失任何数据，可以呈现无限数量的颜色。d2l.use_svg_dis

深度学习笔记其一：基础知识和PYTORCH1.数据操作1.2入门1.2.1导入torch1.2.2张量1.3运算符1.4广播机制1.5索引和切片1.6节省内存1.7转换为其他Python对象1.8小结2

如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（CNN）（上）。

Softmax回归Softmax回归是一个多类分类模型，使用Softmax操作子可以得到每个类的预测置信度(概率)，使用交叉熵来衡量预测和标号的区别。分类vs回归image.png从回归到多类分类---均方损失,如下所示。image-20210827093003754.png  举例说明一位有效编码，大意为只有其中一个位的值为1，比如我有猫、狗和猪三类，标号则是长度为3的向量，那么可以分别表示为0