如何识别矩阵的维数如下图矩阵的行列数容易在前向和后向传播过程中弄错，故写这篇文章来提醒易错点顺便起到日后查表改错的作用本文仅作本人查询参考(摘自吴恩达深度学习笔记)

08欠拟合和过拟合生成数据集对模型进行训练和测试三阶多项式函数拟合（正常）线性函数拟合（欠拟合）高阶多项式函数拟合（过拟合）importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l生成数据集给定xxx，我们将使用以下三阶多项式来生成训练和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+

07多层感知机多层感知机在网络中加入隐藏层从线性到非线性激活函数ReLU函数sigmoid函数tanh函数多层感知机的从零开始实现初始化模型参数激活函数模型损失函数训练多层感知机的简洁实现模型多层感知机在网络中加入隐藏层我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。要做到这一点，最简单的方法是将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成

06softmax回归softmax运算损失函数对数似然Fashion-MNIST数据集读取数据集读取小批量整合所有组件softmax回归的从零开始实现初始化模型参数定义softmax操作定义模型定义损失函数分类精度训练预测softmax回归的简洁实现softmax运算softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，首先对每个未规范化的预

09权重衰减范数和权重衰减利用高维线性回归实现权重衰减初始化模型参数定义L2L_2L2范数惩罚定义训练代码实现忽略正则化直接训练使用权重衰减权重衰减的简洁实现范数和权重衰减在训练参数化机器学习模型时，权重衰减（decayweight）是最广泛应用的正则化技术之一，它通常也被称为L2L_2L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度，因为在所有函数fff中，函数f=0f=0f=0（所有输

梯度消失/梯度爆炸（Vanishing/Explodinggradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。这节课，你将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。假设你正在训练这样一个极深的神经网络，为了

LSGANLSGAN(LeastSquaresGAN)将loss函数改为了L2损失.G和D的优化目标如下图所示,image作业:在这里,请在下方补充L2Loss的代码来实现L2损失来优化上面的目标.并使用这个loss函数在mnist数据集上训练LSGAN,并显示训练的效果图片及loss变化曲线.提示:忽略上图的1/2.L2损失即MSEloss(均方误差),传入两个参数input_是指判别器D预测为

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是

卷积神经网络（convolutionalneuralnetworks，CNN）图像不是二维张量，而是一个由高度、宽度和颜色组成的三维张量，比如包含个像素。前两个轴与像素的空间位置有关，而第三个轴可以看作是每个像素的多维表示。互相关运算互相关运算（cross-correlation）：在卷积层中，输入张量和核张量通过互相关运算产生输出张量。在图中，输入是高度为3、宽度为3的二维张量（即形状为3×3）

目录TensorBoard的使用Transforms的使用TorchVision中数据集的使用Dataloader的使用卷积操作神经网络-卷积层最大池化非线性激活线性层小型网络搭建和Sequential使用损失函数与反向传播优化器网络模型的使用及修改完整模型的训练利用gpu训练模型验证自动求导线性神经网络线性回归基础优化算法线性回归的从零开始实现线性回归的简洁实现softmax回归图像分类数据集s

Task5——卷积神经网络基础；leNet；卷积神经网络进阶10.1卷积神经网络（CNN）基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像数据具有显著的局部与整体关系，其在图像识别领域的应用获得了巨大的成功。10.1.1卷积神经网络的组成层图10.1卷积神经网络示意图以图像分类任务为例，在表10.1所示卷积神经网络中，一般包含

03微积分与自动微分导数和微分导数解释的可视化偏导数梯度链式法则自动微分非标量变量的反向传播分离计算导数和微分假设我们有一个函数f:R→Rf:\mathbb{R}\rightarrow\mathbb{R}f:R→R，其输入和输出都是标量。如果fff的导数存在，这个极限被定义为f′(x)=lim⁡h→0f(x+h)−f(x)h.f'(x)=\lim_{h\rightarrow0}\frac{f(x+

04概率论基础概率论公理联合概率条件概率贝叶斯定理边际化独立性期望和方差模拟投掷骰子的概率随投掷次数增加的变化概率论公理概率（probability）可以被认为是将集合映射到真实值的函数。在给定的样本空间S\mathcal{S}S中，事件A\mathcal{A}A的概率，表示为P(A)P(\mathcal{A})P(A)，满足以下属性：对于任意事件A\mathcal{A}A，其概率从不会是负数，即

01数据操作与预处理一、数据操作1.1基本数据操作1.2广播机制1.3索引和切片1.4节省内存1.5转换为其他Python对象二、数据预处理读取数据集处理缺失值转换为张量格式练习一、数据操作1.1基本数据操作导入torchimporttorch张量表示一个由数值组成的数组，这个数组可能有多个维度（轴）。具有一个轴的张量对应数学上的向量（vector），具有两个轴的张量对应数学上的矩阵（matrix

线性代数实现：1.标量由只有一个元素的的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])2.可以将向量视为标量值组成的列表x=torch.arange(4)#通过张量的索引来访问任一元素x[3]3.访问张量的长度x=tensor.arange(4)len(x)Output:4只有一个轴的张量，形状只有一个元素x.shapeOutpu

线性代数基础线性代数基础标量向量长度、维度和形状矩阵张量算法的基本性质降维非降维求和点积（DotProduct）矩阵-向量积矩阵-矩阵乘法范数线性代数基础标量标量由只有一个元素的张量表示importtorchx=torch.tensor(3.0)y=torch.tensor(2.0)x+y,x*y,x/y,x**y(tensor(5.),tensor(6.),tensor(1.5000),tens

我的其他日记菜菜的刷题日记|被LeetCode用Python狂虐的那段日子菜菜的并发编程笔记|Python并发编程详解（持续更新~）菜菜的深度学习笔记|基于Python的理论与实现数据分析入门|kaggle

改善深层神经网络：超参数调试、正则化以及优化深度学习的实用层面一、训练、验证、测试集样本数据分成以下三个部分：训练集(trainset):用于对模型进行训练。验证集(hold-outcrossvalidation/developmentset):对不同模型进行评估。测试集(testset):对选取的模型进行无偏评估。node:验证集要和训练集最好来自于同一个分布，可以使得机器学习算法变快。如果不需

结构化机器学习项目机器学习策略（MLStrategy）1一、机器学习策略介绍（IntroductiontoMLStrategy）1、机器学习策略就是超参数调优的策略，怎么调？怎们评估调优的效果？调哪些超参的效果更好？超参数调优的次序？下图是一些经常调优的超参：2、正交化（Orthogonalization）正交化或正交性是一种系统设计属性，可确保修改算法的某一部分不会对系统的其他部分产生或传播副作

一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，L1L1L1正则化通过限制参数值的选择范围来控制模型容量，L2L2L2正则化：使用均方范数作为硬性限制，即对于参数w,bw,bw,b，假设其损失函数为l(w,b)l(w,b)l(w,b)，则其优化目标为mi

动手学深度学习笔记一、门控循环单元(GRU)1.重置门和更新门2.候选隐状态3.隐状态4.PyTorch代码二、长短期记忆网络(LSTM)1.输入门、遗忘门和输出门2.记忆元3.隐状态4.PyTorch

循环神经网络计算图计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。下面这个计算图表示复合函数关于计算图的求导，我们可以用链式法则表示，有下面两种情况。情况1情况2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SUose3jf-16

卷积方式汇总convolutionsummary一、为什么要用小卷积核代替大卷积核自从VGG网络开始，叠加的小卷积核已经成为流行，因为能够使用更小的参数量实现特征提取。大卷积核优点：感受域大举例：AlexNet、LeNet等网络都使用了较大的卷积核，例如5x5，11x11缺点：参数量大，计算量大（硬件设备不成熟的情况下需要进行分组计算）小卷积核优点：参数量少；计算量少；整合三个非线性激活层代理单一

HALCON20.11：深度学习笔记(5)---设置超参数HALCON20.11.0.0中，实现了深度学习方法。

训练集、验证集、测试集以及偏差和方差链接正则化链接神经网络中的梯度消失、梯度爆炸、梯度的数值逼近、梯度检验链接神经网络初始化权重设置链接第一周三次作业链接链接链接链接链接链接Mini-batch梯度下降法链接MomentumRMSpropAdam学习率衰减链接第二周作业链接链接超参数调试链接BatchNormBatch归一化链接链接softmax回归链接第三周作业链接链接

目录1--selfattention原理2--C++代码3--拓展3-1--maskselfattention3-2--crossattention1--selfattention原理直观来讲，就是每个token的Query去和其它token（包括自身）的Key进行dotproduct（点积）来计算权重weight，weight一般需要进行softmax归一化操作，然后将weight与每个toke

HALCON21.11：深度学习笔记(1)HALCON21.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。

HALCON20.11：深度学习笔记(2)HALCON20.11.0.0中，实现了深度学习方法。

HALCON20.11：深度学习笔记(1)HALCON20.11.0.0中，实现了以下深度学习方法：1.AnomalyDetection（异常检测）给每个像素分配显示未知特征的可能性。

logistics回归，逻辑回归问题。图像在计算机中如何保存？要保存一张图像，要保存三个独立矩阵，对应三原色通道。如果输入图像大小是64×64大小的，那个矩阵的大小也是64×64的，而且是3个矩阵。要把矩阵中的像素值放到一个特征向量x中，这个x就表示了这张图像。向量x的总维度就是64×64×3。图片的特征向量x作为输入，预测输出的结果标签为y。用一个单独的(x,y)作为一个单独的输入样本。训练集由

目标检测任务及发展脉络图像处理三大任务：物体识别、目标检测、图像分割目标检测：给定一张图像，判断图像中是否存在指定类别的目标，若存在，则输出目标位置、类别及置信度。目标检测的任务：目标检测属于多任务，一个任务是目标分类，另一个是目标位置的确定，即分类与回归目标检测发展历程如下图基于深层伸进网络的目标检测的两种分类：双阶段（twostage）：第一级网络用于候选区域提取；第二级网络对提取的候选区域进

项目场景：做了一个图像处理的模型，之前使用的好好的，今天同事测试报了下面这个错误Input0oflayersequentialisincompatiblewiththelayer:expectedaxis-1ofinputshapetohavevalue3butreceivedinputwithshape[None,224,224,4]原因分析：怀疑是图片的问题，问同事拿了图片复现出了问题，发现同

数据操作[::3,::2]代表的是行每3行一跳，列是每两列一跳bold的代表向量，一个向量对一个向量的导数是一个矩阵：答：如果是凸函数有最优解，机器学习考虑的是NP问题，往往无法达到最优解。自动求导及实现自动求导区别符号计算与数值拟合pythorch实用计算图(有点像链式法则)显示构造就像小学的先化简再赋值:隐式构造就是让系统先记住值：两个计算方式：

本周是深度学习实验课的最后一次课，让我们回顾一下在这个学期中大家都学习到了哪些内容。在前面的课程中我们首先了解了神经网络的结构，如何去搭建神经网络，怎样去训练神经网络，以及神经网络的优化、微调。紧接着我们又学习了深度学习领域当前比较流行的几个大方向，例如分类、语义分割、目标检测、对抗神经网络、自然语言处理等等。接下来的内容是对我们所学的知识的一个总结和升华。1.神经网络的基础内容1.框架当前训练神

本文是吴恩达老师的深度学习课程[1]笔记部分。作者：黄海广[2]主要编写人员：黄海广、林兴木（第四所有底稿，第五课第一二周，第三周前三节）、祝彦森:（第三课所有底稿）、贺志尧（第五课第三周底稿）、王翔、胡瀚文、余笑、郑浩、李怀松、朱越鹏、陈伟贺、曹越、路皓翔、邱牧宸、唐天泽、张浩、陈志豪、游忍、泽霖、沈伟臣、贾红顺、时超、陈哲、赵一帆、胡潇杨、段希、于冲、张鑫倩参与编辑人员：黄海广、陈康凯、石晴路

深度学习概论什么是神经网络上图的单神经元就完成了下图中函数的计算。下图的函数又被称为ReLU（修正线性单元）函数复杂的神经网络也是由这些简单的单神经元构成。实现后，要得到结果，只需要输入即可。x那一列是输入，y是输出，中间是隐藏单元，由神经网络自己定义用神经网络进行监督学习领域所用的神经网络房产预测等领域标准架构StandardedNN计算机视觉卷积神经网络CNN音频，文字翻译（一维序列问题）循环

深度学习笔记（1）——虚拟环境操作提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加文章目录深度学习笔记（1）——虚拟环境操作前言一、虚拟环境是什么？

从前面的学习笔记中，和大家一起使用了numpy一步一步从感知机开始到两层网络以及最后实现了深度神经网络的算法搭建。而后我们又讨论了改善深度神经网络的基本方法，包括神经网络的正则化、参数优化和调参等问题。这一切工作我们都是基于numpy完成的，没有调用任何深度学习框架。在学习深度学习的时候，一开始不让大家直接上手框架可谓良苦用心，旨在让大家能够跟笔者一样，一步一步通过numpy搭建神经网络的过程就是

Tensorloadingandpolyfitimporttorchimportnumpyasnpimportmatplotlib.pyplotasplt#loadtensorsx,y=torch.load('xs.pt'),torch.load('ys.pt')x_np=x.numpy()y_np=y.numpy()#tensortonumpy.arrayforiinrange(len(x_np

简介做为机器学习领域里的“Helloworld”，MNIST手写数字图片数据集，是许多人研初学机器学习时都接触过的数据集。近期，为了研究深度学习在时空序列数据方面的应用，我想要了解三维卷积神经网络。在入门阶段，我接触到了三维的MNIST数据集，并且根据国外研究者给出示例代码来理解了三维卷积神经网络的基本结构。数据集：3DMNIST2Dvs3DMNIST3DMNIST的Kaggle地址是3DMNIS

深度学习笔记(二)：简单神经网络，后向传播算法及实现深度学习笔记(三)：激活函数和损失函数深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记

参考：1.AndrewNg,Sparseautoencoder(Lecturenotes)2.tornadomeet的博客，大部分从此博客摘录[http://www.cnblogs.com/tornadomeet/archive/2013/03/14/2959138.html]基础知识1术语Modelrepresentation:其实就是指学习到的函数的表达形式，可以用矩阵表示。Vectorize

为什么正则化有利于预防过拟合呢？（Whyregularizationreducesoverfitting?）为什么正则化有利于预防过拟合呢？为什么它可以减少方差问题？我们通过两个例子来直观体会一下。左图是高偏差，右图是高方差，中间是JustRight，这几张图我们在前面课程中看到过。现在我们来看下这个庞大的深度拟合神经网络。我知道这张图不够大，深度也不够，但你可以想象这是一个过拟合的神经网络。这是

笔者参考了深度学习笔记–本地部署Mini-GPT4，使用了http链接，huggingface下载llama和vicuna权重的download.txt分别如下：http://huggingface.co

自己看的视频网址：【深度学习保姆级教学】草履虫都能看懂！理论到实战、入门到起飞！人工智能基础入门必看！【ML机器学习|DL深度学习|CV计算机视觉|NLP自然语言处理】_哔哩哔哩_bilibili机器学习流程数据获取特征工程（最核心的部分）建立模型评估与应深度学习解决了怎么提取特征？python入门知识来判断对象类型，使用type()函数lambdaargument_list:expression

深度学习笔记DAY1深度学习基本知识1.神经网络1.1单一神经元所有神经元将房屋大小size作为输入x,计算线性方程，结果取max（0，y）,输出预测房价yReLU函数（线性整流函数）–max（0，y）

机器学习笔记之优化算法——Nesterov动量方法的简单认识引言回顾：梯度下降法与动量法Nesterov动量法Nesterov动量法的算法过程描述总结（2023/10/9）补充与疑问附：Nesterov动量法示例代码引言上一节对动量法进行了简单认识，本节将介绍Nesterov\text{Nesterov}Nesterov动量方法。回顾：梯度下降法与动量法关于梯度下降法的迭代步骤描述如下：θ⇐θ−η

机器学习笔记之优化算法——AdaGrad算法的简单认识引言回顾：动量法与Nesterov动量法优化学习率的合理性AdaGrad算法的简单认识AdaGrad的算法过程描述引言上一节对Nesterov\text{Nesterov}Nesterov动量法进行了简单认识，本节将介绍AdaGrad\text{AdaGrad}AdaGrad方法。回顾：动量法与Nesterov动量法关于动量法(Momentum

一、学习笔记怎样缓和部门间冲突.png二、总结/心得《团队协作的五大障碍》的作者兰西奥尼曾在书中写到，阻碍高效团队形成的主要原因是行为问题和人际问题，今天我们学习的“怎样缓和部门间冲突”这一课，就收获了两大方向与七种工具：方向一：改变员工的行为工具1：自然分离法工具2：定下规则法方向二：改变员工的态度工具3：整合法工具4：谈判法工具5：第三方介入工具6：远景的设立工具7：群体培训七种工具分别适用于

过拟合简答来说即模型在训练集上错误率较低，但在未知数据（包括测试集）上错误率很高。欠拟合简单来说是模型不能很好的拟合训练集，在训练集上就已经错误率较高。模型复杂度是影响拟合的一个因素。模型复杂度较低就会出现欠拟合的现象。模型复杂度较高，导致与训练集拟合非常好，模型参数训练出来是十分适合训练集的，可能出现过拟合的现象。影响欠拟合和过拟合的另⼀个重要因素是训练数据集的大小。⼀般来说，如果训练数据集中样