最小二乘损失函数

从零推导线性回归：最小二乘法与梯度下降的数学原理

欢迎来到我的主页：【Echo-Nie】本篇文章收录于专栏【机器学习】本文所有内容相关代码都可在以下仓库中找到：Github-MachineLearning1线性回归1.1什么是线性回归线性回归是一种用来预测和分析数据之间关系的工具。它的核心思想是找到一条直线（或者一个平面），让这条直线尽可能地“拟合”已有的数据点，通过这条直线，我们可以预测新的数据。eg：假设你想预测房价，你知道房子的大小（面积）
Echo-Nie·2025-01-28 07:14

海浪波高预测（背景调研）

新星杯·14天创作挑战营·第7期#ps：图片由通义千问生成历史工作：针对更高细粒度、更高精度的波浪高度预测任务：MumtazAli等人提出了一种多元线性回归模型（MLR-CWLS），该模型利用协方差加权最小二乘法
傅科摆 _ py·2025-01-27 15:44

计算机视觉目标检测-DETR网络

目录摘要abstractDETR目标检测网络详解二分图匹配和损失函数DETR总结总结摘要DETR（DEtectionTRansformer）是由FacebookAI提出的一种基于Transformer架构的端到端目标检测方法
next_travel·2025-01-27 06:47

线性回归——最小二乘法代数详细计算过程

Reference:动手实战人工智能AIByDoing关于矩阵方法的求解可参考：最小二乘法矩阵详细计算过程基本定义：通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。
在天愿作比翼鸟在地愿为连理枝·2025-01-25 06:41

Pytorch实现论文：对GAN的交替优化

ClosingtheGapBetweenTheoryandPracticeDuringAlternatingOptimizationforGANs，Gans交替优化中缩小理论与实践的差距这篇论文的一个核心代码在ACGAN模型上的效果测试，核心是修改了损失函数部分的计算
LJ1147517021·2025-01-25 06:11

python3+TensorFlow 2.x 基础学习（一）

1EagerExecution2、2TensorFlow张量（Tensor）3、使用Keras构建神经网络模型3、1构建Sequential模型3、2编译模型1、Optimizer（优化器）2、Loss（损失函数
刀客123·2025-01-25 03:23

梯度提升决策树树（GBDT）公式推导

###逻辑回归的损失函数逻辑回归模型用于分类问题，其输出是一个概率值。
化作星辰·2025-01-24 16:27

深度学习模型开发文档

深度学习模型开发文档1.简介2.深度学习模型开发流程3.数据准备3.1数据加载3.2数据可视化4.构建卷积神经网络(CNN)5.模型训练5.1定义损失函数和优化器5.2训练过程6.模型评估与优化6.1模型评估
Ares代码行者·2025-01-22 20:47

联邦学习中客户端发送的梯度是vector而不是tensor

具体来说，梯度是损失函数对每个参数的偏导数，表
wzx_Eleven·2025-01-22 18:33

《论文阅读》 用于产生移情反应的迭代联想记忆模型 ACL2024

前言简介任务定义模型架构EncodingDialogueInformationCapturingAssociatedInformationPredictingEmotionandGeneratingResponse损失函数问题前言亲身阅读感受分享
365JHWZGo·2025-01-22 17:28

小土堆学习笔记10（利用GPU训练于模型验证）

1.利用GPU训练GPU可优化操作如下操作方法1方法2数据获取判断是否可以使用GPU，如果可以直接model.cuda()先设定device，用的时候直接model.to（“device”）损失函数1.1
干啥都是小小白·2025-01-22 11:03

中科曙光C/C++研发工程师二面

自我介绍；针对项目：CNN模型、损失函数、评价指标、改进方向、计算加速；CNN模型CNN，即卷积神经网络，是一种专门用于处理具有类似网格结构数据的深度学习模型。
TrustZone_·2025-01-21 16:31

大模型的RAG微调与Agent：提升智能代理的效率与效果

目录编辑引言RAG模型概述检索阶段生成阶段RAG模型的微调数据集选择损失函数设计微调策略超参数调整RAG模型在智能代理中的应用客户服务信息检索内容创作决策支持：结论引言在人工智能的快速发展中，大型预训练模型
WeeJot·2025-01-21 00:57

传感器融合(UWB+IMU+超声波)，使用卡尔曼滤波器和3种不同的多点定位算法(最小二乘、递归最小二乘和梯度下降)研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、引言二、传感器介绍（一）UWB（超宽带）（二）IMU（惯性测量单元）（三）超声波传感器三、定位算法（一）卡尔曼滤波器（二）多点定位算法1.最小二乘法2.递归最小二乘法
科研_研学社·2025-01-20 22:47

【分类】【损失函数】处理类别不平衡：CEFL 和 CEFL2 损失函数的实现与应用

面对这种情况，普通的交叉熵损失函数容易导致模型过拟合到大类样本，忽略少数类样本。
丶2136·2025-01-20 14:54

交叉熵损失函数（Cross-Entropy Loss）

原理交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。
我叫罗泽南·2025-01-20 12:01

【深度学习】Huber Loss详解

平均绝对误差损失3.3HuberLoss4.总结4.1优化平滑4.2梯度较好4.3为什么说MSE是平滑的1.HuberLoss原理详解HuberLoss是一种结合了MSE（均方误差）与MAE（平均绝对误差）的损失函数
小小小小祥·2025-01-19 15:40

深度学习笔记——生成对抗网络GAN

文章目录一、基本结构生成器判别器二、损失函数判别器生成器交替优化目标函数三、GAN的训练过程训练流程概述训练流程步骤1.初始化参数和超参数2.定义损失函数3.训练过程的迭代判别器训练步骤生成器训练步骤4
好评笔记·2025-01-19 03:25

机器学习笔记——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径

文章目录XGBoost相对GBDT的改进引入正则化项，防止过拟合损失函数L(yi,y^i)L(y_i,\hat{y}_i)L(yi,y^i)正则化项Ω(fm)\Omega(f_m)Ω(fm)使用二阶导数信息
好评笔记·2025-01-19 03:24

【人工智能】人工智能的10大算法详解（优缺点+实际案例）

模型训练通过最小二乘法来最小化预测值与真实值之间的误差，得到线性回归方程的
ChatGPT-千鑫·2025-01-18 03:04

视觉SLAM学习打卡【8-1】-视觉里程计·直接法

学下来一个感受就是前几章的数学基础很重要，尤其是构建最小二乘的非线性优化（BA），几乎每种方法都有其一席之地。
肝帝永垂不朽·2025-01-17 23:38

python训练模型损失值6000多_机器学习中的 7 大损失函数实战总结（附Python演练）...

当然是有的，简而言之，机器学习中损失函数可以解决以上问题。损失函数是我们喜欢使用的机器学习算法的核心。但大多数初学者和爱好者不清楚如何以及在何处使用它们。
weixin_39700394·2025-01-17 21:45

dice系数 交叉熵_一文搞懂交叉熵损失

本文从信息论和最大似然估计得角度推导交叉熵作为分类损失函数的依据。从熵来看交叉熵损失信息量信息量来衡量一个事件的不确定性，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。
weixin_39721853·2025-01-17 21:45

损失函数BinaryCrossentropy例子说明

官方说明书的例子其实特别简单明了，y_true=[[0.,1.],[0.,0.]]y_pred=[[0.6,
小林书店副编集·2025-01-17 21:43

交叉熵损失与二元交叉熵损失：区别、联系及实现细节

在机器学习和深度学习中，交叉熵损失（Cross-EntropyLoss）和二元交叉熵损失（BinaryCross-EntropyLoss）是两种常用的损失函数，它们在分类任务中发挥着重要作用。
专业发呆业余科研·2025-01-17 19:56

llama.cpp部署

llama.cpp介绍部署介绍大模型的研究分为训练和推理两个部分：训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化；推理结果最优化的过程；训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理
法号：行颠·2025-01-17 17:12

【机器学习：二十、拆分原始训练集】

优化损失函数：根据任务特点选择合适的损失函数，例如交叉熵损失或均方误差。调整超参数
KeyPan·2025-01-17 13:35

[实践应用] 深度学习之优化器

博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数
YuanDaima2048·2024-09-16 04:38

3.1 损失函数和优化：损失函数

用一个函数把W当做输入，然后看一下得分，定量地估计W的好坏，这个函数被称为“损失函数”。损失函数用于度量W的好坏。
做只小考拉·2024-09-16 03:17

神经网络-损失函数

文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction
红米煮粥·2024-09-15 22:03

损失函数与反向传播

损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。
Star_.·2024-09-15 22:59

Python实现梯度下降法

梯度下降法的应用场景梯度下降法的基本思想梯度下降法的原理梯度的定义学习率的选择损失函数与优化问题梯度下降法的收敛条件Python实现梯度下降法面向对象的设计思路代码实现示例与解释梯度下降法应用实例：线性回归场景描述算法实现结果分析与可视化梯度下降法的改进版本随机梯度下降
闲人编程·2024-09-14 23:35

每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim

本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。
幻风_huanfeng·2024-09-14 23:32

曲线的平滑平滑处理

在一本老版本的《数学手册》中找到了几个基于最小二乘法的数据平滑算法。将其写成了C代码，测试了一下，效果还可以。这里简单的记录一下，算是给自己做个笔记。算法的原理很简单，以五点三次平滑为例。
zq4132·2024-09-13 21:12

如何让大模型更聪明？

让大模型更聪明，从算法创新、数据质量与多样性、模型架构优化等角度出发，我们可以采取以下策略：一、算法创新优化损失函数：损失函数是优化算法的核心，直接影响模型的最终性能。
吗喽一只·2024-09-13 13:54

惩罚线性回归模型

在惩罚线性回归中，除了最小化预测值与实际值之间的平方误差（或其他损失函数）外，还会考虑模型参数的大小。惩罚项通常被加到模型的损失函数中，以限制模型参数的大小。
媛苏苏·2024-09-12 01:31

数学运用 -- 使用最小二乘与勒让德多项式拟合离散数据

使用最小二乘与勒让德多项式拟合离散数据1.准备离散数据假设我们有以下离散数据集：xxxyyy0.01.00.50.81.00.51.50.22.0-0.1我们想用勒让德多项式拟合这些数据，并通过最小二乘法找到勒让德多项式的系数
sz66cm·2024-09-12 00:21

理论+实践，一文带你读懂线性回归的评价指标

在《模型之母：简单线性回归&最小二乘法》、《模型之母：简单线性回归&最小二乘法》中我们学习了简单线性回归、最小二乘法，并完成了代码的实现。
木东居士·2024-09-11 20:49

图像分割任务在设计模型损失函数时，高斯函数会被如何应用

什么是高斯函数？Gaussianfunction，又称为高斯函数，是一种常见的数学函数，定义为一种特定形状的钟形曲线。其表达式通常为：f(x)=a⋅exp⁡(−(x−b)22c2)f(x)=a\cdot\exp\left(-\frac{(x-b)^2}{2c^2}\right)f(x)=a⋅exp(−2c2(x−b)2)其中：aaa决定了曲线的高度（峰值）。bbb是曲线中心位置的均值，决定曲线的对
Wils0nEdwards·2024-09-11 12:54

Adam优化器：深度学习中的自适应方法

深度学习优化器概述优化器在深度学习中负责调整模型的参数，以最小化损失函数。常见的优化器包括SGD（随机梯度下降）、RMSprop、AdaGrad、AdaDelt
2401_85743969·2024-09-10 18:46

AttributeError: ‘tuple‘ object has no attribute ‘shape‘

objecthasnoattribute‘shape’在将keras代码改为tensorflow2代码的时候报了如下错误AttributeError:'tuple'objecthasnoattribute'shape'经过调查发现，损失函数写错了原来的是这样
晓胡同学·2024-09-10 07:35

python解最小二乘（least square）

给定A∈Rd×nA\in\R^{d\timesn}A∈Rd×n、b∈Rdb\in\R^db∈Rd，求x=arg⁡min⁡x∥Ax−b∥2x=\arg\min_x\parallelAx-b\parallel^2x=argminx∥Ax−b∥2。numpy和scipy都有相应的包，见[1,2]。需要注意的是，传入的A、b是按列向量排，即A是[d,n]形状的，bbb只有一个就是[d]，多个就是[d,m]
HackerTom·2024-09-09 16:40

torch.nn中的22种loss函数简述

这种损失函数会计算预测值和目标值之间差的绝对值的平均。2.NLLLoss(负对数似然损失)首先找到每个样本模型预测的概率分布中对应于真实标签的那个值，然后取这个值的负数，最后对所有样本的损失取平均。
01_6·2024-09-09 14:25

两种常用损失函数：nn.CrossEntropyLoss 与 nn.TripletMarginLoss

两种用于模型训练的损失函数：nn.CrossEntropyLoss和nn.TripletMarginLoss。它们在对比学习和分类任务中各自扮演不同的角色。接下来是对这两种损失函数的详细介绍。
大多_C·2024-09-09 14:55

Focal Loss的简述与实现

文章目录交叉熵损失函数样本不均衡问题FocalLossFocalLoss的代码实现交叉熵损失函数Loss=L(y,p^)=−ylog(p^)−(1−y)log(1−p^)Loss=L(y,\hat{p}
友人Chi·2024-09-08 09:09

线性代数学习笔记8-4：正定矩阵、二次型的几何意义、配方法与消元法的联系、最小二乘法与半正定矩阵A^T A

正定矩阵Positivedefinitematrice之前说过，正定矩阵是一类特殊的对称矩阵：正定矩阵满足对称矩阵的特性（特征值为实数并且拥有一套正交特征向量、正/负主元的数目等于正/负特征值的数目）另外，正定矩阵还具有更好的性质（所有特征值都为正实数、所有主元都为正实数、左上角的所有任意k阶（10(x≠0)\mathbf{x}^{T}\boldsymbol{A}\mathbf{x}>0\quad
Insomnia_X·2024-09-08 06:49

Pytorch机器学习——3 神经网络（三）

outline神经元与神经网络激活函数前向算法损失函数反向传播算法数据的准备PyTorch实例：单层神经网络实现3.2激活函数3.2.2TanhTanh是一个双曲三角函数，其公式如下所示：image.png
辘轳鹿鹿·2024-09-07 21:50

pytorch建模的一般步骤

Pytorch的建模一般步骤1.导入必要的库2.准备数据3.定义数据集类（可选）4.加载数据5.定义模型6.定义损失函数和优化器7.训练模型8.评估模型9.保存和加载模型10.使用模型进行推理importtorch.nn.functionalasFimporttorch.nnasnnimporttorchfromtorchvisionimportdatasets
巴依老爷coder·2024-09-07 09:52

C#语言实现最小二乘法算法

最小二乘法（LeastSquaresMethod）是一种常用的拟合方法，用于在数据点之间找到最佳的直线（或其他函数）拟合。以下是一个用C#实现简单线性回归（即一元最小二乘法）的示例代码。
2401_86528135·2024-09-06 16:02

叶斯神经网络（BNN）在训练过程中损失函数不收敛或跳动剧烈可能是由多种因素

贝叶斯神经网络（BNN）在训练过程中损失函数不收敛或跳动剧烈可能是由多种因素引起的，以下是一些可能的原因和相应的解决方案：学习率设置不当：过高的学习率可能导致损失函数在优化过程中震荡不收敛，而过低的学习率则可能导致收敛速度过慢
zhangfeng1133·2024-09-05 23:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他