损失函数Loss

深度学习篇---对角矩阵&矩阵的秩&奇异矩阵

RankofaMatrix）2.1定义2.2特性满秩降秩影响2.3应用领域深度学习图像压缩推荐系统控制理论三、奇异矩阵（SingularMatrix）3.1定义3.2特性秩不足行列式为零3.3应用领域深度学习正则化损失函数结构工程统计学数值计算四

Ronin-Lotus·2025-03-23 08:37

MSE分类时梯度消失的问题详解和交叉熵损失的梯度推导

前文请移步笔者的另一篇博客：大模型训练为什么选择交叉熵损失（Cross-EntropyLoss）：均方误差（MSE）和交叉熵损失的深入对比MSE分类时梯度消失的问题详解我们深入探讨MSE（均方误差）的梯度特性

阿正的梦工坊·2025-03-22 21:34

minimind2学习：（1）训练

/tree/master2、预训练训练6个epochspythontrain_pretrain.py--epochs6训练过程：LLM总参数量：25.830百万Epoch:[1/6](0/11040)loss

溯源006·2025-03-22 14:47

DPO 核心理论推导：参考策略距离约束下的最优策略 + 损失函数设计

Rafailov,Rafael,etal.“Directpreferenceoptimization:Yourlanguagemodelissecretlyarewardmodel.”AdvancesinNeuralInformationProcessingSystems36(2023):53728-53741.本文整理了DPO论文中两个核心结论的推导，包括参考策略距离约束下的最优策略的形式，以及

iiiiii11·2025-03-22 14:17

PyTorch基础知识讲解（一）完整训练流程示例

文章目录Tutorial1.数据处理2.网络模型定义3.损失函数、模型优化、模型训练、模型评价4.模型保存、模型加载、模型推理Tutorial大多数机器学习工作流程涉及处理数据、创建模型、优化模型参数和保存训练好的模型

苏雨流丰·2025-03-22 12:20

【nnUnetv2】Code复现

相反的，把重心放在：预处理（resampling和normalization）、训练（loss，optimizer设置、数据增广）、推理（patch-based策略、test-time-augmentations

是Winky啊·2025-03-21 18:35

关于误差平面小记

四维曲面的二维切片：误差平面详解在深度学习优化过程中，我们通常研究损失函数（LossFunction）的变化，试图找到权重的最优配置。

文弱_书生·2025-03-21 15:43

神经网络基础之正则化

核心思想是通过在模型损失函数中添加一个惩罚项（PenaltyTerm），对模型的复杂度进行约束，从而提升模型在新数据上的泛化能力。

硬水果糖·2025-03-20 07:45

1.1PaddleTS_环境配置：一个易用的深度时序建模的Python库

PaddleTS的主要特性包括：设计统一数据结构，实现对多样化时序数据的表达，支持单目标与多目标变量，支持多类型协变量封装基础模型功能，如数据加载、回调设置、损失函数、训练过程控制等公共方法，帮助开发

pythonQA·2025-03-20 01:27

深度学习框架PyTorch——从入门到精通（5）自动微分

在该算法中，参数（模型权重）根据损失函数的梯度相对于给定参数进行调整。为了计算这些梯度，PyTorch有一个内置的微分引擎，名为torch.autograd。它支持为任何计算图自动计算梯度。

Fansv587·2025-03-19 06:20

知识蒸馏 vs RLHF：目标函数与收敛分析

目标函数知识蒸馏的目标函数通常由两部分组成：分类损失（StudentLoss）：学生模型的输出与真实标签之间的交叉熵损失，表示为：[Lclassification=CrossEntropy(y,q(1)

从零开始学习人工智能·2025-03-18 01:48

VariableX·2025-03-18 01:46

java实现卷积神经网络CNN（附带源码）

项目详解目录项目概述1.1项目背景与意义1.2什么是卷积神经网络（CNN）1.3卷积神经网络的应用场景相关知识与理论基础2.1神经网络与深度学习概述2.2卷积操作与卷积层原理2.3激活函数与池化层2.4全连接层与损失函数

Katie。·2025-03-17 07:38

【人工智能基础2】机器学习、深度学习总结

文章目录一、人工智能关键技术二、机器学习基础1.监督、无监督、半监督学习2.损失函数：四种损失函数3.泛化与交叉验证4.过拟合与欠拟合5.正则化6.支持向量机三、深度学习基础1、概念与原理2、学习方式3

roman_日积跬步-终至千里·2025-03-16 23:02

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于jsonl文件中读取新词列表(新中文词汇)→for循环去重实现词表的扩展(中文标记的新词汇)→保存新的分词模型

一个处女座的程序猿·2025-03-15 18:38

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件

一个处女座的程序猿·2025-03-15 18:38

训练模型时，步长为什么不能太大也不能太小？

步长既不能太大，也不能太小，原因如下：1.步长太大的问题如果步长过大，会导致以下问题：模型发散（Divergence）：参数更新幅度过大，可能导致损失函数的值不断增大，甚至无法收敛，模型性能急剧下降。

yuanpan·2025-03-15 16:52

机器学习中的梯度到底是什么？（chat-gpt问答）

1、梯度是对损失函数求导吗？是的，梯度是对损失函数（或目标函数）求导数值化后的结果。梯度告诉我们目标函数在某个点上的方向性和变化率，这些信息是优化算法推进参数评估和更新的重要指标。

湫怿·2025-03-15 16:19

机器学习中的梯度下降是什么意思？

梯度下降（GradientDescent）是机器学习中一种常用的优化算法，用于最小化损失函数（LossFunction）。通过迭代调整模型参数，梯度下降帮助模型逐步逼近最优解，从而提升模型的性能。

yuanpan·2025-03-15 15:45

大语言模型微调和大语言模型应用的区别？

过程：通常涉及准备领域特定的数据集、设计合适的损失函数、调整超参数（例如学习率、批量大小等），以及选择冻结或解冻部分参数来更新模型

AI Echoes·2025-03-15 05:38

【PyTorch】torch.nn.functional.cross_entropy() 函数：分类任务的交叉熵损失函数

torch.nn.functional.cross_entropytorch.nn.functional.cross_entropy是PyTorch中用于分类任务的交叉熵损失函数，用于衡量预测概率分布与真实类别分布之间的差异

彬彬侠·2025-03-14 23:24

XGBoost算法深度解析：从原理到实践

与GBDT相比，XGBoost在目标函数中融合了损失函数（衡量预测误差）和正则化项（约束树结构与叶子权重），形成结构风险最小化框架，从而提升泛

彩旗工作室·2025-03-14 11:36

深度学习之优化器Optimizer介绍

优化器(Optimizer)是深度学习训练中非常关键的组件,它负责根据损失函数的梯度来更新模型参数,从而使模型性能不断提升。1.优化器的作用和重要性优化器是训练深度学习模型的核心组件之一。

yueguang8·2025-03-14 08:19

模型训练和推理

计算图以及前向后向传播训练时需要梯度，推理时不需要阶段是否计算梯度是否反向传播是否更新参数用例写法训练✅✅✅loss训练默认即可，requires_grad=True推理❌❌❌采样、预测、部署用@torch.inference_mode

一杯水果茶！·2025-03-13 12:02

YOLOv8改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖（含C2f二次创新）

专栏目录：YOLOv8改进目录一览|涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Ne

Limiiiing·2025-03-13 06:14

详细解释交叉熵损失函数（面试题200合集）

交叉熵损失函数的详细解释交叉熵（Cross-Entropy）损失函数是机器学习

快撑死的鱼·2025-03-13 05:00

YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

必读内容船新的YOLOv12改进专栏~1️⃣什么！不知道如何改进模型⁉️本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣找不到合适的模块⁉️所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到YOLOv12中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣不确定自己改进的步

Limiiiing·2025-03-13 00:27

在BERT中，如何确定一个标记的重要性

目录在BERT中，如何确定一个标记的重要性在BERT模型中，哪些标记通常具有最高的重要性权重调整损失函数或添加额外的监督信号以影响模型对特殊标记的关注度在BERT中，如何确定一个标记的重要性在BERT模型中

一只天蝎·2025-03-12 10:55

深度学习复习笔记（6）线性回归——新冠预测项目

文件fromtorch.utils.dataimportDataLoader,Dataset#两个与数据处理相关的包，类Datasetimporttorch.nnasnn#类nn.Module需要用，损失函数需要用

Kriol·2025-03-12 03:27

1.动手学习深度学习课程安排及深度学习数学基础

李沐目录目标内容将学到什么1.N维数组样例2.访问2维数组元素3.数据操作4.线性代数5.矩阵计算6.自动求导目标介绍深度学习景点和最新模型LeNetAlexNetVGGResNetLSTMBERT…机器学习基础损失函数

Unknown To Known·2025-03-11 21:09

关于两次项目的学习感悟

2.细节决定成败：代码中涉及了许多细节，如数据预处理、学习率调整、损失函数的选择等。这些细节对模型的最终性能有着重要影响。这提醒我们，在解决实际问题时，细节往往决定成败，需要耐心和

罗婕斯特·2025-03-11 10:43

Python第十六课：深度学习入门 | 神经网络解密

本节目标理解生物神经元与人工神经网络的映射关系掌握激活函数与损失函数的核心作用使用Keras构建手写数字识别模型可视化神经网络的训练过程掌握防止过拟合的基础策略一、神经网络基础（大脑的数字化仿生）1.神经元对比生物神经元人工神经元树突接收信号输入层接收特征数据细胞体整合信号加权求和

程之编·2025-03-11 09:03

3.10 项目总结

-定义损失函数和优化器。-训练模型并评估其性能。-可视化训练结果。内容分析1.数据加载和预处理：-使用`torchvision.datasets`加载MN

不要不开心了·2025-03-11 01:58

【深度学习】Adam（Adaptive Moment Estimation）优化算法

通过动态调整每个参数的学习率，在非平稳目标（如深度神经网络的损失函数）中表现优异目录基本原理和公式笼统说明：为什么Adam算法可以帮助模型找到更好的参数基本概念动量（Momentum）：跟踪梯度的指数衰减平均

辰尘_星启·2025-03-10 20:51

基于PyTorch的深度学习5——神经网络工具箱

3)损失函数：参数学习的目标函

Wis4e·2025-03-10 07:49

PyTorch 学习路线

机器学习基础：理解神经网络、损失函数、优化器（如梯度下降）等概念。学习资源Python入门：Python官方教程机器学习基础

gorgor在码农·2025-03-09 22:07

PyTorch：Python深度学习框架使用详解

丰富的API：提供了丰富的神经网络层、函数和损失函数。跨平

零度°·2025-03-09 21:25

【面经&八股】搜广推方向：面试记录（九）

4.八股写一下LR—逻辑回归损失公式：当y=1时，损失函数等于y_hat的负对数，即越接近1，损失越小；越

秋冬无暖阳°·2025-03-09 13:51

【深度学习】PyTorch v2.6 Overview

2torch.nn神经网络模块包含构建神经网络所需的各种模块，如层、损失函数等。3torch.nn.functio

OpenSeek·2025-03-09 11:37

DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）

1.环境准备│├──1.1硬件配置││├─全参数微调：4*A10080GB││└─LoRA微调：单卡24GB│├──1.2软件依赖││├─PyTorch2.1.2+CUDA││└─Unsloth/ColossalAI

Allen_LVyingbo·2025-03-09 11:33

tensorflow keras 报错：No gradients provided for any variable 原因与解决办法

错误分析Nogradientsprovidedforanyvariable这个意思是没有梯度给已知的所有函数，为什么会出现这个错误呢，因为在深度学习中，梯度的更新是由于反向传播算法的实现的，如果损失函数没有与已知的任何

研志必有功·2025-03-09 06:26

（Pytorch）动手学深度学习：基础内容（持续更新）

课件代码)关于线性代数内积(数量积、点乘)外积关于数据操作X.sum(0,keepdim=True)和X.sum(1,keepdim=True)广播机制(broadcast)Softmax函数和交叉熵损失函数

孔表表uuu·2025-03-09 01:48

新冠病毒感染人数预测（基于回归的神经网络项目）

写在前面：我们做的事情：我们的目的是要得到一个好的模型，这个模型能够让我们预测好的y首先拿到一批数据，这批数据有x和准确的y，我们让x通过模型得到预测的y，让预测的y与准确的y去计算差距loss，根据这个差距

|柳贯一|·2025-03-08 21:09

Triplet Loss原理及 Python实现

Tripletloss最初是谷歌在FaceNet:AUnifiedEmbeddingforFaceRecognitionandClustering论文中提出的，可以学到较好的人脸的embeddingTripletLoss

AIGC_ZY·2025-03-08 15:21

如何通过卷积神经网络（CNN）有效地提取图像的局部特征，并在CIFAR-10数据集上实现高精度的分类？

目录1.CNN提取图像局部特征的原理2.在CIFAR-10数据集上实现高精度分类的步骤2.1数据准备2.2构建CNN模型2.3定义损失函数和优化器2.4训练模型2.5测试模型3.提高分类精度的技巧卷积神经网络

浪九天·2025-03-07 19:27

大模型最新面试题系列：训练篇之模型监控与调试

关键指标损失函数值：包括训练损失和验证损失，反映模型在训练和验证数据上的拟合程度。准确率：分类任务中的预测正确样本占总样本的比例，评估模型的预测能力。

人肉推土机·2025-03-07 10:21

深度学习_第二轮

损失函数对偏置和权重求导，x、y作为常量确实，当进行模型训练时，(x)和(y)分别代表输入特征和对应的输出值，它们以数据点对的形式存在，一个数据集中通常包含多对这样的数据。

Humingway·2025-03-06 22:16

深度学习分类回归（衣帽数据集）

一、步骤1加载数据集fashion_minst2搭建classNeuralNetwork模型3设置损失函数，优化器4编写评估函数5编写训练函数6开始训练7绘制损失，准确率曲线二、代码导包，打印版本号：importmatplotlibasmplimportmatplotlib.pyplotasplt

何仙鸟·2025-03-06 16:24

图像识别技术与应用课后总结（14）

训练模型加载预处理数据集：可以借助PyTorch的数据处理工具，如torch.utils和torchvision等定义损失函数：既可以自定义，也能使用PyTorch内置的，像回归任务常用nn.MSELoss

一元钱面包·2025-03-06 12:15

搜广推校招面经二十八

Y1nhl·2025-03-06 01:15

推荐频道