正则化

【AI大模型面试八股文】大模型训练中如何应对灾难性遗忘问题？

四、主流解决方案汇总✅1.固定部分参数（FeatureExtraction）✅2.正则化策略（Regularization）✅3.回放机制（Rehearsal/Replay）✅4.参数隔离（ParameterIsolation

一叶千舟·2025-07-05 00:17

【Torch】nn.Dropout算法详解

1.定义nn.Dropout是PyTorch中用于防止神经网络过拟合的正则化层。

油泼辣子多加·2025-07-03 17:11

经典文生图的GAN模型-HDGAN介绍

该方法的主要创新点包括：分层嵌套对抗目标：在网络层次结构内部引入配套的分层嵌套对抗目标，正则化中层表示并辅助生成器训练单流生成器架构：提出可扩展的单流生成器架构，更好地适应联合鉴别器并将生成图像提升到高分辨率多目的对抗损失

这张生成的图像能检测吗·2025-07-02 06:52

【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？

【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？

努力毕业的小土博^_^·2025-07-02 01:15

行为正则化与顺序策略优化结合的离线多智能体学习算法

离线多智能体强化学习（MARL）是一个新兴领域，目标是在从预先收集的数据集中学习最佳的多智能体策略。随着人工智能技术的发展，多智能体系统在诸如自动驾驶、智能家居、机器人协作以及智能调度决策等方面展现了巨大的应用潜力。但现有的离线MARL方法也面临很多挑战，仍存在不协调行为和分布外联合动作的问题。为了应对这些挑战，中山大学计算机学院、美团履约平台技术部开展了学术合作项目，并取得了一些的成果，希望分享

·2025-07-01 08:22

【深度学习|学习笔记】什么是正则化？如何理解正则化？L0、L1、L2正则化的起源、发展、原理、应用和对比详解，附代码。

【深度学习|学习笔记】什么是正则化？如何理解正则化？L0、L1、L2正则化的起源、发展、原理、应用和对比详解，附代码。【深度学习|学习笔记】什么是正则化？如何理解正则化？

努力毕业的小土博^_^·2025-06-29 19:17

【机器学习实战】Datawhale夏令营2：深度学习回顾

机器学习和深度学习的关系2.深度学习的训练流程2.1数学基础2.1.1梯度下降法基本原理数学表达步骤学习率α梯度下降的变体2.1.2神经网络与矩阵网络结构表示前向传播激活函数反向传播批处理卷积操作参数更新优化算法正则化初始化

城主_全栈开发·2025-06-28 00:17

对SPM12的认识（二）

对SPM12的认识（二）四、SegmentDataChannel体积（Volumes）偏差正则化（Biasregularisation）偏差的FWHM（BiasFWHM）保存偏差校正图像（SaveBiasCorrected

·2025-06-27 12:28

机器学习数据预处理：L2正则化(岭回归）

一、L2正则化介绍L2正则化，也称为岭回归（RidgeRegression），是一种常用的正则化方法。它在线性回归模型中通过在损失函数中添加L2范数的平方来惩罚模型的复杂度，从而防止过拟合。

数字化与智能化·2025-06-24 12:21

基于Split Bregman算法的稀疏图像重建（附带Matlab代码）

算法原理SplitBregman算法是一种迭代算法，用于求解具有L1正则化项的优化问题。在图像重建中，我们希望找到一个稀疏表示来恢复受损的图像。该

代码创造者·2025-06-23 11:43

基于沙猫群算法优化的正则化极限学习机(RELM)的回归预测

基于沙猫群算法优化的正则化极限学习机(RELM)的回归预测文章目录基于沙猫群算法优化的正则化极限学习机(RELM)的回归预测1.RELM原理2.预测问题求解3.基于沙猫群算法优化的RELM4.实验结果5

智能算法研学社（Jack旭）·2025-06-23 09:27

基于战争策略算法优化的正则化极限学习机(RELM)的回归预测

基于战争策略算法优化的正则化极限学习机(RELM)的回归预测文章目录基于战争策略算法优化的正则化极限学习机(RELM)的回归预测1.RELM原理2.预测问题求解3.基于战争策略算法优化的RELM4.实验结果

·2025-06-23 09:27

嵌入式学习-暑假学习总规划-day6

时间段学习任务目标成果6月17日-6月30日吴恩达监督学习课程含线性回归、逻辑回归、神经网络基础完成课程视频+习题，理解训练流程、损失函数、过拟合、正则化7月1日-7月10日PyTorch框架入门学习张量

·2025-06-22 06:58

智能光学计算成像技术前沿体系解析

本知识体系涵盖以下核心模块：基础理论层从计算成像物理模型（含波前分析、图像传感器噪声建模）切入，建立光学-算法联合优化理论框架，重点解析正则化逆问题求解（如ADMM算法）与神经表示（NeuralRepresentations

m0_75133639·2025-06-19 10:14

AI模型的泛化性的第一性原理是什么？

*一、泛化性的第一性原理：统计学习理论的核心****1.独立同分布假设（IID）是泛化的基础****2.泛化误差：理论本质的数学刻画****3.模型复杂度与样本量的权衡****二、实现泛化的核心机制：正则化与隐式约束

mao_feng·2025-06-17 00:38

基于哈里斯鹰算法优化的正则化极限学习机(RELM)的回归预测

基于哈里斯鹰算法优化的正则化极限学习机(RELM)的回归预测文章目录基于哈里斯鹰算法优化的正则化极限学习机(RELM)的回归预测1.RELM原理2.预测问题求解3.基于哈里斯鹰算法优化的RELM4.实验结果

智能算法研学社（Jack旭）·2025-06-16 09:30

线性回归讲解L1和L2正则化

特征：size（面积，平方米），age（房龄，年）目标：price（价格，万元）1.没有正则化的普通线性回归（最容易过拟合）模型的公式是：预测价格=w1*size+w2*age+b其中w1和w2是我们要学习的权重

XiaoQiong.Zhang·2025-06-16 09:59

机器学习中的正则化（Regularization）详解

机器学习中的正则化（Regularization）详解正则化的本质：为什么需要它？

DuHz·2025-06-15 01:00

Pytorch 之torch.nn进阶第1关：正则化

有偿提供CS的人工智能/网络空间安全方向的大学生课程设计、算法设计、项目设计的思路及实现指导；竞赛PPT、项目申报书等撰写润色等。经过“Pytorch之torch.nn初探“实训的学习，想必同学们对torch.nn有了一个初步的认识。接下来，本实训将介绍更多内容帮助同学们运用神经网络的特性。任务描述本关任务：本关提供了一个Variable类型的变量input，要求利用BatchNorm1d创建一个

ad_m1n·2025-06-14 05:50

头歌之动手学人工智能-Pytorch 之torch.nn进阶

目录第1关：正则化任务描述编程要求测试说明精神的浩瀚，想象的活跃，心灵的勤奋，就是天才。——狄德罗开始你的任务吧，祝你成功！

摸鱼界在逃劳模·2025-06-14 05:49

深度学习基础知识总结

减轻过拟合：批归一化引入了轻微的正则化效果，因为它依赖于mini-batch中的统计信息，这种方式可以减少对单个样本的过度拟合。

·2025-06-12 21:58

【深度学习-Day 26】正则化神器 Dropout：随机失活，模型泛化的“保险丝”

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手

吴师兄大模型·2025-06-12 18:37

【额.......】如何防止过拟合？

以下是防止过拟合的一些关键方法（早停、剪枝、正则化、增加样本、批量归一化、控制模型复杂度）的系统性解决方案，包含原理、实现细节与最佳实践：一、早停法（EarlyStopping）原理通过监控验证集性能，

努力努力再努力呐·2025-06-12 10:47

基于卷积神经网络的 Fashionminsit 数据集分类

3.应用正则化技术：通过实验，掌握Dropout、L2正则化等技术在卷积神经网络中的应用，以降低模型的过拟合风险。

ʚɞ 长腿欧巴·2025-06-11 15:33

模型评估与模型参数选择：机器学习实践的关键步骤

目录1.模型评估1.1训练误差与泛化误差1.2过拟合与欠拟合1.3交叉验证1.4正则化2.模型参数选择3.总结与实用建议1.模型评估1.1训练误差与泛化误差模型

沐秋子·2025-06-11 12:13

机器学习专栏（36）：逻辑回归与Softmax回归全解析（附完整代码与可视化）

目录一、逻辑回归：概率世界的"温度计"1.1核心原理：从线性到概率的魔法转换1.2Sigmoid函数：概率转换的核心引擎1.3实战案例：鸢尾花二分类二、模型训练：损失函数的艺术2.1对数损失函数解析2.2正则化实战技巧三

Sonal_Lynn·2025-06-11 04:46

【深度学习-Day 25】告别过拟合：深入解析 L1 与 L2 正则化（权重衰减）的原理与实战

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手

吴师兄大模型·2025-06-08 19:32

2篇7章6节：弹性网（Elastic Net）回归的原理和应用场景，并用R进行代码演示

为了解决这些问题，学者们提出了多种“正则化”（regularization）方法，其中最知名的有两种：Lasso回归和岭回归。本文将介绍它们的“融合升级版”—

R科学与人工智能·2025-06-08 10:27

论文阅读笔记—— Multi-attentional Deepfake Detection

文章目录Multi-attentionalDeepfakeDetection背景创新贡献方法注意图正则化的区域独立性损失注意力引导的数据增强实验Multi-attentionalDeepfakeDetection

jessIoss·2025-06-06 07:36

打卡第二十天

Lasso筛选Lasso回归是一种带有L1正则化的线性回归方法，能够通过正则化系数将某些特征的权重压缩为零，从而实现特征选择。树模型重要性树模型

Shining_Jiang·2025-06-05 14:45

机器学习中的正则化&拟合

正则化&拟合一正则化1.1概述1.2分类1.2.1L1正则化1.2.2L2正则化二拟合2.1概述2.2分类2.2.1欠拟合2.2.2过拟合2.2.3正好拟合在算法中我们可以通过算法的时间复杂度和空间复杂度来评估算法的好坏

文柏AI共享·2025-06-01 19:11

机器学习/深度学习——模型的欠拟合和过拟合，正则化方法详解

机器学习/深度学习——模型的欠拟合和过拟合，正则化方法详解搭配以下文章进行学习：卷积神经网络：深度学习——卷积神经网络（convolutionalneuralnetwork）CNN详解（一）——概述.步骤清晰

林采采学编程+·2025-06-01 19:09

Deblurring Text Images via L0-Regularized Intensity and Gradient Prior论文阅读

DeblurringTextImagesviaL0-RegularizedIntensityandGradientPrior1.研究目标与实际意义1.1研究目标1.2实际问题与产业意义2.创新方法：L0正则化强度与梯度先验

青铜锁00·2025-06-01 10:01

机器学习笔记【Week6】

根据判断选择策略：情况训练误差验证误差结论改进方向欠拟合（高偏差）高高模型能力不足增加特征，减小正则化过拟合（高方差）低高泛化能力差增加训练数据，增加正则化二、评估假设的误差训

kuiini·2025-05-31 18:45

机器学习与深度学习04-逻辑回归02

目录前文回顾6.正则化在逻辑回归中的作用7.特征工程是什么8.逻辑回归的预测结果如何9.什么是ROC曲线和AUC值10.如何处理类不平衡问题11.什么是交叉验证前文回顾上一篇文章地址：链接6.正则化在逻辑回归中的作用逻辑回归中

my_q·2025-05-31 18:45

深度学习模型：技术演进、热点突破与未来图景

其采用ReLU激活函数、Dropout正则化等创新，奠定现代深度学习基础架构。

accurater·2025-05-31 12:28

科研经验贴：AI领域的研究方向总结

验证集：调整超参数（如学习率、正则化强度），防止过拟合。测试集：评估模型的泛化能力（需确保未参与训练或调参）。

勤劳的进取家·2025-05-30 18:19

线性回归中标准方程法求逆失败的解法：正则化

线性回归中标准方程法求逆失败的解法：正则化在机器学习的线性回归任务中，标准方程法是求解最优参数的常用方法。

思绪漂移·2025-05-29 10:59

同源“平滑思想”的问题解法：正则化与拉普拉斯平滑

同源“平滑思想”的问题解法：正则化与拉普拉斯平滑在机器学习和概率模型的实践中，正则化与拉普拉斯平滑是两个看似无关的技术：前者用于防止模型过拟合，后者用于解决零概率问题。

思绪漂移·2025-05-29 10:59

AI人工智能领域PyTorch的模型正则化方法

AI人工智能领域PyTorch的模型正则化方法关键词：AI人工智能、PyTorch、模型正则化、过拟合、正则化方法摘要：本文聚焦于AI人工智能领域中PyTorch的模型正则化方法。

AI学长带你学AI·2025-05-29 09:55

正则化方法：从 Weight Decay 到 BatchNorm、GroupNorm, Dropout、DropConnect, Early Stopping 与归一化技术

深度学习中的正则化方法全解析：从WeightDecay到BatchNorm、Dropout、EarlyStopping与归一化技术本文系统梳理了深度学习中各类正则化方法，包括：显式正则化：L1/L2正则

pen-ai·2025-05-26 20:25

正则化&&常见异常处理

1.正则化（1）单字符匹配.

TY-2025·2025-05-23 00:20

机器学习第二十一讲：正则化 → 给模型带定位手环防走极端路线

机器学习第二十一讲：正则化→给模型带定位手环防走极端路线资料取自《零基础学机器学习》。

·2025-05-21 23:58

深度学习中的正则化方法与卷积神经网络基础

笔记1正则化方法1.1什么是正则化防止模型过拟合(训练集效果好,测试集效果差),提高模型泛化能力一种防止过拟合,提高模型泛化能力的策略L1正则:需要通过手动写代码实现L2正则:SGD(weight_decay

郜太素·2025-05-21 21:22

11.19 机器学习-岭回归+拉索回归+逻辑回归

#欠拟合训练不够#过拟合训练太够了噪声也学进去了#一般来说w的值越大误差越大w的值小误差小但也不能太小不然失去了应用的意义#防止欠拟合和过拟合的方式就岭回归和拉索回归正则化#本质上就是牺牲模型在训练集上的正确率来提高推广

Seeklike·2025-05-20 02:48

YOLO11改进-注意力-引入自集成注意力机制SEAM解决遮挡问题

首先，我们将解析SEAM他做了什么，SEAM（Self-EnsemblingAttentionMechanism）是一种自集成注意力机制，通过多视角特征融合和一致性正则化来增强模型的鲁棒性和泛化能力，特别适用于处理遮挡问题和多尺度特征融合

一勺汤·2025-05-20 01:13

机器学习笔记——特征工程

本笔记介绍机器学习中常见的特征工程方法、正则化方法和简要介绍强化学习。

好评笔记·2025-05-18 20:27

Batch Normalization原理与代码实例讲解

BatchNormalization作为一种正则化技术，能够有效缓解这个问题，并提高模型的收敛

AI天才研究院·2025-05-18 13:39

基于权重正则的结构化剪枝：原理、方法与应用

网络剪枝作为模型压缩的关键技术，通过去除冗余参数来减少计算和存储需求，其中基于权重正则化的结构化剪枝方法尤为重要。

DuHz·2025-05-17 23:28

AI大模型的训练与优化

AI大模型的训练与优化前言摘要1.计算资源分配与管理1.1分布式训练技术1.2异构计算策略1.3资源利用率监控与调优2.参数调优与正则化方法2.1学习率调度策略2.2正则化方法3.模型压缩与优化3.1模型剪枝

Jc.MJ·2025-05-17 07:05

推荐频道

正则化