正则化特征选择第7页

机器学习之特征工程-降维

当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。

城市中迷途小书童·2023-12-28 10:31

模式识别与机器学习-特征选择和提取

模式识别与机器学习-特征选择和提取特征选择一些距离测度公式独立特征的选择准则一般特征的散布矩阵准则离散K-L变换谨以此博客作为复习期间的记录。

Kilig*·2023-12-27 10:35

机器学习笔记八：Matlab实现神经网络的手写数字识别

OctaveCode需要解决的问题（3个）:1.数据加载及可视化1.1displayData.m2.参数加载3.基于前向传播算法计算代价4.正则化4.1nnCostFunction.m5.梯度下降函数5.1sigmoid.m5.2sigmoidGradient.m6

Amyniez·2023-12-26 08:20

通过FCN模型实现图像分割（Python篇+代码）

使用深度神经网络的原因是神经网络是一种多层的、可训练的模型，这样的话，它就能对图像中的甲状腺结点起到分类效果，且通过一定量的正则化训练，神经网络的性能也将愈加优异，对图像的分类也更加精准

CleloGauss·2023-12-25 20:31

【论文解读】终生学习LLL-正则化方法：Memory Aware Synapses

一、简介AMS可以在无监督和在线学习中计算网络参数的重要性。给与新数据可以计算出网络参数的特征重要性，基于模型数据的L2范数的平方，其参数的梯度反应新数据预测的敏感性，将其作为权重，让其保守变化，提高模型的泛化能力和减少模型的复杂度。首次将基于未标记数据的参数重要性调整网络需要（不要）忘记的内容的能力，这可能会因测试条件而异。二、重要贡献提出AMS我们展示了MAS的局部变体是如何与Hebbian学

Scc_hy·2023-12-25 10:09

论文写作八股

摘要1、方法背景，例如特征选择是什么。

erdaidai·2023-12-25 07:51

【机器学习】liblinear库使用说明（翻译）

LIBLINEAR是一个简单的软件包，用于解决大规模正则化线性分类、回归和异常检测问题。

十年一梦实验室·2023-12-25 01:35

【最优传输论文笔记一】Optimal Transport for Domain Adaptation

前言在本文中，提出了一个正则化的无监督最优传输模型来执行源域和目标域的表示对齐。学习了一个匹配两个概率密度函数（PDF）的传输计划，它约束源域中同一类的标记样本在传输过程中保持接近。

羊驼不驼a·2023-12-24 16:43

（14）监督学习-分类问题-决策树

其主要区别在于特征选择的方法不同。1、ID3特征选择方法：信息增益熵H（X）=-plog(p)求和，g(D,A)=H(D)-H(D,A),g越大，说明某一条件下，减少数据不确定性的程度越大。

顽皮的石头7788121·2023-12-23 19:27

正则化(Regularization) 线性回归

所以我们要做的就是在一定程度上减小这些参数θ的值，这就是正则化的基本方法。我们决定要减少θ3和θ4的大小，我们要做的便是修改代价函数，在其中θ3和θ4设置一点惩罚。

东京的雨不会淋湿首尔·2023-12-23 14:32

决策树和随机森林算法简介

决策树（DecisionTree）是一种基础的分类和回归算法随机森林是由多棵决策树集成在一起的集成学习算法决策树生成过程:特征选择决策树生成决策树剪枝信息熵用来衡量一个节点内信息的不确定性的。

草明·2023-12-23 11:30

决策树相关算法_ID3_C45_信息熵_剪枝

决策树学习通常包括3个步骤：特征选择；决策树的生成；决策树的修剪。信息增益为了说明信息增益算法，需要先给出熵entropy的定义，熵表示随机变量的不确定性的度量。

沉住气CD·2023-12-23 11:00

Spark Machine Learning进行数据挖掘的简单应用（兴趣预测问题）

数据挖掘的过程数据挖掘任务主要分为以下六个步骤：1.数据预处理2.特征转换3.特征选择4.训练模型5.模型预测6.评估预测结果数据准备这里准备了20条关于不同地区、不同性别、不同身高、体重…的人的兴趣数据集

冲鸭嘟嘟可·2023-12-23 10:28

Lasso回归、岭回归和弹性网络回归

在逻辑回归正则化一文中，我们详细解释了正则化的原理及作用：当有很多个特征X时，有些特征往往不重要，所以需要降低其的权重。而正则化则是为每个特征修改权重从而提升训练效果。

ShawnWeasley·2023-12-23 07:54

Deep Learning for Computer Vision with Python

pixel)ForminganImageFromChannels图像在python中的表示：NumPyarrayRGBvsGBR缩放和宽高比(aspectratio)数据输入从K-NN到参数学习优化方法和正则化优化方法正则化神经网络激活函数

Robin_Pi·2023-12-23 03:52

L1、L2正则化的原理及适用场景

1.L1正则化，也称Lasso回归1.1含义权值向量中各元素的绝对值之和，一般记作。

云从天上来·2023-12-23 02:22

一个小例子搞懂transformer中的label smoothing(标签平滑)

我们知道transformer中的正则化除了使用常见的dropout，还使用了labelsmoothing，也就是标签平滑。

前行的zhu·2023-12-23 02:51

深度学习之正则化方法

因此必须运用正则化方法来提高模型的泛化能力，避免过拟合。在传统机器学习算法中，主要通过限制模型的复杂度来提高泛化能力，比如在损失函数中加入L1范数或者L2范数。

weixin_30369087·2023-12-23 02:21

我们谈一下标签正则化（标签平滑、知识蒸馏、知识精炼）

0.引言关于正则化，大家都非常熟悉。深度神经网络由于其强大的特征提取能力，近年来在各种任务中得到了广泛而成功的应用。然而，DNN通常包含数以百万计的可训练参数，这很容易导致过拟合问题。

fond_dependent·2023-12-23 02:50

网络优化与正则化

引言网络优化高维变量的非凸优化神经网络优化的改善方法优化算法梯度下降法小批量梯度下降批量大小选择学习率调整AdaGrad算法RMSprop算法AdaDelta梯度修正估计动量法Nesterov加速梯度Adam算法梯度截断小结参数初始化基于固定方差的参数初始化基于方差缩放的参数初始化Xavier初始化He初始化正交初始化方法数据预处理逐层归一化批量归一化层归一化权重归一化局部响应归一化超参数优化网格

guanyue.space·2023-12-23 02:49

软间隔与正则化(支持向量机)-------机器学习

软间隔与正则化软间隔之前的博文中提过，支持向量机有一定的容错性，它允许有样本被分错，支持向量机以大局为重。

Lavender-csdn·2023-12-23 02:19

网络优化（五）——正则化

文章目录1.L1和L2正则化2.权重衰减3.提前停止4.Dropout5.数据增强6.标签平滑正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。

Suppose-dilemma·2023-12-23 02:18

标签正则化和硬标签、软标签、单标签、多标签

起因：最近在训练一个非常简单的二分类任务（计算描述两个实体的文本是否描述的是同一个实体），任务训练模式是用NLP大模型批量标注样本，在蒸馏后的robert_base上进行fine-tune，但是存在以下问题：1.样本大多都是简单样本：为了缓解这个问题，做了难样本生成，以及简单样本部分抽样。2.标注样本有错误：即使是LORA微调后的大模型也会在某几种类别的实体识别上性能不佳。3.模型训练极快达到过拟

云从天上来·2023-12-23 02:48

神经网络：深度学习优化方法

权值正则化。使用合适的优化器等。2.BN层面试高频问题大汇总BN层解决了什么问题？

是Dream呀·2023-12-22 23:21

损失函数中正则化中的平方项的作用！！

正则化上的平方项前言在损失函数中添加正则化项时，通常会使用平方项作为正则化项，原因主要有以下几点：前言在损失函数中添加正则化项的原因主要是为了防止过拟合。

小桥流水---人工智能·2023-12-22 09:42

逻辑回归

LogisticRegression)里,通常我们并不拟合样本分布,而是确定决策边界下面为各式各样的决策边界image线性决策边界imageimage非线性决策边界image2.3逻辑回归损失函数损失函数与正则化依旧存在

iOSDevLog·2023-12-22 08:43

《opencv实用探索·二十一》人脸识别

Haar级联分类器是一种用于目标检测的机器学习方法，它是一种基于机器学习的特征选择方法，能够快速而有效地检测出图像中的对象或特定的模式，例如人脸。

梦回阑珊·2023-12-21 19:46

机器学习——特征选择（一）

1、简介特征选择，又称变量选择、属性选择或变量子集选择，是选择相关特征子集用于模型构造的过程。简要地说，通过检测相关特征。摒弃冗余特征，获得特征子集，从而以最小的性能损失更好地描述问题。

风月雅颂·2023-12-21 11:04

机器学习——特征选择（二）

【说明】文章内容来自《机器学习——基于sklearn》，用于学习记录。若有争议联系删除。4、皮尔森相关系数皮尔森（pearson）相关系数度量两个变量之间的相关程度。是用两个连续变量x,y的协方差除以x,y各自的标准差的乘积。皮尔森相关系数的值为-1~1，其性质如下：时，表示两个变量为正相关；当时，表示两个变量为负相关。时，表示两个变量为完全相关。时，表示两个变量无相关关系。时，表示两个变量存在一

风月雅颂·2023-12-21 11:59

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。

极客Array·2023-12-21 06:18

【论文简述】Uncertainty awareness with adaptive propagation for mvs(Applied Intelligence 2023）

一、论文简述1.第一作者：JinguangChen2.发表年份：20233.发表期刊：AppliedIntelligence4.关键词：多视角立体、深度学习、不确定性感知、自适应传播、代价体正则化5.探索动机

华科附小第一名·2023-12-21 02:06

【机器学习】线性模型-线性支持向量机

一、常用二分类损失函数二、三种不同的正则化器（L2-正则化，L1-正则化和Lp-范数）的性质三、线性支持向量机原理L1正则化L1-lossSVC原问题L2正则化L2-lossSVC原问题L2正则化SVC

十年一梦实验室·2023-12-20 22:40

人工智能之数学(三) ------ 凸优化

一.机器学习中的优化问题损失函数:模型与实际数据匹配程度越好,损失函数就越小,如果相差较大,损失函数也会相对比较大正则化函数:模型很复杂,对于训练数据拟合性很好,但是对于未见过的数据拟合较差,因此可通过正则化的函数控制模型的复杂度

千喜Ya·2023-12-20 08:45

线性回归——lasso回归和岭回归（ridge regression）

lasso回归和岭回归（ridgeregression）其实就是在标准线性回归的基础上分别加入L1和L2正则化（regularizat

weixin_30853329·2023-12-20 05:14

LinearRegression、岭回归、Lasso回归和ElasticNet回归总结-附python3代码实战及回归检验

文章目录过拟合和欠拟合正则化线性回归算法模型使用Scikit-Learn进行LinearRegression、岭回归、Lasso回归和ElasticNet回归LinearRegression岭回归Lasso

安然烟火·2023-12-20 05:43

线性回归、lasso回归和岭回归（ridge regression）

lasso回归和岭回归（ridgeregression）其实就是在标准线性回归的基础上分别加入L1和L2正则化（regularization）。

呆小呆_·2023-12-20 05:43

机器学习(十二)：正则化与过拟合(附代码实例)

全文共10000余字，预计阅读时间约20~30分钟|满满干货，建议收藏！一、介绍构建一个机器学习模型并不总是一帆风顺的。可能在初步尝试之后，会发现模型在训练数据上的表现非常好，但在新的、未见过的数据上的表现却非常差。这就是所谓的过拟合问题。过拟合是机器学习中一个常见的问题，如果模型过于复杂，就会出现模型可以记住训练数据的特定噪声，但却无法学习到有用的、通用的趋势或者模式的这种情况。此时模型最终的表

算法小陈·2023-12-20 05:13

[23-24 秋学期]NNDL 作业6 卷积 [HBU]

一、概念用自己的语言描述“卷积、卷积核、特征图、特征选择、步长、填充、感受野”。大致看了一遍邱锡鹏《神经网络与深度学习》的卷积一节。谈谈我对这些名词概念的理解(理解不足描述不准请见谅)。个人

洛杉矶县牛肉板面·2023-12-20 00:01

【GAN ZOO阅读】模式正则化的生成对抗网络 MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS

原文地址：https://arxiv.org/abs/1612.02136引用之请注明出处。TongChe1，YanranLi23，AthulPaulJacob1，YoshuaBengio1，WenjieLi21蒙特利尔学习算法研究所，蒙特利尔大学，蒙特利尔，QCH3T1J4，加拿大2香港理工大学计算机系，香港3滑铁卢大学计算机学院，滑铁卢，ONN2L3G1，加拿大摘要尽管生成对抗网络在各种生成任

hyczkg·2023-12-19 19:22

tensorflow入门自定义层

前面讲了自定义损失函数，自定义正则化，自定义评价函数。现在来讲自定义层，其实都差不多，继承重要的组件就可以了。

歌者文明·2023-12-19 14:14

决策树算法

决策树特征选择贷款决策佩戴隐形眼镜决策决策树算法的优缺点决策树（DecisionTree）是一种常用的机器学习算法，它通过对数据集进行分割来实现分类或回归。

写进メ诗的结尾。·2023-12-19 06:18

【机器学习】线性模型-logistic 回归

一、逻辑（logistic）回归原理1.1逻辑回归的数学原理1.2logistic回归的L2正则化原问题1.3逻辑回归的L2正则化原问题使用可信域牛顿法求解1.4logistic回归L2正则化的对偶问题

十年一梦实验室·2023-12-19 05:49

notes2

机器学习ROC曲线、AUC、PR曲线等决策树，ID3、C4.5、CART决策树，随机森林、Adaboost、GBDT决策树，XGBoost、LightGBM逻辑回归，L1L2正则化熵，KL散度，交叉熵micro-f1

lym94·2023-12-18 14:53

社交网络分析4：社交网络链路预测分析、LightGBM框架、Logistic回归模型、LLSLP方法（LightGBM 堆叠链路预测）、正则化方法、多重共线性、堆叠泛化

社交网络分析4写在最前面社交网络链路预测分析概述链路预测分析简介链路预测分析的重要性社交网络链路预测分析方法基于网络结构的方法基于节点属性的方法基于随机游走的方法基于深度学习的方法基于相似性和基于似然性的链路预测方法基于相似性的方法基于邻居的方法基于路径的方法基于随机游走的方法基于似然估计的方法两类方法的优缺点LLSLP方法（逻辑斯蒂回归LightGBM堆叠链路预测）方法概述逻辑斯蒂回归模型防止过

是Yu欸·2023-12-18 09:07

暂退法(丢弃法)

在深度学习中，丢弃法（Dropout）是一种常用的正则化技术，旨在减少模型的过拟合现象，可能会比之前的权重衰减(WeightDecay)效果更好。

奉系坤阀·2023-12-18 08:37

权重衰减(Weight Decay)

在深度学习中，权重衰减（WeightDecay）是一种常用的正则化技术，旨在减少模型的过拟合现象。权重衰减通过向损失函数添加一个正则化项，以惩罚模型中较大的权重值。