Generalization

林轩田《机器学习基石》（七）—— The VC dimension

首先明确：Generalization是“举一反三”的能力。什么是？答：未来测试表现与我们现在的表现是类似的。
不抱我起来就没法医治·2022-12-28 12:55

论文学习：Decoupling Value and Policy for Generalization in Reinforcement Learning（强化学习中泛化的解耦价值和策略）

摘要：Standarddeepreinforcementlearningalgorithmsuseasharedrepresentationforthepolicyandvaluefunction,especiallywhentrainingdirectlyfromimages.However,wearguethatmoreinformationisneededtoaccuratelyestima
Love Q·2022-12-24 10:55

【领域泛化】论文介绍《Learning to balance specificity and invariance for in and out of domain generalization》

【领域泛化】论文介绍《Learningtobalancespecificityandinvarianceforinandoutofdomaingeneralization》论文地址摘要核心思想动机DMG方法通过领域特征编码的特征选择激励领域特异性代码实现论文引用论文地址https://arxiv.org/pdf/2008.12839.pdf摘要在本文发表前，大多数成熟的领域泛化方法专注于学习跨所有
TopologyXL·2022-12-22 10:17

Generalizing to Unseen Domains: A Survey on Domain Generalization 论文分享

这篇论文应该是领域泛化领域第一篇综述，楼主花了些时间较为仔细的读了一下，写了这篇笔记1.理论分析(论文所有的分析都基于二分类问题，分析工具会用到VC维)DomainAdaptation中的errorbounderrorbound包含三项：源域上的误差+源域和目标域的距离+理想模型的误差（对相同的数据集，源域和目标域上的理想分类器的分类差异）一般的DA方法将第三项视作为常数项，主要优化第一和第二项（
dailleson_·2022-12-22 09:38

DeepMind one shot learning 论文批注 One-Shot Generalization in Deep Generative Models

One-ShotGeneralizationinDeepGenerativeModelsDaniloJ.RezendeShakirMohamedIvoDanihelkaKarolGregorDaanWierstraGoogleDeepMind,London2.VarietiesofAttentionSpatially-transformedattentionAmorepowerfulapproac
Solomon1588·2022-12-18 21:06

hnust 2022下学期数据挖掘原理与算法期中考试复习资料

ArtificialNeuralNetworks，ANNs）★★人工智能（ArtificialIntelligence）大数据（BigData）定义特征知识工程（KnowledgeEngineering）广义知识（Generalization
qq_33843237·2022-12-17 01:38

周志华机器学习阅读笔记(一）泛化能力、假设空间与版本空间及课后题解

第1章的一些易混淆名词解释注释：只记录一些之前不太清晰的名词解释泛化能力（generalization）机器学习的目标是使学习的模型能适用于未在训练集中出现过的样本，泛化能力即为所学模型适用于新样本的能力
悦心者为乐·2022-12-16 20:27

SAM解析：Sharpness-Aware Minimization for Efficiently Improving Generalization

论文：Sharpness-AwareMinimizationforEfficientlyImprovingGeneralization(ICLR2021)一、理论综合了另一篇论文：ASAM:AdaptiveSharpness-AwareMinimizationforScale-InvariantLearningofDeepNeuralNetworks对理论部分这边的解释，同时这篇论文自己也对SAM
wukurua·2022-12-15 22:14

GitHub 23.6k星资源之机器学习必读100篇论文清单：高引用、分类全、覆盖面广

文章目录项目评价标准包含内容Understanding/Generalization/TransferOptimization/TrainingTechniquesUnsupervised/GenerativeModelsConvolutionalNeuralNetworkModelsImage
易烊千蝈·2022-12-14 15:55

全面讨论泛化 (generalization) 和正则化 (regularization) — Part 1

卡内基梅隆大学研究方向|Physics-informedML模型泛化能力，是设计和评估一个机器学习or深度学习方法时无比重要的维度，所以我想通过一系列文章，与大家全面地讨论机器学习和深度学习中的泛化（generalization
PaperWeekly·2022-12-07 17:42

Generalization

Ageneralizationisaformofabstractionwherebycommonpropertiesofspecificinstancesareformulatedasgeneralconceptsorclaims.[1]Generalizationsposittheexistenceofadomainorsetofelements,aswellasoneormorecommonc
Tsima_·2022-12-05 09:03

【NeurIPS2022】ScalableViT: Rethinking the Context-oriented Generalization of Vision Transformer

【NeurIPS2022】ScalableViT:RethinkingtheContext-orientedGeneralizationofVisionTransformer这篇论文来自清华大学深圳研究生院和字节跳动。从Swin开始，attention一般都包括局部windowattention和全局attention两个部分。模型的改进一般有两个：局部注意力和全局注意力。这篇论文也是如此，整体框
AI前沿理论组@OUC·2022-12-04 15:27

推荐系统论文阅读笔记（一）Wide & Deep Learning for Recommender Systems

wideanddeep模型的核心思想是结合线性模型的记忆能力（memorization）和DNN模型的泛化能力（generalization），在训练过程中同时优化2个模型的参数，从而达到整体模型的预测能力最优
ObsidianL·2022-11-29 09:04

Understanding Attention and Generalization in Graph Neural Networks--NIPS2019--论文笔记

论文题目–《对图神经网络的注意力和泛化能力的理解》摘要我们旨在更好地了解图神经网络（GNN）中节点的注意力机制，并确定影响其有效性的因素。我们特别关注attentionGNNs推广到更大、更复杂或有噪声的图的能力。受图同构网络研究的启发，我们设计了简单的图推理任务，使我们能够在受控环境中研究注意力机制。我们发现，在典型条件下，注意力的影响可忽略不计甚至是有害的，但是在某些条件下，注意力在我们的某些
爱玩的阿是·2022-11-25 03:55

【图神经网络论文整理】（四）—— Understanding Attention and Generalization in Graph Neural Networks

BorisKnyazev（UniversityofGuelphVectorInstitute），GrahamW.Taylor（UniversityofGuelphVectorInstitute,CanadaCIFARAIChair），MohamedR.Amer∗（Robust.AI）33rdConferenceonNeuralInformationProcessingSystems(NeurIPS
咕 嘟·2022-11-25 03:50

论文解读ON THE GENERALIZATION MYSTERY IN DEEP LEARNING

该论文研究的是为什么深度网络泛化得很好？作者从梯度下降、稳定性角度进行了分析。得出结论：当不同示例的梯度在训练过程中很好地对齐时，即当它们是相干的时，梯度下降是稳定的，并且期望得到的模型能够很好地泛化。否则，如果示例太少或运行时间太长，则梯度下降可能无法泛化。该论文共有80页，目录如下，后面一部分多是一些数学证明，我将前一部分简单整理了一下，做成了思维导图，思维导图中的文字写在了后面，供大家参考。
甜哥不甜lgg·2022-11-24 01:23

《深度学习DEEP LEARING》花书---机器学习部分 5.2 关键词 容量 过拟合 欠拟合 假设空间 学习笔记分享（欢迎指正）

目录泛化误差(generalization)欠拟合过拟合容量（capacity）假设空间（hypothesisspace）举例小结首先引入一个概念：泛化误差(generalization)通常情况下，当我们训练机器学习模型时
ashley_ya_·2022-11-23 16:34

linear support vector machine

我们希望获得的hypothesis在一组数据是一致的，而不是可能取决于根数据存放顺序（也影响了generalization能力）。如果要我们
极致 for 简单·2022-11-23 09:32

GBDT(Gradient Boosting Decision Tree

它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。GBDT主要由三个概念组成
元宇宙iwemeta·2022-11-22 20:45

[文献阅读] Sparsity in Deep Learning: Pruning and growth for efficient inference and training in NN

文章目录1.前言2.OverviewofSparsityinDeepLearning2.1Generalization2.2performanceandmodelstorage2.3whatcanbesparsified
Muasci·2022-11-22 20:37

GBDT(Gradient Boosting Decision Tree) 详解

它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。后记：发现GBDT除了我描述的
PigLisong·2022-11-22 20:05

长尾分布系列论文解析（三）On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

大纲引言多域学习中的长尾分布域间类别信息可转移性图类别不均衡对可转移性的影响BoDA实验结果总结引言 本文是长尾分布系列论文解析的第三篇，前两篇分别关注了传统分类问题中的长尾分布：长尾分布系列论文解析（一）DecouplingRepresentationandClassifierforLong-TailedRecognition以及回归问题中的长尾分布长尾分布系列论文解析（二）Delvingint
夜半罟霖·2022-11-22 14:01

GENERALIZATION THROUGH MEMORIZATION: NEAREST NEIGHBOR LANGUAGE MODELS

Abatract我们引入了kNN-LMs，它扩展了一个预先训练的神经语言模型（LM），通过与k个最近邻（kNN）模型线性插值。最近邻是根据预先训练好的LM嵌入空间中的距离进行计算的，并可以从任何文本集合中提取，包括原始的LM训练数据。定性地说，该模型在预测罕见的模式方面特别有用，如事实知识。总之，这些结果强烈地表明，学习文本序列之间的相似性比预测下一个单词更容易，而最近邻搜索是一种在长尾进行语言建
been_through·2022-11-22 05:31

第一章 绪论

1.2基本术语所有训练样本的集合为：训练集（trainningset）所有测试样本的集合为：测试集（testset）机器学习出来的模型适用于新样本的能力为：泛化能力（generalization），即从特殊到一般
wicidici·2022-11-21 13:46

【datawhale】西瓜书+南瓜书阅读第1、2章笔记

预测连续值预测过程称为“测试”根据训练数据是否拥有标记信息，学习任务可大致划分为两大类"监督亦称啃导f币学习"和学习"(supervisedlearning)和"无监督学习"学得模型适用于新样本的能力，称为"泛化"(generalization
照旧的你好·2022-11-20 06:09

Learning to Balance Specificity and Invariance for In and Out of Domain Generalization 阅读笔记

Motivation许多DG方法专注于学习在所有源域中持续存在的表征，并假设这些与域无关的表征将具有良好的泛化能力。但个别领域往往包含独特的特征，当利用这些特征时，可以提升领域内的识别性能。利用"invariance"和"specifity"之间的平衡，可能有助于模型做出更好的预测。“invariance”：跨域共享的特征，通过多个域产生，共同学习的一些知识；“specificity”：个别领域的
1100dp·2022-11-19 22:55

PCL: Proxy-based Contrastive Learning for Domain Generalization 阅读笔记

Motivation对比学习：利用不同领域的样本对之间丰富的语义关系来学习domain-invariantrepresents。简而言之，构建多个正负样本对，然后用它们来学习优化一个距离度量，将来自不同正样本对之间的距离拉近，而将其他负样本对推远。基于代理的方法：代理被看作是一个子数据集的代表，一个标准的基于代理的方法是softmaxcrossentropyloss，其中代理用来表示类。domai
1100dp·2022-11-19 22:25

机器学习-偏差与方差

2.偏差-方差权衡3.特征提取3.1训练误差修正3.2交叉验证4.压缩估计（正则化）4.1岭回归实例4.2Lasso实例5.降维5.1主成分分析(PCA)1.偏差与方差Bias和Variance是针对Generalization
疯子书生z·2022-11-19 11:47

机器学习 西瓜书 第一章绪论 读书笔记

1.绪论1.1引言1.2基本术语预测离散值分类二分类多分类连续值回归根据训练数据是否拥有标记信息监督学习无监督学习泛化能力generalization学得模型适用于新样本的能力，具有强泛化能力的模型能很好的适用于整个样本空间希望能通过对样本的训练反映出总体空间的特性独立同分布假设样本空间中全体样本服从一个未知的分布
猾枭·2022-11-16 07:20

[论文阅读]阿里DIN深度兴趣网络之总体解读

深度兴趣网络之总体解读文章目录[论文阅读]阿里DIN深度兴趣网络之总体解读0x00摘要0x01论文概要1.1概括1.2文章信息1.3核心观点1.4名词解释0x02解读思路2.1Memorization和Generalization2.1.1Memorization2.1.2Generalization2.2
罗西的思考·2022-11-09 04:00

【机器学习】误差、过拟合与欠拟合

归纳，是从特殊到一般的“泛化”(generalization)过程，即从具体事实归结出一般性规律；演绎，是从一般到特殊的“特化”(specialization)过程，即从基本原理推演出具体状况。
脚踏实地的大梦想家·2022-11-02 18:33

神经网络的正则化

过拟合时，神经网络对于特定的特征数据表现极佳，但对于大多数数据表现很差，即模型的泛化性（generalization）差。  
电器爆破专家·2022-11-01 11:18

【软件工程】UML中类之间的六大关系

前言快速回忆一、泛化关系（Generalization）说明：这种关系就是面向对象语言中的继承关系，逻辑上可以用"isa"表示。代码体现：子类继承父类。UML符号：一条实线+空心箭头。
文艺倾年·2022-10-06 13:06

Generalization and Equilibrium in Generative Adversarial Nets

Paperlink:https://arxiv.org/abs/1703.00573Bloglink:http://www.offconvex.org/2017/03/30/GANs2/Github:https://github.com/PrincetonML/MIX-plus-GANs作者指出原先的工作都假设Discriminator有无限的表示能力，但是其实当Discriminator表示能力
weixin_34384557·2022-09-27 09:49

Domain Generalization by Solving Jigsaw Puzzles----论文翻译

目录AbstractIntroductionTheJiGenApproachExtensiontoUnsupervisedDomainAdaptationImplementationDetailsExperimentsPatch-BasedConvolutionalModelsforJigsawPuzzlesMulti-SourceDomainGeneralizationConclusionsAb
77荧惑77·2022-08-18 07:25

活体检测 Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing 论文学习记录

论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Domain_Generalization_via_Shuffled_Style_Assembly_for_Face_Anti-Spoofing_CVPR
Cassiel_cx·2022-08-18 07:45

活体检测 Single-Side Domain Generalization for Face Anti-Spoofing 论文学习记录

论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Jia_Single-Side_Domain_Generalization_for_Face_Anti-Spoofing_CVPR
Cassiel_cx·2022-08-17 07:25

全面讨论泛化 (generalization) 和正则化 (regularization)

模型泛化能力，是设计和评估一个机器学习or深度学习方法时无比重要的维度，所以我想通过一系列文章，与大家全面地讨论机器学习和深度学习中的泛化（generalization）/正则化（regularization
数据派THU·2022-08-13 07:33

论文解读（ChebyGIN）《Understanding Attention and Generalization in Graph Neural Networks》

论文信息论文标题：UnderstandingAttentionandGeneralizationinGraphNeuralNetworks论文作者：BorisKnyazev,GrahamW.Taylor,MohamedR.Amer论文来源：2019,NeurIPS论文地
关注我更新论文解读·2022-08-11 20:00

[GAN]老照片修复Bringing Old Photos Back to Life论文总结

问题一泛化问题（Generalization）：目前的老照片修复算法在合成数据集上学习到的模型在真实数据上泛化能力差。
Vanessa Ni·2022-07-25 11:47

[西瓜书笔记] CH1绪论&CH2模型评估与选择

第一章绪论机器学习：-计算的手段-自身经验(数据)-改善性能(学习算法→模型)属性空间={属性1，属性2，…}分类泛化(generalization)：适用于新样本的能力模型应注重于预测未知，拟合未知独立同分布
无用理想家·2022-07-14 07:03

机器学习基础：模型评估（下）

机器学习中的偏差和方差种类3.1过拟合3.2欠拟合3.3训练曲线观察泛化性3.4模型偏差和方差（biasandvariance）3.4.1偏差Bias3.4.2方差Variance3.4.3方差偏差总结4.模型的泛化性（Generalization
小羊和小何·2022-05-26 07:56

Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Supervised Autoencoder

原文链接https://openaccess.thecvf.com/content/ICCV2021/papers/Liang_Boosting_the_Generalization_Capability_in_Cross-Domain_Few-Shot_Learning_via_Noise-Enhanced_ICCV
_孤鸿寄语_·2022-05-21 07:00

.NET设计模式之UML类图介绍

类名2、属性3、方法4、接口二、关系各种关系的强弱顺序：1.依赖(Dependency)2.关联（Association)3.聚合（Aggregation）4.组合(Composition)5.泛化（Generalization
·2022-05-11 23:54

UML继承图操作

UML术语解释UML类继承类型.png1.Assocation:关联2.Aggregation:聚合3.Composition:构成4.generalization:泛化类之间的关系泛化关系(generalization
蜗牛DWade·2022-02-19 00:26

各种图

用例图包含六个元素，分别是：参与者(Actor)、用例(UseCase)、关联关系(Association)、包含关系(Include)、扩展关系(Extend)以及泛化关系(Generalization
大唐雷恋·2022-02-18 22:56

Altering attention to split-belt walking increases the generalization of motor memories across wa...

某个情景下获得的能力运用到另一情景当中即为动作学习的泛化（Generalizationoflearnedmovements）。例如运动学家发现网球训练中，手臂在练习某种姿势或向某个方向伸展后，手臂的运动会被调整以适合用其他姿势或向方向伸展——但相反的是，如果没有训练设备之类的辅助支持，用通过观察而“感觉”到的运动信息重新校准推广到运动中效果是比较有限的。此现象可能可以为校准中风等原因导致的动作不平
恋沙_0060·2022-02-16 09:53

推荐系统排序算法--Wide&Deep

wideanddeep模型的核心思想是结合线性模型的记忆能力（memorization）和DNN模型的泛化能力（generalization），在训练过程中同时优化2个模型的参数，从而达到整体模型的预测能力最优
算法手记·2022-02-10 01:27

观察者模式

常见的有以下几种关系:泛化（Generalization）,实现（Realization）
JeetChan·2022-02-05 20:08

A Generalization of Transformer Networks to Graphs 论文阅读笔记

Task使用transformer去处理图结构数据。Motivation图数据拥有两个特性：(1)稀疏性。(2)结点间有拓扑关系。这两个特性对于图来说非常重要，但是在利用transformer去处理图数据时，由于在任意两个结点之间建立了联系，因此可以说忽略了图的稀疏性和拓扑关系这两个特性，因此作者想设计一种基于图的transformer，在保留图的特性的时候，依旧能够利用transformer去处
莫问前程学无止境·2022-02-04 15:09
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他