knowledge】

prompt模板模式总结记录

文章目录prompt模板模式总结记录完形填空模式LanguageModelsasKnowledgeBasesmotivationLAMAProbe数据集实验结果Template-BasedNamedEntityRecognitionUsingBARTmotivation
kejizuiqianfang·2023-01-13 01:52

Deep-IRT Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

写在前面：本文在DKVMN的基础上结合项目IRT，加入了studentabilitynetwork和difficultynetwork两个网络，增加深度知识追踪的可解释性1摘要基于深度学习的知识追踪模型已被证明在不需要人工设计特征的情况下优于传统的知识追踪模型，但其参数和表示长期以来一直被批评为无法解释。在本文中，我们提出了Deep-IRT，它是项目响应理论(IRT)模型和基于称为动态键值记忆网络
step602·2023-01-12 19:43

Knowledge Tracing 资源帖2

接上一篇，一直更新，记录方便学习想我之前刚接触知识追踪，在网上找资料几乎就几个，现在发现很多优秀的小伙伴写了很多博客帮助我们学习，像大佬们学习DeepKnowledgeTracing[Pytorch]|
sereasuesue·2023-01-12 19:40

知识追踪入门系列-论文资料汇总

Paper：知识追踪相关论文下载论文和代码见reference第一个链接DeepKnowledgeTracing:首次提出将RNN用于知识追踪，并能够基于复杂的知识联系进行建模（如构建知识图谱）DeepKnowledgeTracingandDynamicStudentClassificationforKnowledgeTracing
sereasuesue·2023-01-12 19:39

文献笔记|知识追踪|GKT|Graph-based Knowledge Tracing: Modeling Student Proficiency Using Graph Neural Network

文章目录Graph-basedKnowledgeTracing:ModelingStudentProficiencyUsingGraphNeuralNetwork研究对象面临的问题难点作者的方法FrameworkGKT
江城暮·2023-01-12 19:38

【论文解读|SIGIR2021】HGKT : Introducing Hierarchical Exercise Graph for Knowledge Tracing 引入层次练习图的知识追踪

【注】本文是针对EKT模型所做的改进考虑到练习之间的层次关系文章目录摘要1引言2相关定义3HGKT框架3.2直接支持图构建3.3问题模式表示3.57结论摘要知识追踪是预测学习者知识掌握情况的一种方法，在计算机辅助教育系统中起着重要的作用。近年来，许多深度学习模型被应用于处理KT任务，取得了很好的效果。然而，限制仍然存在。现有的方法大多将练习记录简化为知识序列，不能充分挖掘练习中存在的丰富信息。现有
林若漫空·2023-01-12 19:08

《Deep Knowledge Tracing》 论文阅读笔记

DeepKnowledgeTracing论文阅读笔记参考文献：PiechC,SpencerJ,HuangJ,etal.DeepKnowledgeTracing[J].ComputerScience,2015,3
威武的小炮·2023-01-12 19:08

HGKT : Introducing Hierarchical Exercise Graph for Knowledge Tracing

HGKT:IntroducingHierarchicalExerciseGraphforKnowledgeTracing主要内容HGKT:IntroducingHierarchicalExerciseGraphforKnowledgeTracingAbstract1Introduction2Problemdefinition3HGKTFramework3.1FrameworkOverview3.2
Highlight_Jin·2023-01-12 19:04

2020-KDD-Context-Aware Attentive Knowledge Tracing

Context-AwareAttentiveKnowledgeTracing主要内容Context-AwareAttentiveKnowledgeTracingAbstract1Introduction2Knowledgetracingproblemsetup2.1QuestionandResponseEmbeddings3TheAKTmodel3.1Context-awareRepresenta
Highlight_Jin·2023-01-12 19:33

Teaching the Next Generation of Statistics Students to “Think With Data”: Special Issue on Statistic

utas20/69/4Thisisanexcitingtimetobeastatistician.Thecontributionofthedisciplineofstatisticstoscientificknowledgeiswidelyrecognized
rokia_xmu·2023-01-12 19:54

leetcode 1807. 替换字符串中的括号内容【python3双指针+哈希表】实现过程分析以及思路整理

你知道许多键对应的值，这些关系由二维字符串数组knowledge表示，其中knowledge[i]=[keyi,valuei]，表示键keyi对应的值为valuei。你需要替换所有的括号对。
进阶白帽子·2023-01-12 18:56

[模型调研]实体消歧

文章目录一、概念二、任务定义三、任务分类四、基于聚类的实体消歧方法五、基于实体链接的实体消歧方法六、各数据集上的SOTA模型1.Raiman2.EvaluatingtheImpactofKnowledgeGraphContextonEntityDisambiguationModels3
女青年学习日记·2023-01-12 17:22

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义本文将介绍用于衡量知识图谱嵌入（KnowledgeGraphEmbedding，KGE）模型性能中最常用的几个指标：MRR
Code_demon·2023-01-12 13:23

知识图谱嵌入的衡量指标：MRR，MR，HITS@n

衡量知识图谱嵌入（KnowledgeGraphEmbedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@n。
SU_ZCS·2023-01-12 13:22

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目录Method1.结果蒸馏——分类2.结果蒸馏——回归3.特征蒸馏实验结果总结Method将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。感觉就是很常规的思路，蒸特征+蒸输出，具体是在Faster-RCNN上做。其中蒸特征是使用的FitNet的方法在backbone做，在RPN和分类回归网络(RCN)部分蒸输出，两个部分都同时做分类和回归蒸馏。分类是做了一个weighted交叉熵
机器就不学习·2023-01-12 13:34

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

动机认为目标检测知识蒸馏效果不好的问题出在两个地方。1.前背景像素比例不平衡问题。提出了基于注意力引导的提取方法，利用==注意机制(而非gt)找到前景物体的关键像素点==，使学生更加努力地学习前景物体的特征。具体做法是在backbone处，利用attention生成一个fine-grainedmask而非二值mask，并且生成的mask包含空间maskMs∈RH,W和通道maskMc∈Rc两个部分
机器就不学习·2023-01-12 13:34

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

通过对立知识蒸馏压缩深度图神经网络摘要深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。为了压缩过度堆积的广义神经网络，通过师生架构进行知识提炼是一种有效的技术，其中关键步骤是用预定义的距离函数来度量教师和学生网络之间的差异。然而，对各种结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定
乱搭巴士·2023-01-12 13:33

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。蒸馏点一旦指定，在整个蒸馏过程中，所有训练样本的蒸馏点都不会改变。在这项工作中，我们认为蒸馏点应该适应训练样本和蒸馏时期。因此，我们提出了一种新的提取策略，称为点自适应KD(SAKD),在整个提取周期的每次训练迭代中
乱搭巴士·2023-01-12 13:03

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

来自一个更强的教师的知识蒸馏摘要不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。我们从经验上发现，学生和更强的老师之间的预测差异可能会相当严重。因此，KL散度预测的精确匹配将干扰训练，并使现有方法表现不佳。在本文中，我们证明了简单地保持教师和学生的预测之间的关系就足够了，并提出了一种基于
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的
乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练
乱搭巴士·2023-01-12 13:32

Feature-map-level Online Adversarial Knowledge Distillation论文笔记

Feature-map-levelOnlineAdversarialKnowledgeDistillation论文笔记论文地址：https://arxiv.org/abs/2002.01775v1github
hankeryeah·2023-01-12 13:01

Channel-wise Knowledge Distillation for Dense Prediction阅读笔记

ProblemStatement(五)Method5.1spatialdistillation5.2Channel-wiseDistillation(六)Experiments6.1实验设置6.2和最近knowledgeDistillation
不知道叫啥好一点·2023-01-12 13:31

2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

论文笔记《ChannelDistillation:Channel-WiseAttentionforKnowledgeDistillation》摘要问题1.ChannelDistillation(CD)渠道蒸馏
星竹紫兰·2023-01-12 13:31

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏概述蒸馏：把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的，所以这个知识
：）�东东要拼命·2023-01-12 13:00

论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

图结构的数据在现实应用中非常常见，比如:SocialNetworks,CitationNetwoks,KnowledgeGraphs等。
饮冰l·2023-01-12 12:40

【知识图谱论文】具有生物医学知识图谱逻辑规则的神经多跳推理

Article文献题目：NeuralMulti-hopReasoningwithLogicalRulesonBiomedicalKnowledgeGraphs代码：https://github.com/
Wwwilling·2023-01-12 10:26

The More You Know: Using Knowledge Graphs for Image Classification ——用知识图谱进行图像分类论文

个人的学习记录，有参考https://blog.csdn.net/sunshine__0411/article/details/82847203?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-
qydsb·2023-01-12 09:21

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）用于图像分类的特征归一化知识蒸馏文章目录知识蒸馏论文翻译
~拾捌~·2023-01-12 09:49

论文笔记：Subgraph Retrieval Enhanced Model for Multi-hop Knowledge BaseQuestion Answering

引用格式：ZhangJ,ZhangX,YuJ,etal.SubgraphRetrievalEnhancedModelforMulti-hopKnowledgeBaseQuestionAnswering[
空想之余·2023-01-11 17:47

论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa

ImprovingMulti-hopKnowledgeBaseQuestionAnsweringbyLearningIntermediateSupervisionSignals引用格式：[1]HeG,LanY
空想之余·2023-01-11 17:46

Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering(2022 ACL)

论文相关论文：https://aclanthology.org/2022.acl-long.201.pdf源码：GitHub-apoorvumang/kgt5:Sequence-to-SequenceKnowledgeGraphCompletionandQuestionAnswering
Toady 元气满满·2023-01-11 17:15

论文笔记：Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering

Sequence-to-SequenceKnowledgeGraphCompletionandQuestion备注：ACL2022MainConference链接：https://arxiv.org/pdf
空想之余·2023-01-11 17:44

KDD 2020 | 会话推荐系统新进展：基于互信息最大化的多知识图谱语义融合

论文标题：ImprovingConversationalRecommenderSystemsviaKnowledgeGraphbasedSemanticFusion论文来源：ACMSIGKDD2020论文链接
mishidemudong·2023-01-11 16:06

“This document contains links that may refer to other files. Do you want to update this document wit

参考：https://www.itsupportguides.com/knowledge-base/office-2013/word-2013-how-to-remove-links-to-other-files
helloasimo·2023-01-11 09:16

2021 kdd Controllable generation from pre-trained language models via inverse prompting

Controllablegenerationfrompre-trainedlanguagemodelsviainverseprompting.InProceedingsofthe27thACMSIGKDDConferenceonKnowledgeDiscovery
文三路张同学·2023-01-11 07:23

李宏毅机器学习课程梳理【十六】：Network Compression(压缩深度神经网络)

1.3WeightPruningV.SNeuronPruning2KnowledgeDistillation2.1ApplicationofEnsemble2.2Temperature3ParameterQuantization4ArchitectureDesign
-Emmie·2023-01-11 06:16

2021李宏毅机器学习课程-YouTube第十二部分、网络压缩NetWork Compression

第十二部分、网络压缩NetWorkCompression1.网络修剪(NetworkPruning)1）修剪参数/修剪神经元2）LT假说(LotteryTicketHypothesis)2.知识升华(KnowledgeDistillation
Liuyc-Code boy·2023-01-11 06:09

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

本篇论文来自2021年NeurIPS，论文地址点这里一.介绍知识蒸馏是一种著名的技术，用于学习具有竞争性精度的紧凑深度神经网络模型，其中较小的网络(学生)被训练来模拟较大网络(教师)的表示。知识蒸馏的普及主要是由于它的简单性和通用性;根据教师学习学生模型是很简单的，并且对两个模型的网络架构没有限制。大多数方法的主要目标是在预先定义和预先训练的教师网络下，如何有效地将暗知识转移到学生模型中。虽然知识
编程龙·2023-01-10 19:48

From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting Aliformer模型

Aliformer\\paper：FromKnowntoUnknown:Knowledge-guidedTransformerforTime-SeriesSalesForecastinginAlibaba
David_7788·2023-01-10 16:14

一文打尽知识图谱

知识图谱（KnowledgeGraph,KG）是知识工程的重要分支之一，它以符号形式结构化地描述了物理世界中的概念及其相互关系。
qq_22244821·2023-01-10 14:52

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

Self-KnowledgeDistillation:ASimpleWayforBetterGeneralization论文阅读 这是一篇2020年6月挂载arxiv上的论文，目前还处于underreview
PyBigStar·2023-01-10 11:19

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法
联邦学习小白·2023-01-10 11:41

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI2021】零样本知识蒸馏：Data-FreeKnowledgeDistillationwithSoftTargetedTransferSetSynthesis论文地址：主要问题：主要思路：主要贡献
BIT可达鸭·2023-01-10 11:41

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

文章目录abstractIntroductionRelatedWorksemanticsegmentation（语义分割方面）Knowledgedistillation（知识蒸馏方面）Adversariallearning
暖仔会飞·2023-01-10 11:10

Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

EffectivenessofArbitraryTransferSetsforData-freeKnowledgeDistillation我们研究任何任意转移集对知识提炼任务的有效性，尽管它与原始训练数据无关
weixin_37958272·2023-01-10 11:10

Contrastive Model Inversion for Data-Free Knowledge Distillation

ContrastiveModelInversionforData-FreeKnowledgeDistillation模型反演的目标是从预先训练好的模型中恢复训练数据，最近已被证明是可行的。
weixin_37958272·2023-01-10 11:10
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他