自然语言处理和计算机视觉相关论文总结

自然语言处理

命名实体识别

论文名称	期刊/会议	时间	解读	特点	代码
Unified Named Entity Recognition as Word-Word Relation Classification	AAAI	2022	W2NER	本文建立了一个统一的命名实体识别模型，解决了NER领域当前嵌套实体、不连续实体的难题，其思想和TPLinker有异曲同工之处。将NER建立成2维网格，提出了多粒度卷积进行网格优化，推动了NER任务的统一。	W2NER

关系抽取

论文名称	期刊/会议	时间	解读	特点	代码

事件抽取

综述

论文名称	期刊/会议	时间	解读	特点	代码
A Survey on Deep Learning Event Extraction: Approaches and Applications	TANNLS	2022	解读	本文回顾了2022年以前事件抽取模型进展，主要针对深度学习模型的研究。并为事件抽取模型进行文献分类，总结了事件抽取的范式和模型。分析了未来的研究方向。	-

事件检测/事件触发词抽取

论文名称	期刊/会议	时间	解读	特点	代码
Saliency as Evidence: Event Detection with Trigger Saliency Attribution	ACL	2022	SaliencyED解读	本文将事件触发词检测分为两种情况，一种是更依赖触发词的，另一种是更依赖上下文的。本文采用触发词显著归因将其进行划分，对于第一种采用正常的序列标注模型，对于第二种将会先检测上下文中部分词显著性较高的词(非触发词)，引入外部知识进行强化。	SaliencyED
DESED: Dialogue-based Explanation for Sentence-level Event Detection	COLING	2022	DESED解读	本文提出使用GPT在原始句子的基础上生成对应提示上下文，并提出了三种简单的对话解释，并采用注意力机制将原始句子和生成句子进行融合，从而实现原句增强	DESED
Event Detection with Dual Relational Graph Attention Networks	COLING	2022	DualGAT解读	在句子级事件检测的基础上，使用句法关系和语义关系构建了一个对偶关系增强的注意力网络(重点在于句法图和语义图构建和剪枝)，在对偶关系图的基础上使用图注意力网络进行知识增强，最后进行联合知识解码	DualGAT
KiPT: Knowledge-injected Prompt Tuning for Event Detection	COLING	2022	KiPT解读	在句子级事件检测的基础上，引入外部知识WordNet和软知识进行特征增强，外部知识引入是根据每个词的词性进行针对性增强，在使用生成模型进行条件解码	-

事件论元抽取

论文名称	期刊/会议	时间	解读	特点	代码
Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction	ACL	2022	PAIE解读	本文根据提示在每个角色的输入文本中选择开始/结束标记，引入了两个span选择器，它通过多角色提示捕获论元交互，并通过二部匹配损失(优化算法)进行最优跨度分配的联合优化。PAIE是将提示输入到解码器中，提供了不同的角度去分析论元角色	PAIE
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction	ACL	2022	X-GEAR解读	本文设计了一种与语言无关的提示模板，兼容了各种语言的事件论元结构。在多语言生成模型上进行微调，来生成最终从输入段落中抽取的论元填充，并分析了各种语言迁移的效果	X-Gear

句子级事件抽取

数据集

论文名称	期刊/会议	时间	解读	特点	代码
Title2Event: Benchmarking Open Event Extraction with a Large-scale Chinese Title Dataset	EMNLP	2022	Title2Event解读	提出了一种中文新闻标题句子级事件抽取数据集，数据形式类似于三元组，中文数据集。	Title2Event
MEE: A Novel Multilingual Event Extraction Dataset	EMNLP	2022	添加链接描述

基于 分类 的方法

流水线抽取

论文名称	期刊/会议	时间	解读	特点	代码
EventGraph: Event Extraction as Semantic Graph Parsing	CASE	2022	EventGraph解读	语义图解码方式	EventGraph
CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction	ACL	2021	CasEE解读	CasEE依次执行(类型检测、触发词抽取和论元抽取)(前者)，其中重叠的目标根据前者的特定预测分别抽取。	CasEE
Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding	ACL	2022	Query and Extract解读	本文提出了一种新颖的事件抽取框架，该框架使用事件类型和论元角色作为自然语言查询，从输入文本中抽取候选触发词和论元。通过数据集中触发词和论元角色的分布进行上下文特征增强	Event_Query_Extract

联合抽取

论文名称	期刊/会议	时间	解读	特点	代码
Joint Information Extraction with Cross-Task and Cross-Instance High-Order Modeling	Arixv	2022	HighIE解读	设计了两类高阶因子(同质因子和异质因子)，可以在训练和推理过程中结合跨任务和跨实例交互	HighIE
OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction	COLING	2022	OneEE解读	很新颖的想法，将TPlinker关系抽取的思想用于事件抽取，实现了联合抽取触发词和论元，在使用自适应事件融合函数加强事件间的交互。解决了错误传播和事件触发词，论元嵌套的问题	OneEE
Abstract Meaning Representation Guided Graph Encoding and Decoding for Joint Information Extraction	NAACL	2021	AMR-IR解读	本文利用抽象语义表示AMR进行辅助事件抽取，利用AMR语义聚合器和AMR引导图解码，分别加强了触发词和抡元之间的交互，触发词和论元之间的解码。	AMR-IE
Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks	NAACL	2021	FourIE解读	本文先进行触发词识别和实体识别，然后构建触发词和实体交互图，利用GCN对图特征进行增强对最后结果进行预测。将预测的结果和真实的情况在重建图，得到预测和真实之间的图损失值进行强化训练。	-
Joint Extraction of Entities, Relations, and Events via Modeling Inter-Instance and Inter-Label Dependencies	NAACL	2022	GraphIE解读	本文提出从数据中诱导任务实例之间的依赖关系图来促进表示学习。为了更好地捕获实例标签之间的依赖关系，通过条件随机场直接估计它们的联合分布。引入噪声对比估计来解决模型训练中难以处理的联合似然的最大化问题。最后，为了改进之前工作中的贪心搜索或束搜索的解码，提出了模拟退火，以便在解码时更好地找到实例标签的全局最优分配。	-
A Joint Neural Model for Information Extraction with Global Features	ACL	2020	OneIE解读	本文首次提出了事件联合抽取模型，利用识别的触发词和实体提及构建局部图分类器，在使用beam search全局搜索最优图。解码阶段利用全局特征捕获跨实例和跨任务的交互，从而优化结果。	OneIE

基于 问答/提示 的方式

论文名称	期刊/会议	时间	解读	特点	代码
Event Extraction as Machine Reading Comprehension	EMNLP	2020	RCEE论文解读	首次将事件抽取转化为机器阅读理解问题，生成特定问题进行事件抽取。	RCEE
Global Constraints with Prompting for Zero-Shot Event Argument Classification	EACL	2023	论文解读	提出了一种利用前缀提示进行零样本事件抽取的方法。	Code
Dynamic Prefix-Tuning for Generative Template-based Event Extractio	ACL	2022	GTEE-DYNPREF论文解读	基于生成模板的动态前缀事件抽取，通过集成上下文信息和特定类型的前缀来学习每个上下文的特定上下文前缀。	-
DEGREE: A Data-Efficient Generation-Based Event Extraction Model	NAACL	2022	DEGREE解读	给定一篇句子和一个手动设计的提示，DEGREE学会将句子中提到的事件总结成一个遵循预定义模式的自然句子。然后用确定性算法从生成的句子中抽取出最终的事件。	DEGREE
Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction	ACL	2022	PAIE解读	本文根据提示在每个角色的输入文本中选择开始/结束标记，引入了两个span选择器，它通过多角色提示捕获论元交互，并通过二部匹配损失(优化算法)进行最优跨度分配的联合优化。PAIE是将提示输入到解码器中，提供了不同的角度去分析论元角色	PAIE
Event Extraction by Answering (Almost) Natural Questions	EMNLP	2020	EEQAj解读	本文首次将事件抽取任务转化为QA任务，通过问答形式进行抽取事件触发词和论元角色，并且在零样本时也具有一定的效果。	EEQA
Retrieval-Augmented Generative Question Answering for Event Argument Extraction	EMNLP	2022	RGQA解读	本文提出了一种用于事件论元抽取的检索增强生成QA模型（R-GQA），检索与文本最相似的QA对，并将其作为当前示例上下文的提示，然后将论元解码为答案。采用聚类的采样策略对少样本学习及逆行深入分析。	RGQA

对比学习

论文名称	期刊/会议	时间	解读	特点	代码
CLEVE: Contrastive Pre-training for Event Extraction	ACL	2021	CLEVE解读	CLEVE在与训练过程中使用自动解析器(AMR)去获取大量的无监督数据和语义信息进行预训练，有一个学习语义的文本编码器，一个学习事件语义结构的图编码器	CLEVE

迁移学习

论文名称	期刊/会议	时间	解读	特点	代码
A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck	COLING	2022	UnifiedEAE解读	不同数据集之间标注可能存在差距，事件记录可能很复杂，很难用统一的模型来抽取。本文采用变分信息瓶颈消除数据集间的不相关信息，保留数据集的共享信息，学习不同数据间的格式	-

文档级事件抽取

数据集

论文名称	期刊/会议	时间	解读	特点	代码
DocEE: A Large-Scale and Fine-grained Benchmark for Document-level Event Extraction	NAACL	2022	DocEE解读	提出了一个文档级事件抽取数据集，该数据集具有大规模手动标注、细粒度论元类型和面向应用程序三大特点。该数据集是英文的。	DocEE

方法

论文名称	期刊/会议	时间	解读	特点	代码
Document-Level event Extraction via human-like reading process	ICASSP	2022	解读	将文档级事件抽取分解为粗略阅读和精细阅读两个迭代阶段。第一个阶段浏览文档以检测事件的发生，第二个阶段用于抽取特定的事件论元。	-
A Two-Stream AMR-enhanced Model for Document-level Event Argument Extraction	NAACL	2022	TSAR解读	TSAR通过双流编码模块从不同角度对文档进行编码，解决论元分散问题。此外，TSAR还引入了基于局部和全局的AMR语义图的AMR引导交互模块，以捕获句内和句间特征。引入一种辅助边界损失来显式增强文本跨度的边界信息。	TSAR
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction	NAACL	2022	RAAT解读	提出了一种针对事件触发词和论元角色之间关系依赖进行增强的Transformer机制，有效地解决DEE论元分散问题	RAAT
Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding	ACL	2020	Multi-Granularity Reader解读	本文采用一个折中策略来解决DEE，提出了K_sentence阅读器和段落级阅读器，结合两者的特征形成一个多粒度阅读器进行DEE任务	Multi-Granularity Reader
Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker	ACL	2021	GIT解读	本文针对DEE论元分散和事件间相关性建模问题，提出了带有跟踪器的异构图交互模型，该模型可以捕捉不同句子实体提及的交互，不同事件之间的交互	GIT
Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction	EMNLP	2019	Doc2EDAG解读	本文针对DEE任务，提出了一个无触发词的DEE任务，来简化事件标记。利用抽取出来的实体构建实体有向无环图进行交互，融合句子信息、文档信息进行解码	Doc2EDAG
Document-level Event Extraction via Parallel Prediction Networks	ACL	2021	DEPPN解读	采用不同粒度解码器进行解码事件和论元角色，并提出了一种新的匹配损失优化计算	DE-PPN
CLIO: Role-interactive Multi-event Head Attention Network for Document-level Event Extraction	COLING	2022	CLIO解读	本文提出了一种面向DEE的角色交互多事件头注意力网络。通过将不同的事件映射到多个子空间，将DEE分解为多个子步骤，以处理嵌套的论元和多个事件。为了进一步优化事件表示，应用事件表示增强策略来正则化对比预训练的嵌入空间，使其更加各向同性	-

事件因果关系识别

论文名称	期刊/会议	时间	解读	特点	代码
Event Causality Extraction with Event Argument Correlations	COLING	2022	DualCor解读	传统的事件因果关系识别忽略了关键事件结构和因果关系，DualCor提出了一种双网格标记来捕获事件内和事件间因果关系，进而增强事件因果关系识别	DualCor

预训练语言模型

论文名称	期刊/会议	时间	解读	特点	代码
RoFormer: Enhanced Transformer with Rotary Position Embedding	Arxiv	2021	ReFormer解读	提出了一种高效的旋转位置编码，并对当前的位置编码进行综述。	ReFormer

其他

句子嵌入

论文名称	期刊/会议	时间	解读	特点	代码
SimCSE: Simple Contrastive Learning of Sentence Embeddings	EMNLP	2021	SimCSE解读	本文提出了一种句子级对比学习的模型，既可以监督方式也可以无监督方式进行句子嵌入，使用该模型可以得到一个句子的向量表示。	SimCSE

计算机视觉

通用视觉骨干网络

论文名称	期刊/会议	时间	解读	特点	代码
Training data-efficient image transformers & distillation through attention	ICML	2021	DEIT解读	提出了一种针对vision transformer的数据蒸馏方式，以及卷积模型和vision transformer分别作为教师模型和学生模型的策略。	DEIT
BEIT: BERT Pre-Training of Image Transformers	ICLR	2022	BEIT解读	针对vision transformer提出了一种自监督的预训练方式，掩码图像建模，类似于文本的MLM。	BEIT
IS ATTENTION BETTER THAN MATRIX DECOMPOSITION?	ICLR	2021	Hamburger解读	提出了Hamburger结构，将全局信息建模转化为低秩补全问题，利用矩阵分解和梯度优化对其及进行求解。	Hamburger
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows	ICCV	2021	Swin-Transformer解读	在ViT的基础上提出了分层Transformer的概念，并提出了移位窗口高效的特征交互和计算效率，推动了Vision Transformer的后续发展。	Swin-Transformer
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale	ICLR	2020	ViT解读	首次在视觉领域提出了Transformer的概念，将图像进行分块处理，输入到Transformer模型上进行计算。本文也算Transformer应用到视觉领域的开山之作，打破了CNN在视觉领域的绝对领导地位。	ViT

语义分割网络

论文名称	期刊/会议	时间	解读	特点	代码
The Fully Convolutional Transformer for Medical Image Segmentation	WACV	2023	FCT解读	提出了卷积注意力机制，极大提升了实验效果	FCT
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation	NeurIPS	2022	SegNext解读	重新设计了卷积结构，结合Hamburger解码器实现了SOTA	SegNext
Segment Anything	Arxiv	2023	SAM解读	首次将提示用于语义分割领域，号称图像的GPT-3，提供了点、框、文本三种提示方式增强语义分割，开源了一个巨大的语义分割数据集	SAM
Segmenter: Transformer for Semantic Segmentation	ICCV	2021	Segmenter解读	本文在ViT的基础上提出了Mask Transformer的语义分割解码器，将类嵌入和ViT提取的特征进行特征增强，得到更好的语义分割结果	segmenter
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers	NeurIPS	2021	SegFormer解读	SegFormer是专门设计的语义分割网络，采用层次编码结构（类似于Swin-Transformer），可以输出多尺度特征，并且不需要位置嵌入。其次，SegFormer避免了复杂的解码器，使用MLP解码。	SegFormer
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation	ECCV	2021	Swin-Unet解读	本文利用Swin-Transformer构建了一个U型语义分割网络，并没有按照官方给出的大模型结构，而是自己搭建了一个更小的模型进行预训练，独特之处在于解码器的上采样层不是upsample，而是Swin-Transfromer的path merge的逆过程，有效提升了模型的精度	Swin-Unet
Unified Perceptual Parsing for Scene Understanding	ECCV	2018	UperNet解读	本文针对层级图像特征的抽取结果进行分析，将不同层级的特征用于处理不同粒度的任务。该模型的目前广泛被用于语义分割，层级编码器的解码网络	UperNet

多模态

表征学习

论文名称	期刊/会议	时间	解读	特点	代码
Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language	-	2022	Data2Vec解读	提出了一种视觉、语音和文本的统一自监督模型，相对之前的统一表示模型，现在效率更高、花费更少。	data2vec