自然语言处理领域论文整理(持续更新)

一、所有看过的论文

序号	标题+年份	作者	标签	github代码链接	内容简述	原文链接	状态
1	Attention Is All You Need（2017年）	Ashish Vaswani∗，Noam Shazeer∗	模型,transformer,自然语言处理	https://github.com/tensorflow/tensor2tensor	主要讲了transformer的内容	[1706.03762] Attention Is All You Need (arxiv.org)	读完
2	A Comprehensive Survey on Graph Neural Networks（2019年）	Zonghan wu,Shirui Pan	图神经网络,综述论文		对图神经网络进行了分类，提出了4个未来的研究方向	[1901.00596] A Comprehensive Survey on Graph Neural Networks (arxiv.org)	读完
3	基于强化学习的知识图谱综述（2021-2022年）	马昂、于艳华等	强化学习、知识图谱		知识图谱和强化学习的综述	基于强化学习的知识图谱综述 (cqvip.com)	读完
4	知识图谱可解释推理研究综述	官赛萍 , 靳小龙 , 贾岩涛	知识图谱、知识推理		介绍近年来面向知识图谱知识推理方法的最新研究进展	Microsoft Word - 5551新_官赛萍,29页_.doc (jos.org.cn)	读完
5	知识图谱构建技术综述（2022）	张吉祥、张祥森、武长旭	知识图谱构建		梳理知识抽取、知识融合、知识推理3类知识图谱构建技术的发展历程	知识图谱构建技术综述 (ecice06.com)	读完
6	知识图谱事理推理	王军平 , 张文生 , 王勇飞, 孙正雅	图谱构建与推断分析		工业大数据 知识图谱 事理认知 人机行为演化分析	https://dds.sciengine.com/cfs/files/pdfs/1674-7267/B9A90253CE6E47AD8A72B41BB1DFBFB5-mark.pdf	读完
7	Convolutional Neural Networks for Sentence Classification	Yoon Kim	CNN、文本分类		使用CNN在文本分类任务(要复现)	[1408.5882] Convolutional Neural Networks for Sentence Classification (arxiv.org)	读完
8	Deep Learning Based Text Classification:A comprehensive Review	Shervin Minaee,Nal Kalchbrenner	对于文本分类的一个综述		文本分类的综述	Deep Learning–based Text Classification: A Comprehensive Review: ACM Computing Surveys: Vol 54, No 3	读完
9	人工智能大模型综述及展望（2023）	罗锦钊， 孙玉龙等	大模型		大模型综述	人工智能大模型综述及展望 - 中国知网 (cnki.net)	读完
10	A Survey on Natural Language Processing for Programming（2023）	Zhu, Qingfu, Luo, Xianzhen	综述，自然语言处理		自然语言处理综述	https://arxiv.org/abs/2212.05773	读完
11	A Survey on Deep Learning for Named Entity Recognition（2020）	Jing Li, Aixin Sun, Jianglei Han等	综述，实体识别		实体识别综述	A Survey on Deep Learning for Named Entity Recognition | IEEE Journals & Magazine | IEEE Xplore	在读

二、看过的论文的小结。

研究型论文

1.Attention is All you need

研究背景:当前的模型都是基于复杂的循环或者卷积神经网络。可以忽视文本序列输入的距离限制，解决长距离的依赖。具体实现内容参考自然语言处理综述。

模型结构：

总结:Transformer模型完全采用self-attention机制代替了传统使用的RNN模型结构，且在自然语言翻译方面取得了良好的效果，同时，transformer可以进行并行计算，而不是和RNN那样序列化计算，提高了计算效率，Transformer能够学习长距离元素之间的依赖，也解决了传统RNN模型的在序列很长时产生的梯度消失、梯度爆炸等问题。而且self-attention机制也可以对模型更好的进行解释。但transformer也有一些缺点，即计算量相对巨大，多头机制中的无效信息有很多。、

2.Convolutional Neural Networks for Sentence Classification

简单来说就是作者将cnn应用到了文本分类任务

Convolutional Neural Networks for Sentence Classification - 知乎 (zhihu.com)

论文复现

TextCNN的复现–pytorch实现 - 知乎 (zhihu.com)

综述性论文

1.A Comprehensive Survey on Graph Neural Networks

总结:在本篇综述中，对图神经网络的发展进行了综述，并且将图神经网络分为了4类分别是卷积图神经网络、循环图神经网络、图自动编码器、时空图神经网络。并且介绍了一系列图的应用，例如在交通、推荐系统、化学等发面的应用，也对数据集、开源代码、对图模型的评价指标进行了总结，最后提出了4种未来的研究方向。分别是模型的深度、scalability trade-off、同一个模型处理不同类型的图、对动态图的处理，由于实际生活中的图都是动态图，边和节点会实时的发生改变。GCN和GNN的理解和复现。

A Comprehensive Survey on Graph Neural Networks（图神经网络） - 知乎 (zhihu.com)

2.基于强化学习的知识图谱综述

基于强化学习的知识图谱综述 - 知乎 (zhihu.com)

3.面向知识图谱的知识推理研究进展

面向知识图谱的知识推理研究进展(综述论文总结) - 知乎 (zhihu.com)

4.知识图谱构建技术综述

知识图谱构建技术综述阅读总结 - 知乎 (zhihu.com)

5.知识图谱事理推理

知识图谱事理推理综述 - 知乎 (zhihu.com)

6.Deep Learning Based Text Classification:A comprehensive Review

Deep Learning Based Text Classification:A comprehensive Review总结 - 知乎 (zhihu.com)

7.人工智能大模型综述及展望

人工智能大模型综述及展望 - 知乎 (zhihu.com)

8.A Survey on Natural Language Processing for Programming

A Survey on Natural Language Processing for Programming - 知乎 (zhihu.com)