ACL2020亮点摘要

今年国际计算机语言协会ACL变为线上举办啦，很遗憾，我们许多其他机会跟其他学者交流啦，和同事们叙叙旧，但是遗憾之余值得庆幸的是我也相比平时听了更多讲座。因此我决定将我做的笔记分享出来并讨论一些行业总体趋势。本文不会对 ACL 进行详尽的介绍，内容的选择也是完全基于本人的兴趣。同时我也非常推荐读者看一看最佳论文。

近年来整体趋势

在根据我自身参与的讲座来讨论研究趋势之前（当然参与讲座数量有限，会存在误差），让我们来看一看ACL网页上的一些整体数据吧。今年收到交稿量最多的方向分别是通过机器学习处理自然语言，对话和交互系统，机器翻译，信息提取和自然语言处理的应用及生成。

上图是每个研究方向提交稿件的数量
下图显示了从2010年后，每个方向论文数量的变化，

总的来说，论文有从基础性任务到高级任务发展的趋势，通过单词级，句子级语义和语篇句法、过度到对话。机器学习的方向研究也正稳步增加，越来越多的文件提出具有普遍性的目标模型，而这些模型都是基于多个任务来衡量的。

ACL2020趋势

我调整了基于某任务的BERT模型，然后再某评价标准下表现更好了，这类论文更少了。
在自然语言处理研究有个反复出现的模式，1. 介绍一个新模型；2. 通过改进模型，或者将其应用于多任务实现一些容易的目标然后发表；3. 发表文章分析其不足之处或缺陷；4. 发表新的数据集。尽管某些步骤可能同时进行，我得说我们现在就处于2和3之间。小标题的结论是基于我选择的论文得出的，而我很大程度上过滤掉了这类文章。所以或许换一种说法，那就是今年ACL 2020 还是有挺多文章不是这一类型的。

不再依赖大型已标注的数据集

在过去两年中我们可以发现研究向这些步骤靠近，先基于无标记文本的自监督方法进行预训练然后在更小的具体任务数据上微调。在今年会议上，很多论文聚焦于更少监督的训练模型。这有一些替代方案，及其示例论文：
无监督方法**：Yadav等人提出了一个基于检索的问答方法**，这种方法可以迭代地将询问提炼到1KB来检索回答问题的一些线索。在常识类多选任务上通过计算每个选项的合理性得分（利用Masked LM）,Tamborrino等人取得了令人欣喜的成果。

数据增强(Data augmentation)：Fabbri等人提出了一种方法可以自动生成上下文，问题和回答三合一的形式来训练问答模型。他们首先检索和原始数据相似的上下文，生成回答：是或否，并且以问句形式向上下文提问（what, when, who之类开头的问句）然后基于这三件套训练模型。Jacob Andreas提出将不常见的短语替换为在相似语境下更常用的短语从而改进神经网络中的组合泛化能力。Asai和Hajishirzi用人工例子增加问答训练数据，这些例子都是从原始训练数据中按逻辑衍生出来用以加强系统性和传递一致性。
元学习:利用元学习去迁移知识用以从高源语言(high-resource language)到低源语言(low-resource language)的上义关系检测。
主动学习：搭建了一个高效的标注框架，通过主动学习选取最有价值的样本进行批注进行共指关系解析。

语言模型并不是你所需要的全部，检索又回来啦。

• 检索：
• 使用外部知识库
• 用新的能力增强。

可解释的NLP

检查注意力权重，今年看来已经不流行了，取而代之关注重点是生成文本的依据，尤其是那些能够反应判别模型决策的依据，。Kumar 和 Talukdar 提出了一种为自然语言推断（NLI）预测忠实解释的方法，其方法是为每个标签预测候选解释，然后使用它们来预测标签。Jain 等人 开发了一种忠实的解释模型，其依赖于事后归因（post-hoc）的解释方法（这并不一定忠实）和启发式方法来生成训练数据**。为了评估解释模型**，Hase 和 Bansa 提出通过测量用户的能力**，在有或没有给定解释的前提下来预测模型的行为**。

反思NLP的当前成就，局限性以及对未来的思考

有关道德伦理的讨论

ACL在道德伦理方面进步是非常显著的，前几年，NLP道德伦理还少有人研究，但如今却依然是ACL伦理的一大类别，而且我们所有人在提交其他类别的论文时，也会考虑伦理道德，事实上，我们这个社区开始转向批评那些探讨重要的公平性问题，而同时又未能解决其他道德伦理考虑的论文。

• 该系统让那些人获益
• 该系统让那些人有害
• 用户可以选择退出码
• 该系统会强化还是弱化系统的不公平性。
• 该系统总体上会让世界变得更好吗

论文发表思路

• 介绍一个新模型
• 通过改进模型
• 将其应用于多任务实现一些容易的目标，然后发表。
• 发表文章分析其不足或缺陷。
• 发表新的数据集，
  （某些步骤可以同时进行）
• 先基于无标记的文本自监督方法进行预训练，然后再更小的具体热任务上微调。

目前自己可控得

• 改进模型
• 将其应用于多任务实现一些容易得目标，然后发表。
• 介绍一个新模型非常有技术含量，需要仔细斟酌。
• 发表新得数据集。
• 慢慢得自己在探索其他可行得方式方法。