清华刘知远：ACL趋势综述

AIS (ACL, IJCAI, SIGIR) 2019 论文报告会

• ACL2019投稿统计:

热门（与2018一致）:Information Extraction, Machine Learning, Machine Translation

激增:Linguistic Theories, Cognitive, Modeling and Psycholinguistics

• 大规模无监督文本学习：

2013年：从word2vector 开始(未考虑一词多义，无法上下文理解）

复杂模型出现（RNN LSTM CNN GRU Transformer）不重视pretrain

2018年：pretrain解决（产生上下文相关的词向量）

之后：预训练模型：

ELMo（双向LSTM）

OpenAI GPT（单向Transformer）

BERT（双向Transformer）

• 探索：

1.多任务、多语言、复杂知识 

2.低资源（缺乏标注数据）任务：

解决思路：无监督方法、引入领域知识、半监督、Transfer Learning、

近几年火的：Few-Shot Learning、Meta Learning、Adversarial Training、Muti-task Learning 

低资源工作：

从非平行语料中学习词对译、翻译信息，利用对抗训练使不同语言表示空间接近。

机器翻译领域：Transfer Learning、Meta Learning

引入领域知识：eg义原知识

3.可解释性

结合常识、知识：工具：memory network 、Graph NN 图谱与文本结合进行推理

典型问题：对抗样本攻击、模型退化（数据简单时 过拟合）

NOIC Reasoning Cell

4.新的任务和数据集

eg. 常识问答、多语言问答和推理、文档级别的关系抽取

• 总结

利用更多的知识、实现更深的理解