自动问答技术简介与展望-犀牛鸟研学营 笔记

本文是腾讯2020暑期犀牛鸟研学营 第五课 李鹏老师分享的“自动问答技术的简介与展望”的笔记。

 

IBM DeepQA 2011年在Jeopardy击败两位最强人类选手。

复杂的系统。非深度学习方法。

 

深度学习成功的要素：

1、海量数据。

CNN/DailyMail数据集。

SQuAD数据集。关键词：1.人工标注 2. 规模大，有10k+个问题 3. 涉及多种推理

SQuAD 2.0数据集。

CoQA。

2、预训练模型：BERT（重要）。OpenAI GPT。ELMo。

 

 

挑战——多步推理（HotpotQA）

离散/符号推理（DROP）

常识推理（CommonsenseQA）

开放问答

计算效率（随着模型的扩大，计算变得难起来）

 

问答技术的发展离不开精巧设计的数据集

还有什么问题没有解决，数据集的设计是否足以反映相应的问题，预训练模型一定程度上可以成为试金石。