腾讯AI Lab 提出「完全依存森林」，大幅缓解关系抽取中的错误传递
2020-02-16 10:11:00
作者 | 腾讯 AI Lab责编 | 贾伟
AAAI 是人工智能领域的顶级国际会议之一。今年的 AAAI 2020 是第 34届，于2月7日至12日在美国纽约举行。
今年，第 3 次参会的腾讯 AI Lab 共有 31 篇论文入选，涵盖自然语言处理、计算机视觉、机器学习、机器人等领域。今天解读论文为：《Relation Extraction Exploiting Full Dependency Forests》。
这篇论文由腾讯 AI Lab 主导，与俄亥俄州立大学等机构合作完成。文章首先提出了完全依存森林的数据结构。它能够大幅度缓解使用 1-best 依存句法树带来的错误传播，并且能够根据终端任务对句法分析器进行进一步调整。
论文链接：https://freesunshine0316.github.io/files/RE_parser_joint__AAAI_2020_.pdf
许多自然语言处理（NLP）任务都需要句法分析的知识，尤其是依存句法分析直接对词与词之间的关系进行建模。目前的工作都是在预处理阶段获取1-best依存树，随后再将这些依存树用作额外的输入，进行终端任务模型的训练和测试。
这样做的缺陷有
（1）句法分析的错误会传播到终端任务中；
（2）句法分析模型不能根据终端任务进行适应调整。
最近的工作[1] 引入了依存森林，相比1-best依存树，依存森林能将更多的（n-best）依存树信息合并到一个紧凑压缩的图结构中，在不显著增加结构复杂度的前提下融入更多知识。但这样也只是缓解了第一个缺陷；并且无论是1-best依存树还是依存森林都是离散结构，对适应调整句法分析模型来说，难度会增大很多。
图 1 完全依存森林示例
为了缓解以上的问题，作者提出了“完全依存森林”。如图1所示，一个完全依存森林被定义成一个3D的向量，包含了全部可能的词与词的依存关系，区别于已有的1-best句法树和句法森林，完全依存森林
1）包括了全部的句法分析的信息，这样终端任务模型会根据任务信号从完全依存森林中学习获取对它有用的信息；
2）提供了可微分的连接，使得句法分析模型很容易根据终端任务的信号进行适应调整。
作者在关系抽取任务上对完全依存森林进行了验证，该任务的目标是识别出所有有关系的实体对并确定它们的关系。
图 2 基于数据依存型 CNN 的模型
如图2所示，为了更好地表示完全依存森林，作者提出一种基于数据依存型 CNN（DDCNN）的模型，左边是基于Deep biaffine [2]的依存分析器，它直接输出依存森林给右边DDCNN模型。右边的DDCNN模型考虑了一个句子会有多对目标提及对（target mention pair）（如图2中红色和蓝色标记的）的情况，通过将目标提及对输入给右上部分的核生成网络以动态地产生CNN网络的核参数，可用来计算最终分类器（图2中间上部分）的输入。
为了验证完全依存森林的有效性，作者在几个标准的（包括新闻和生物领域）关系抽取数据集上进行了验证。结果显示在生物领域数据上的提升比较明显，在BioCreative VI CPR和SemEval-2010 task 8数据的结果如表 1和表2所示。
表 1 在 BioCreative VI CPR测试集上的结果
表 2 在 SemEval-2010 task 8测试集上的结果
表3模拟了资源受限（小规模树库训练依存分析器）的情况下，给出了在依存分析器精度进一步下降的情况下各个模型的表现情况，从中可以看出该文章提出的框架在只有1K树库的情况下依然表现优异。
表 3 树库资源受限（依存分析精度下降）的情况下，在 BioCreative VI CPR的测试集上结果
[1] Leveraging Dependency Forest for Neural Medical Relation Extraction. Linfeng Song, Yue Zhang, Daniel Gildea, Mo Yu, Zhiguo Wang and Jinsong Su. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP).
[2] Deep Biaffine Attention for Neural Dependency Parsing. Timothy Dozat and Christopher D. Manning. In ICLR 2017.
AAAI 2020 报道：
新型冠状病毒疫情下，AAAI2020 还去开会吗？
美国拒绝入境，AAAI2020现场参会告吹，论文如何分享？
AAAI 最佳论文公布
AAAI 2020正式开幕，37%录用论文来自中国，连续三年制霸榜首
一文全览，知识图谱@AAAI 2020
Hinton AAAI2020 演讲全文：这次终于把胶囊网络做对了
AAAI 2020 论文集：AAAI 2020 论文解读会 @ 望京（附PPT下载）
AAAI 2020上的NLP有哪些研究风向？
微软 6 篇精选 AAAI 2020 论文
京东数科 6 篇精选AAAI 2020 论文
AAAI 2020 论文解读系列：
01. [中科院自动化所] 通过识别和翻译交互打造更优的语音翻译模型
02. [中科院自动化所] 全新视角，探究「目标检测」与「实例分割」的互惠关系
03. [北理工] 新角度看双线性池化，冗余、突发性问题本质源于哪里？
04. [复旦大学] 利用场景图针对图像序列进行故事生成
05. [腾讯 AI Lab] 2100场王者荣耀，1v1胜率99.8%，腾讯绝悟 AI 技术解读
06. [复旦大学] 多任务学习，如何设计一个更好的参数共享机制？
07. [清华大学] 话到嘴边却忘了？这个模型能帮你 | 多通道反向词典模型
08. [北航等] DualVD：一种视觉对话新框架
09. [清华大学] 借助BabelNet构建多语言义原知识库
10. [微软亚研] 沟壑易填：端到端语音翻译中预训练和微调的衔接方法
11. [微软亚研] 时间可以是二维的吗？基于二维时间图的视频内容片段检测
12. [清华大学] 用于少次关系学习的神经网络雪球机制
13. [中科院自动化所] 通过解纠缠模型探测语义和语法的大脑表征机制
14. [中科院自动化所] 多模态基准指导的生成式多模态自动文摘
15. [南京大学] 利用多头注意力机制生成多样性翻译
16. [UCSB 王威廉组] 零样本学习，来扩充知识图谱（视频解读）
17. [上海交大] 基于图像查询的视频检索，代码已开源！
18. [奥卢大学] 基于 NAS 的 GCN 网络设计（视频解读）
19. [中科大] 智能教育系统中的神经认知诊断，从数据中学习交互函数
20. [北京大学] 图卷积中的多阶段自监督学习算法
21. [清华大学] 全新模型，对话生成更流畅、更具个性化（视频解读，附PPT）
22. [华南理工] 面向文本识别的去耦注意力网络
23. [自动化所] 基于对抗视觉特征残差的零样本学习方法
24. [计算所] 引入评估模块，提升机器翻译流畅度和忠实度（已开源）
25. [北大&上交大] 姿态辅助下的多相机协作实现主动目标追踪
26. [快手] 重新审视图像美学评估 & 寻找精彩片段聚焦点
27. [计算所&微信AI] 改进训练目标，提升非自回归模型翻译质量（已开源）
28. [中科院&云从科技]：双视图分类，利用多个弱标签提高分类性能
29. [中山大学] 基于树状结构策略的渐进强化学习
30. [东北大学] 基于联合表示的神经机器翻译（视频解读）
31. [计算所]引入评估模块，提升机器翻译流畅度和忠实度（视频解读）
32. [清华大学]用于少次关系学习的神经网络雪球机制（视频解读）
33. [计算所]非自回归机器翻译，基于n元组的训练目标（视频解读）
34. [清华大学] 司法考试数据集（视频解读，附下载链接）
35. [自动化所] 弱监督语义分割（视频解读）
36. [自动化所] 稀疏二值神经网络，不需要任何技巧，取得SOTA精度（视频解读）
37. [华科&阿里] 从边界到文本—一种任意形状文本的检测方法
38. [上交大&云从科技] DCMN+ 模型：破解「阅读理解」难题，获全球领先成绩
39. [自动化所&微信AI] 双通道多步推理模型，更好解决视觉对话生成问题
40. [ETH Zurich] 反向R？削弱显著特征为细粒度分类带来提升
41. [中科大] RiskOracle: 一种时空细粒度交通事故预测方法
45. [商汤] 新弱监督目标检测框架
46. [第四范式] 优化NAS算法，速度提高10倍！
47. [牛津大学] 利用注意力机制，实现最优相机定位（视频解读）
48. [天津大学] DIoU和CIoU：IoU在目标检测中的正确打开方式
49. [宁夏大学] 面向大规模无标注视频的人脸对齐方法
50. [商汤] KPNet，追求轻量化的人脸检测器（视频解读）