Deep Multi-Task Learning for Aspect Term Extraction with Memory Interaction解析

文章基本信息

标题：Deep Multi-Task Learning for Aspect Term Extraction with Memory Interaction
作者：Xin Li and Wai Lam
机构：Key Laboratory on High Confidence Software Technologies (Sub-Lab, CUHK),Ministry of Education/ Department of Systems Engineering and Engineering Management / The Chinese University of Hong Kong, Hong Kong
收录信息：Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 2886–2892 Copenhagen, Denmark, September 7–11, 2017.
相关数据集：
Yelp
GloVe
相关代码：
CRF

文章动机

1、观点词能够指导目标词的抽取，因此观点词应该与目标词一起抽取。
2、利用神经记忆交互建立目标-观点词之间的联系，并同时考虑了局部和全局的记忆。

方法

1、设计了三种具体任务的LSTM,分别为A-LSTM（aspect extraction）、O-LSTM(opinion words extraction)和S-LSTM（sentence classifica）
2、对于A-LSTM和O-LSTM的记忆增强，设计了三种模式：READ（从之前的记忆中构建新的记忆库）、DIGEST（从构建的记忆库中蒸馏出特定目标词（观点词的记忆）和INTERACT（用具体的记忆在A-LSTM和O-LSTM之间进行记忆交互操作）
READ
在线性上下文中，利用依存句法树，获取O-LSTM的记忆
DIGEST
为了得到目标词和观点词之间的联系，直接计算距离成本较高，因此设计了两种权重关系：
1、利用聚类，将观点词进行聚类并取得的聚类中心然后估计每个词的权重。

2、位置相关性作为权重：

根据生成的两个权重计算最终的记忆：

INTERACT
记忆更新

预测：

Loss function
由于构造了三部分的LSTM，因此在联合任务中，对于损失函数需要将三部分的损失进行相加：
A-LSTM和O-LSTM

S-LSTM:
总的损失函数为：

实验及结果

主要实验结果如图2所示：

进行了消融实验：

实验结果显示，提出的方法有效，但是并没有分析为什么有效，就强调在英文的表达里面，观点词后面跟目标词这种形式很常见。

总结与反思

1、文章提出了一种记忆交互网络，用于目标抽取任务（aspect extraction）
2、记忆交互网络主要是考虑了目标词和观点词之间的关系，因此对于不同的任务，作者通过LSTM产生了不同的任务的记忆，从而进行记忆交互。

对于作者给出的英文的常见形式是观点词后经常跟目标词，这种形式在中文里面并不常见，所以就距离这个策略是不是可能不大适用于中文里面。