Reasoning with Sarcasm by Reading In-between 论文阅读

出自 ACL 2018

出发点

这篇文章更注重讽刺的一句话前后词语之间情感的矛盾，比如：
I absolutely love to be ignored!
其中 love 和 ignore 直观的情感成分是相反的，作者利用这一点来着手“in-between”的思想，而且虽然RNN系列的网络经验上会作为word embedding的编码层，但这里RNN有两个缺点：

• RNN无法得到一句话中的矛盾情感的信息
• RNN老生常谈的长距离问题

由此引出“intra-sentence”形式的结构，也就是attention。

模型

左右两部分的子网络输出拼接后再做分类，右边就是LSTM的最后时间步的输出。左边是embedding上直接做attention：

用attention来构造词语之间的相关程度，这里就是要相反情感的词语权重更大一些。这里文中提出一个词语的含义可能不止一种，所以要用多个attention的分数，也就是上图的Multi-Dimention，其实就是加了个非线性层：

另外作者提到为什么不是LSTM后面加个attention做个残差而是直接在embedding后面直接attention，LSTM作用是将带有前文信息的信息体现出来，如果在LSTM后面加attention会破坏原本情感相反的词对分数，所以用的是原始的词向量。

结果

其实用不用multi-dimention看起来作用不明显。

attention的可视化结果更加证实了之前的想法，这种情感相反的词对信息是更重要的，这种方法的可解释性也更强。