情感+对话文章总结

这是ACL2017的一篇文章，主要就是把情感属性和情感强度增加到句子生成过程中。(发布的时间比较早了，最晚也是2017年初发布的)

主要提出了Affect-LM模型，是我目前看过的，最早提出的模型之一了。
任务目标是：给出前M个词，情感向量e以及情感作用的强度β，输出后面的N个单词，组成完整的一句话。
它本质就是一个增加情感的语言模型，用来做句子生成。
模型公式：

用β控制情感作用的强弱。输入是one-hot类型的数据，U是一个类似embedding层的映射。LIWC是情感词典，有5类情感，binary 特征，例如：

文章提出，情感类别可以自动从上下文推断，也可以直接用户定义。

文章的对比任务是基本的语言模型：

实验1，内容测试
语言模型训练数据集：首先在Fisher训练集上训练，其余的都是fintuning的模型结构

可以看出perplexity指标没有明显降低，说明表达的语法和内容没有受到影响。

实验2，情感测试（通过MTurk平台，执行感知实验）

这是2017年4月的论文，估计是看了Affect-LM，然后赶紧发一篇基于对话的情感识别占坑。看来国内的情感界也在不断转型升级呀。朱小燕团队的论文。
这篇文章提出ECM，就是对话+情感。之前的对话系统都是在对话质量方面进行改进，作者在情感方面改进，效果还不错：

实验目标：
上文+情感->有情感的下文
affect-LM是：部分文字+情感->有情感的完整的一句话

作者认为难点有：高质量的情感标注数据难以获取；要平衡语法和情感（Affect-LM中就指出了）
作者提出ECM，就是把seq2seq+memory机制。

内部记忆单元：（情感要表达完整？？）

外部记忆单元：(平衡选择情感词还是一般中性词)

损失函数：增加内部记忆单元和外部记忆单元的损失+seq2seq的损失函数。

数据集：
情感分类数据集：NLPCC20132 and NLPCC20143（中文数据）
对话数据集：STC Dataset，用情感分类器标注

这篇文章是2017年7月份发的，借鉴了上面连篇文章：Affect-LM和ECM。
主要思路：沿用经典的seq2seq思路，同时增加情感信息在三个方面：

• 词向量：using a cognitively engineered word-level affective dictionary (Warriner, Kuperman, and Brysbaert 2013),字典里面有13915个单词，标注了VAD，其余的用中性标注替代。（因为word embedding是考虑词语之间的co-occurrence statistics，但是不足够去捕捉情感特征，例如“a good book” vs. “a bad book”。）因此，作者在传统embedding后面，增加了VAD三个维度的特征。
  
• 改变损失（三种损失函数）。和上文情感相同，上文情感不同，和中性差异较大。（但是没有考虑上下文的情感，因为作者觉得，chatbot就是一种娱乐，哈哈哈）
  1 DMIN
  
  2 DMAX，就是DMIN改变正负号
  3 AC，和中性的差异
  
  -解码过程为了避免beam search得到的结果很类似，出现大量正确但是没有意义的话，我们采用affective diverse beam search算法。（DBS参照传送门）
  就是说，我先beam search，得到group 1 的结果，之后，group2的结果需要和group1的结果不一样，之后group3的结果需要和group1,2的差异比较大。以此类推。
  其中差异需要自己定义，作者采用这个差异：（词情感差异和句子情感差异）
  
  
  实验结果：还是挺有意思的