Google Smart Reply笔记： Automated Response Suggestion for Email

1 背景

Google mail 自动为邮件生成回复内容。

2 总体架构

3： Response selection (LSTM 和 beam search)

LSTM 为编解码的Seq2Seq 生成模型，产生response。但是response集合是封闭的。在某种意义上来说，还是可以看成生成+检索 集成模式吧。 如何保证生成的response 是来源于封闭集合的？ 通过beam search。 给集合中所有response 建立 tri-tree， beam search 生成 b个最高的response候选。如果生成的response不在tri-tree中，则过滤掉。

4. 封闭Response集合构建机制

2也提到了Response 集合是封闭，其实理由很容易理解，对于一个用户产品来说，希望把推荐的回复答案控制在可控的范围，避免带来一些不好的影响，比如生成一些莫名其妙的答案或者一些冒犯不敬的言语。作者通过一种半监督图扩散方法来构建封闭response集合。事先标记100个类（种子集合），每个类里面用户意图意思一样。再通过图扩散的机制来识别那些无标签的response标签分布。

5. 触发模块（TRIGGERING）

这个模块主要是在生成response之前，判断一个message是否需要smart reply，因为很多message，比如敏感，较短等本身是没有必要给他生成reply的, 这样可以大大提升整个系统效率。所以，建立一个二分类模型来预测message是否需要smart reply。 训练样本： 历史手机上有回复的label 为1， 没有为0。 模型是NN 全连接。

6 评估

评估是分多个阶段的。如触发模块就评估auc， response select 模块则评估Perplexity， Response ranking （Precision@10 Precision@20 MRR）

参考文献：

【1】 Kannan A, Kurach K, Ravi S, et al. Smart reply: Automated response suggestion for email[J]. arXiv preprint arXiv:1606.04870, 2016.