《Hierarchical Recurrent Attention Network for Response Generation》阅读笔记（层次注意力）

研究背景

当前工作没有注意到词与话语具有不同的重要性

研究对象

多轮对话

研究例子

模型

建立词级与话语级的注意力，注意箭头方向，生成时既利用了词级有利用了话语级的attetion，话语级是单向的编码原因是越近的对话历史越重要，详细参考https://zhuanlan.zhihu.com/p/61101200

实验

数据处理

分词，删除回复在整个语料库中出现次数超过50次的对话，删除少于3轮或者有句子超过50个词的回复，保留context中4万个高频词作为context词表，response的词表同理

对比实验

S2SA：直接把对话历史级联输入到Seq2seq里

HRED与VHRED：参考https://zhuanlan.zhihu.com/p/33526045

评价指标

用困惑度指导验证集停止训练

没用BLEU，因为对于开放域回复具有多样性不适合，具体参考《How not to evaluate your dialogue system:
An empirical study of unsupervised evaluation metrics for dialogue response generation》