Multi-Source Pointer Network

 

 

原文链接：https://arxiv.org/abs/1808.06885

 

Task

亚马逊产品的标题往往很长，搜索页不能把产品题目显示清楚，从而影响顾客购买。

 

 

在淘宝上对标题进行自动总结，以简短的方式显示出产品的关键信息。

 

 

该项任务有两个限制：

1）不能引入与产品无关的信息——解决方法：使用指针网络直接复制

2）保留关键信息——解决方法：增加知识编码器（knowledge encoder），引入先验知识（品牌名等）

 

Model

模型如下图所示，编码器编码后，利用attention机制、知识编码器做出预测。

 

注意力分布

标题编码器和知识编码器采用类似的方式编码，即通过输入层隐态和解码向量进行类似attention的计算，并经过softmax得到注意力分布。

 

答案预测

第t步预测单词w的概率通过对两种注意力分布的加权和得到。

 

 

其中决定知识编码与标题编码比例的参数λ由下式计算，即计算解码向量、前一步的预测，以及两种解码器的隐态对attention加权平均，分别做线性变换后通过非线性激活函数。

 

 

 

Results

以下是产品标题总结的结果示例。本文的模型增加先验知识后达到了比较好的效果，超过了seq2seq、指针网络和指针生成网络。