Copynet

Copynet_第1张图片

 

 

原文链接:https://arxiv.org/abs/1603.06393

 

Motivation

传统的Seq2seq模型存在OOV(Out Of Vocabulary)问题,即对于超出词表的词难以预测。实际上,这种问题可以通过直接从输入复制单词来解决。例如如下的对话问题中,姓名、原句都可以直接复制。

Copynet_第2张图片

 

 

作者提出Copynet,通过选择生成模式和拷贝模式,使得模型在必要时可以直接从输入中复制单词作为输出。

 

Model

模型如图所示。左下方的encoder和传统seq2seq模型一致,将输入进行编码。左上方的decoder进行解码,包括答案预测、状态更新两部分。

Copynet_第3张图片

 

 

 

答案预测

答案来源包括词表和输入两个部分。答案预测模式分为复制模式(copy mode)和生成模式(generate mode)。复制模式即使用指针网络从输入中选择答案,生成模式类似传统RNN,从词表中选择答案。

Copynet_第4张图片

 

 

预测一个词yt的概率p可以分解为以生成模式预测yt的概率和以复制模式生成yt的概率的和。

Copynet_第5张图片

 

 

两种模式的选择由以下方式确定。

生成模式:

1)对于词表中的词语,pg为eφg(yt)/Z

2)对于在输入而不在词表中的词语,pg为0,即不从词表预测

3)对于既不在输入也不在词表的词语,pg为eφg(UNK)/Z

复制模式:

1)对于在输入的词语,pg为Σxj=yteφc(xi)/Z,即计算所有和该词相同的输入的分值总和

2)对于不在输入的词语,pg为0,即不从输入预测

 

Copynet_第6张图片

 

 

在上式中,归一化项Z由如下方式给定(即两种答案来源的所有词的分值总和)

 

 

下图更加直观地说明了不同来源答案的预测方式,即对于词表和输入的交集采用两种模式,若仅在一个来源则采用一种模式,两种来源都不包含则使用UNK词语进行预测。

Copynet_第7张图片

 

 

生成模式的打分函数由下式给定,即词语的one-hot向量×参数矩阵×该步的状态向量。

Copynet_第8张图片

 

 

复制模式的打分函数如下,即将encoder隐态×参数矩阵经过激活函数后乘以该步的状态向量。

Copynet_第9张图片

 

 

 

状态更新

状态st更新时使用上一步的输出值yt-1,用如下方式表征,其中e(y-1)为yt-1的embedding,ζ为一种加权平均。

 

 

ζ由下式计算(类似Attention),即使用每一步的复制模式概率(经过归一化)作为权重,对所有隐态进行加权平均。

Copynet_第10张图片

 

 

ζ与st、yt的更新关系如下所示。

 

 

 

目标函数

Loss由下式计算,即对于batch中的每一组(x,y)和每一个时间步,将该步预测正确(基于输入和此前输出)的条件概率对数求和,整体取负值方便梯度下降最小化。

Copynet_第11张图片

 

 

 

Results

对于对话问题,模型输出如下,可以看出答案中有很多词语是从输入直接复制的。

Copynet_第12张图片

 

 

文本总结问题模型输出如下。

Copynet_第13张图片

 

你可能感兴趣的:(Copynet)