Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation 读书笔记

Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation 读书笔记

介绍

论文引用：
Yang Z, Xu C, Wu W, et al. Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation[J]. arXiv preprint arXiv:1909.11974, 2019.
下载地址：https://arxiv.org/pdf/1909.11974.pdf

论文中设计了一个自动生成新闻评论的深层架构 DeepCom，包括一个阅读网络和一个生成网络，其中阅读网络主要有三层：表示层、融合层、预测层，生成网络使用阅读网络提取的片段和注释生成评论。使用了两个数据集进行测试，并且比对了其他六种生成评论的模型，其结果明显优于其他模型。

主要工作

1. 提出了包含一个阅读网络和一个生成网络的新闻评论生成的“阅读-参与-评论”过程；
2. 采用端到端学习方法对两个网络进行联合优化；
3. 在两个数据集上验证了所提模型的有效性。

使用的数据集

1. 腾讯新闻数据集（2018年）

   数据集地址为 ：https://ai.tencent.com/upload/PapersUploads/article_commenting.tgz

   关于数据集的介绍在以下这篇论文中有提及

   Qin, Lianhui, et al. “Automatic article commenting: the task and dataset.” arXiv preprint arXiv:1805.03668 (2018).

   该论文地址：https://arxiv.org/pdf/1805.03668v1.pdf

   以下是我截取这篇论文中作者对一个新闻下评论的类型判定标准，分为1-5分，分数越高，内容越丰富且清晰。详细信息见表1。
   

   表1 腾讯新闻数据集类型评判标准

类别	标准
5	内容丰富 有吸引力 深刻的洞察力 新的相关观点
4	与有意义的想法相关性高
3	不太相关、适用于其他新闻
2	流利/合乎语法的，但是不相关
1	很难去读的、只有符号表情、存在错误的评论

2. 通过从雅虎抓取的新闻文章和评论的英文数据集

方法

问题定义

有一个数据集如下 $$D={\{(T_i,B_i,C_i)\}}_{i=1}^N$$

表示数据集D中有N个三元组 ，其中第i个三元组为 $(T_i,B_i,C_i)$。$T_i$为新闻标题 ，$B_i$为新闻正文，$C_i$为评论。

目标 为从D中估计$P(C|T,B)$的概率分布，然后输入为$（T,B）$，根据$P(C|T,B)$ 生成一个评论C

模型

该模型由一个阅读网络和一个生成网络组成。阅读网络首先在表示层（representation layer）中分别表示新闻标题（title）和新闻正文（body），然后通过融合层将标题融合到正文中，形成对整篇文章的表示，最后通过预测层从文章中提取出一些明显的片段，然后将明显的片段和新闻标题反馈到生成网络以合成评论。

将问题中的$P(C|T,B)$进一步扩展为
$$P(C|T,B)=P(S|T,B)\cdot P(C|S,T)$$
其中$S=（s_1，\dots ，s_w）$表示新闻正文B中的片段, $P(S|T,B)$表示阅读网络， $P(C|S,T)$表示生成网络。

阅读网络

一、表示层

1. 标题 $T=(t_1,...,t_n)$   t_j表示第j个单词
   内容 $B=(b_1,...,b_m)$   b_k表示第k个单词相关联的新闻内容
   将标题T和正文内容B分别做Embedding，将t_j 和 b_k分别表示为 e_T,j 和 e_B,k

2. 为了保留单词在新闻正文中的位置，使用o_B,k 和s_B,k 扩展e_B,k ，其中o_B,k 表示b_k在句子中的位置，s_B,k 表示句子在整个正文中的位置。所以将新的正文Embedding表示为$e$_B,k = MLP([e_B,k ;o_B,k ;s_B,k ]),其中MLP() 指具有两层的多层感知器

3. 如模型图所示，首先处理初始的新闻标题和正文的表示 ：${\xi }_T=(e_{T,1},...,e_{T,n})$和${\xi }_B=(e_{T,1},...,e_{T,1})$
   使用RNN-GRUs处理新闻标题T，得到一个隐藏层$H_T=(h_{T,1},...,h_{T,n})$ ，将新闻正文B转换为$H_B=(h_{B,1},...,h_{B,m})$,其中$h_{B,k}$定义为MLP([ $e$ _B,k ;c _B,k ])，c _B,k 是attention-pooling层的第k个向量， 其计算表示为 dot-att(${\xi }_B,e_{B,k}$),具体计算过程如下：
   $$c_{B,k}=\sum _{j=1}^m{\alpha }_{k,j}{e}_{B,j}$$ 其中${\alpha }_{B,k}$为
   $${\alpha }_{B,k}=e^{s_{k,j}}/\sum _{l=1}^m{e}^{s_{k,l}}$$其中$s_{k,j}$为词与词之间的位置
   $$s_{k,j}=（e_{B,k}^T,e_{B,j}）/\sqrt{d1}$$

二、融合层
融合层将上述生成的$H_T$和$H_B$作为输入,并将$H_T$与$H_B$融合，生成$V=（v_1，\dots ，v_m）$作为整个新闻文章的新表示.
$$v_k=h_{B,k}+g_k⨀c_{T,k}$$ 其中$g_k$为门(Gate)
$$g_k=\sigma (W_g[h_{B,k};c_{T,k}])$$

三、预测层

如图所示，基于融合层生成的$V=（v_1，\dots ，v_m）$，使用$S=((a_1,e_1),\dots ,(a_w,e_w))$表示显著性分段其中 $a_i$ 和$e_i$ 指代第 i 个分段的开始点和终止点的位置。将$V=（v_1，\dots ，v_m）$作为输入，最后将输出$L=(l_1，\dots ，l_m)$,如果第k个词为片段的起始点，则$l_k=1$,否则$l_k=0$

给定 $a_k$，终止位置 $e_k$ 可以通过指针网络 $({\alpha }_{{\alpha }_k,1},...,{\alpha }_{{\alpha }_k,m})$得到
$${\alpha }_{{\alpha }_k,j}=e^{s_{{\alpha }_k,j}}/\sum _{l=1}^m{e}^{s_{{\alpha }_k,l}}$$ $s_{{\alpha }_k,j}$计算词之间的联系
$$s_{{\alpha }_k,j}=V^{T}tanh(W_v{v}_j+W_h{h}_{a_k,1})$$
$$h_{a_k,1}=GRU(h_0,[c_0;v_{a_k}])$$ 其中GRU为门控循环单元，$h_0=att(V,r)$是注意力池化矢量，计算如下：
$$h_0=\sum _{j=1}^m{\beta }_j\cdot v_j$$
$${\beta }_j=e^{{\beta }_j^{{}^{\prime }}}/\sum _{l=1}^m{e}^{({\beta }_j^{{}^{\prime }})}$$
$${\beta }_j^{{}^{\prime }}=V_1^{T}tanh(W_{v,1}{v}_j+W_{h,1}r)$$

用 start 表示显著性分段的起始位置$(a_1,…,a_w) $，用 $p_i$ 表示$P(l_i=1)$，于是阅读网络的输出 P(S|T,B) 可以表示为：

$$P(S|T,B)=\prod _{k=1}^w[p_{a_k}\cdot {\alpha }_{{\alpha }_k,e_k}]\prod _{i\notin start,1\le i\le m}[1-p_i]$$

生成网络

在阅读网络中得到了

1. 显著性片段 $S=((a_1,e_1),\dots ,(a_w,e_w))$
2. 新闻标题表示$H_T=(h_{T,1},...,h_{T,n})$
3. 新闻正文表示$V=（v_1，\dots ，v_m）$
4. 阅读网络 P(S|T,B)
   可以得到显著性片段S的隐藏层表示 $H_S=(v_{a_1},v_{a_1+1},...,v_{e_1},...,v_{a_w},v_{a_w+1},...,v_{e_w}).$

向生成网络输入 H_T 和 H_S，然后按词解码输出评论。在第 t 步，其隐状态为：
$$h_t=GRU(h_{t-1},[e_{C,t-1};C_{T,t-1};C_{S,t-1}])$$
通过att()来计算$C_{T,t-1}和C_{S,t-1}$ 即$C_{T,t-1}=att(H_T,h_t)C_{S,t-1}=att(H_S,h_t)$
进一步得到单词表的概率分布：${\bar{P}}_t=softmax(V[h_t;C_{T,t};C_{S,t}]+b)$
定义评论$C=(c_1,\dots ,c_o)$，其中$c_k$为整个评论词汇中的第k个单词的索引
最终生成网络P(C|S,T)可以定义为：
$$P(C|S,T)=P(c_1|S,T)\prod _{t=2}^{o}P(c_t|c_1,...,c_{t-1},S,T)$$
$$={\bar{P}}_1(c_1)\prod _{t=2}^o{\bar{P}}_t(c_t)$$

学习方法

模型的目标是从 D={(Ti,Bi,Ci)}中学习 P(S|T,B) 和 P(C|S,T)，但是在实际情况中，S 很难得到。为了解决这个问题，作者将 S 视为一个隐变量，然后考虑如下的目标函数：
$$J=\sum _{i=1}^{N}logP(C_i|T_i,B_i)=\sum _{i=1}^{N}log(\sum _{S_i\in S}P(S_i|T_i,B_i)P(C_i|S_i,T_i))$$
S 指分段集的空间，Si 为 (Ti,Bi) 的隐分段集。尝试最大化 J 的下界：
$$\zeta =\sum _{i=1}^N\sum _{S_i\in S}P(S_i|T_i,B_i)logP(C_i|S_i,T_i)<J$$
引入一个$\Theta$设为模型的所有参数，求$\zeta$关于$\Theta$的偏导 ， 即$\frac{\partial {\zeta }_i}{\partial \Theta }$，求解如下：
$$\frac{\partial {\zeta }_i}{\partial \Theta }=\sum _{S_i\in S}P(S_i|T_i,B_i)[\frac{\partial logP(C_i|S_i,T_i)}{\partial \Theta }+logP(C_i|S_i,T_i)\frac{\partial logP(S_i|T_i,B_i)}{\partial \Theta }]$$
为了计算梯度，需要找到 $(T_i,B_i)$对应的所有分段 S_i，但这是很难实现的。因此作者采用蒙特卡洛采样方法来近似 $\frac{\partial {\zeta }_i}{\partial \Theta }$。假设有 j 个样本，那么 $\frac{\partial {\zeta }_i}{\partial \Theta }$的近似为：$$\frac{1}{j}\sum _{n=1}^j[\frac{\partial logP(C_i|S_{i,n},T_i)}{\partial \Theta }+logP(C_i|S_{i,n},T_i)\frac{\partial logP(S_{i,n}|T_i,B_i)}{\partial \Theta }]$$

实验

基线模型

1. IR-T 和 IR-TC：这两个模型通过 TF-IDF 矢量的余弦角检索候选文章以及相关评论，然后使用卷积神经网络对评论进行排序，返回排在最前的评论。IR-T 只利用新闻标题信息，IR-TC 利用新闻标题和正文。
2. Seq2Seq：基础的序列转换模型，从标题中生成评论。
3. Att 和 Att-TC：注意力机制的序列转换模型。Att 只利用新闻标题信息，Att-TC 利用新闻标题和正文。输入为标题（Att）或标题和新闻主体（Att-TC）。
4. GANN：门控注意力神经网络。

实验结果

以下是对两个数据集进行的自动测量和人工判断的评估结果。对比了七种不同的模型，在大多数自动评价指标上，DeepCom 超过了基线方法，并且提升程度很高（加粗字体的部分 ）。

阅读总结

目前DeepCom中包含了阅读网络和生成网络，从而模拟人对新闻进行评论时的“阅读 - 关注 - 评论”行为。从实验结果来看，在这两个数据集上该模型要优于Seq2Seq、Att、GANN等模型

想到的应用方面有：

1. 聊天机器人
2. 舆论引导
3. 文章摘要生成

进一步扩展模型， 在生成网络后面再增加一层网络：判别网络，将生成的评论再次阅读后传入判别网络，检测生成的结果是否符合一定的标准，如果不符合，调整参数重新生成。