Extractive Summarization using Continuous Vector Space Models

Kågebäck M, Mogren O, Tahmasebi N, et al. Extractive Summarization using Continuous Vector Space Models[C]// Cvsc at Eacl. 2014.

Abstract

• Using continuous vector representations for semantically aware representations of sentences as a basis for measuring similarity.
  连续向量表示法在句子语义感知表征中的应用
  实验证明该框架的表现很好

Introduction

• word embedding
  知乎对word embedding的总结
  CSDN对词嵌入的简述
• Submodular Optimization
  模型优化
  收益递减性质，来源于直觉，即把一个句子加到一小句子（即摘要）中比把一个句子加到一个更大的一个集合上做出的贡献更大。
• This objective function can be formulated
  as follows:
  
  where S is the summary, L(S) is the coverage of the input text, R(S) is a diversity reward function. The lamada is a trade-off coefficient that allows us to define the importance of coverage versus diversity of the summary.——NP-hard
• if the objective function is submodular there is a fast scalable algorithm that returns an approximation with a guarantee.
  
• The weights Sim(i, j) used in the L function
  
  where tfw,i and tfw,j are the number of occurrences of w in sentence i and j, and idfw is the inverse document frequency (idf ) of w.
  句子的相似性是通过tf-idf 高度重叠的词来计算的，但下面这种情况会被认为没有相似性：
  “The US President” and “Barack Obama”
  本文提出we will investigate the use of continuous vector representations for measuring similarity between sentences

Background on Deep Learning

• Feed Forward Neural Network（FFNN）
  
  FFNN四输入神经元，一个隐藏层，和1个输出神经元。这种架构是适合一些数据X∈R4（四维空间）的分类，但根据输入的数量和复杂性，隐藏层的尺寸应相应缩小。

神经元是分层结构的，只允许连接到后续层。该算法与用非线性项进行logistic回归相似。
- 线性回归，逻辑回归等
回归问题介绍（详细）
线性回归浅谈
- An auto-encoder (AE), is a type of FFNN with a topology
designed for dimensionality reduction(是一种拓扑设计的降维FFNN)

图中显示了一个自动编码器，它将四维数据压缩成二维代码。这是通过使用一个称为编码层的瓶颈层来实现的。

The input and the output layers in an AE are identical(输入层和输出层是一样的)
- Recursive Neural Network递归神经网络
RNN is a type of feed forward neural network that can process data through an arbitrary binary tree structure

递归神经网络结构使可变长度输入数据成为可能。通过对所有层使用相同的维数，任意二叉树结构可以递归处理。
输入数据被放置在树的叶节点中，并使用此树的结构将递归引导到根节点。在树上的每个非终结节点递归计算压缩表示，在每个节点上使用相同的权重矩阵。更确切地说，可以使用以下公式：

Word Embeddings

Continuous distributed vector representation of
words, also referred to as word embeddings
一个词的嵌入是一个连续的向量表示，它捕获单词的语义和句法信息。可用来揭示单词之间的相似性
计算word embedding方法：
1. Collobert &Weston CW vector

2. Continuous Skip-gram 提出的方法： Word2Vec

Phrase Embeddings

where xp is a phrase embedding, and xw is a word embedding. We use this method for computing phrase embeddings as a baseline in our experiments
-Unfolding Recursive Auto-encoder

unfolding RAE的结构，在一个三字词（[x1，x2，x3]）上。 使用权重矩阵seta（e）对压缩表示进行编码，而使用seta（d）对表示进行解码并重构句子

Measuring Similarity

短语嵌入为句子提供了语义意识表示。 为了总结，我们需要测量两个表示之间的相似性，并将利用以下两个向量相似性度量。 第一个相似性度量是余弦相似度，转换为[0,1]

其中x表示短语嵌入。第二个相似性是基于欧几里得距离的补充，并计算为:

Conclusion

本文的研究结果表明在词汇和词组嵌入方面有很大的应用潜力。 我们相信，通过使用嵌入，我们转向更多的语义意识汇总系统。