文本相似度计算-文本向量化

0. 目录

  • 1.前言
  • 2. 文本向量化
    • 2.1 词集模型和词代模型
    • 2.2 n-gram
    • 2.3 TF-IDF
    • 2.4 word2vec
    • 2.5 主题词模型
  • 3. 总结

 


1. 文本相似度计算-文本向量化

2. 文本相似度计算-距离的度量

3. 文本相似度计算-DSSM算法

4. 文本相似度计算-CNN-DSSM算法

回到顶部

1.前言

在自然语言处理过程中,经常会涉及到如何度量两个文本之间的相似性,我们都知道文本是一种高维的语义空间,如何对其进行抽象分解,从而能够站在数学角度去量化其相似性。

有了文本之间相似性的度量方式,我们便可以利用划分法的K-means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚类分析;另一方面,我们也可以利用文本之间的相似性对大规模语料进行去重预处理,或者找寻某一实体名称的相关名称(模糊匹配)。

而衡量两个字符串的相似性有很多种方法,如最直接的利用hashcode,以及经典的主题模型或者利用词向量将文本抽象为向量表示,再通过特征向量之间的欧式距离或者皮尔森距离进行度量。本文将对NLP中文本相似度计算第一步文本向量化做一个简述。

回到顶部

2. 文本向量化

无论文本式中文还是英文,我们首先要把它转化为计算机认识的形式。转化为计算机认识的形式的过程叫文本向量化。

向量化的粒度我们可以分为几种形式:

  1. 以字或单词为单位,中文就是单个字,英文可以是一个单词。
  2. 以词为单位,就需要加入一个分词的过程。分词算法本身是一个NLP中重要的基础课题,本文不详细讲解。
  3. 以句子为单位,提炼出把一句话的高层语义,简而言之就是寻找主题模型。当然如果我们已经拿到了一句话的所有词的向量,也可以简单的通过取平均活着其他方式来代表这个句子。

下面我们主要介绍以词为单位的文本向量化方法,词集模型、词代模型、n-gram、TF-IDF、word2vec。和以句子为单位的主题模型,LSA、NMF、pLSA、LDA等。

2.1 词集模型和词代模型

词集模型和词代模型都是将所有文本中单词形成一个字典vocab,然后根据字典来统计单词出现频数。不同的是:

  • 词集模型是单个文本中单词出现在字典中,就将其置为1,而不管出现多少次。
  • 词代模型是单个文本中单词出现在字典中,就将其向量值加1,出现多少次就加多少次。

词集模型和词代模型都是基于词之间保持独立性,没有关联为前提。这使得其统计方便,但同时也丢失了文本间词之间关系的信息。

2.2 n-gram

n-gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为n的滑动窗口操作,形成了长度是n的字节片段序列。

以“我爱中国”为例:

一元模型(unigram model)分为“我”“爱”“中”“国”

二元模型(bigram model)分为“我爱”“爱中”“中国”

三元模型(trigram model)分为“我爱中”“爱中国”

以此类推,分好词后,就可以像词代模型的处理方式,按照词库去比较句子中出现的次数。n-gram能够比较好的记录句子中词之间的联系,n越大句子的完整度越高,但是随之而来的是词的维度成指数级增长。所以一般取n=2,n=3。

2.3 TF-IDF

TF-IDF是Term Frequency - Inverse Document Frequency的缩写,即“词频-逆文本频率”。它由两部分组成,TF和IDF。

前面的TF也就是我们前面说到的词频,我们之前做的向量化也就是做了文本中各个词的出现频率统计,并作为文本特征,这个很好理解。关键是后面的这个IDF,即“逆文本频率”如何理解。前面,我们讲到几乎所有文本都会出现的"的"其词频虽然高,但是重要性却应该比词频低的"西瓜"和“中国”要低。我们的IDF就是来帮助我们来反应这个词的重要性的,进而修正仅仅用词频表示的词特征值

所以一个词的定量化表示比较合理的是(词频X词的权重)。

 

TF−IDF(x)=TF(x)∗IDF(x)TF−IDF(x)=TF(x)∗IDF(x)

2.4 word2vec

word2vec是google在2013年推出的一个NLP工具,它的特点是将所有的词向量化,这样词与词之间就可以定量的去度量他们之间的关系,挖掘词之间的联系。word2vec一般有CBOW和Skip-Gram模型。

CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量,而输出就是这特定的一个词的词向量。通过深度学习训练出相应的固定维度的词向量。Skip-Gram模型和CBOW模型反一反,输入是中心词,输出是上下文。

2.5 主题词模型

设想一下一个问题,如果我有两个文本,分别是“星期天”和“周日”,从词的角度,它们没有相交的词,那它们用统计词频的方法就会比较难处理。但是这两个词,我们一看就知道意思完全一样的。这里就可以用主题模型对它们进行处理,假设我们找到它们的2个隐含主题“假期”,“休息”,然后计算它们和隐含主题间的距离的相似度。

主题模型主要有以下几种,LSA、NMF、pLSA、LDA。

  • LSA是通过奇异值分解的方式把文本分解成如下,UilUil 对应第ii个文本和第ll个主题的相关度。VjmVjm对应第jj个词和第mm个词义的相关度。ΣlmΣlm对应第ll个主题和第mm个词义的相关度。

 

Am×n≈Um×kΣk×kVTk×nAm×n≈Um×kΣk×kVk×nT

  • NMF虽然也是矩阵分解,它却使用了不同的思路,它的目标是期望将矩阵分解为两个矩阵。这样速度更快,而且不会出现LSA中相关度为负数的情况,可解释性强。

    Am×n≈Wm×kHk×nAm×n≈Wm×kHk×n

  • pLSA可以从概率的角度解释了主题模型
    1. 按照概率p(dm)p(dm)选择一篇文档dmdm
    2. 根据选择的文档dmdm,从从主题分布中按照概率p(zk|dm)p(zk|dm)即(θmzθmz)选择一个隐含的主题类别zkzk
    3. 根据选择的主题zkzk, 从词分布中按照概率p(wj|zk)p(wj|zk)即(φzwφzw)选择一个词wjwj

 

  • LDA模型考虑了主题概率分布的先验知识,比如文本中出现体育主题的概率肯定比哲学主题的概率要高,这点来源于我们的先验知识。具体我们以后的文章再讨论。

 

回到顶部

3. 总结

本文主要介绍了文本相似度计算的第一步,文本的向量化。向量化好后,我们就可以通过一些常用的距离计算公式计算文本之间的相似度。

你可能感兴趣的:(NLP)