文本相似度算法：文本向量化+距离公式

1. 文本向量化

1.1 词袋模型

词袋模型，顾名思义，就是将文本视为一个 “装满词的袋子” ，袋子里的词语是随便摆放的，没有顺序和语义之分。

1.1.1 词袋模型的步骤

• 第一步：构造词典
  根据语料库，把所有的词都提取出来，编上序号
• 第二步：独热编码，D维向量
  记词典大小为D，那么每个文章就是一个D维向量：每个位置上的数字表示对应编号的词在该文章中出现的次数。

1.1.2 词袋模型的缺点

• 只统计词语是否出现或者词频，会被无意义的词汇所影响
  解决：文本预处理（a.去除停用词；b.文字、字母、标点符号统一；c.利用TF-IDF去除不重要的词）
• 无法识别语义层面的信息
  解决：基于深度学习的文本表示（词向量、句向量等）
• 无法关注词语之间的顺序关系
  解决：深度学习

1.2 TF-IDF

TF-IDF是一种统计方法，用以评估某一字词对于语料库中的一篇文章的重要程度。其算法简单快速，结果也比较符合实际情况。

1.2.1 TF-IDF的步骤

• 第一步：统计词频TF
  统计每个词在文本中出现的次数，出现的越频繁，那么就越可能是这个文章的关键词。

 词频TF = 某个词在文章中出现的次数/文章的总词数
 词频TF = 某个词在文章中出现的次数/文章中出现的最多的词出现的次数

• 第二步：计算逆文档频率IDF
  IDF用于衡量每一个词在语料库中的重要性，一个词在语料库中越少见，它的权重就越大；反之，一个词在语料库中越常见，它的权重就越小。

//首先需要有一个语料库，来模拟语言的使用环境。
逆文档频率IDF = log(语料库的文章总数/(包含该词的文章数+1))

• 第三步：计算TF-IDF
  TF-IDF用于衡量某个词在文章中的重要性。TF-IDF与该词在文章中的出现次数成正比，与该词在整个语料库中的出现次数成反比。

TF-IDF = TF * IDF

TF-IDF还可以用于关键词的自动提取：在计算出文章中的每个词的TF-IDF值后，按降序排列，取排在最前面的几个词。

1.2.2 TF-IDF的缺点

• 维度太高，不易于计算
  解决：引入了LSI，从语义和文本的潜在主题来分析。

LSI是概率主题模型的一种，基于统计学和概率论方法实现，类似的模型有LDA等。
核心思想：每篇文本中有多个概率分布不同的主题，每个主题中都包含所有已知词，但是这些词在不同主题中的概率分布不同。LSI通过奇异值分解的方法，计算文本中的各个主题的概率分布。
优点：向量从词的维度下降到主题的维度，维度更少，计算更快。

• 无法体现词的位置信息
  解决：对全文的第一段和每一段的第一句话，给予较大的权重。
• 无法识别语义层面的信息
  解决：基于深度学习的文本表示（词向量、句向量等）
• 无法关注词语之间的顺序关系
  解决：深度学习

1.3 词向量：word2vec

详见本人博客：词向量（从one-hot到word2vec） - 银山词霸的碎碎念 - CSDN博客
https://blog.csdn.net/weixin_38493025/article/details/85245044

2. 距离公式

2.1 余弦相似度

余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

参考教程

• 文本相似度算法小结 - 云+社区 - 腾讯云
  https://cloud.tencent.com/developer/article/1038872