基于LDA主题模型的短文本分类

        VSM（向量空间模型）是信息检索领域最为经典的分析模型之一，采用VSM对短文本进行建模，即将每一篇短文本表示为向量的形式，用TF－TDF表示向量的值。给出一些符号定义：短文本集SD＝ ｛sd1，sd2，...，sdM｝，Ｍ为短文本总数，词表Ｖ ＝ ｛V1，V2，...，VN｝，Ｎ为词汇数。一篇短文本sdi∈SD的向量表示为V（i）＝ （ｗ(i)１，ｗ(i)2，...，ｗ(i)N），其中ｗ(i)k为词vk∈Ｖ在sdi中的权重，通常用TF－IDF来表示

        其中，tfki表示vk在sdi中出现的次数，dfk表示SD中含有vk的短文本总数。然后可采用余弦距离计算两个向量的值，用余弦距离表示两篇文本的相似度，值越大认为两篇文本越相似，计算公式如下：

       由于短文本的长度短、表意不明确性和特征稀疏性等问题，使用VSM不能完全建模短文本中存在的问题。针对VSM存在数据空间稀疏、不能有效挖掘语义特征等问题，将LDA模型应用到文本相似度计算中。LDA模型将VSM的文本向量表示映射到主题空间向量表示，不仅能对数据有效降维，还能有效解决一词多义和一义多词的问题。

        LDA模型的基本思想是将文档描述为主题概率分布并进一步将主题描述为词项概率分布。LDA模型是一个３层Bayes结构，其LDA图模型下图所示。

LDA模型生成过程可描述如下：

（１）文档ｄ中词项总数Ｎｄ服从泊松分布，其参数为ξ：Ｎｄ～Poisson（ξ）

（２）对每篇文档ｄ∈｛１，２，．．．，｜Ｄ｜｝，按概率生成其主题分布：θ→ｄ～ Dirichlet（α→）；

（３）对每个主题ｚ∈｛１，２，．．．，Ｋ｝，按概率生成其词项分布：φ→ｋ～ Dirichlet（β→）；

（４）对文档ｄ中每个词wn的生成过程，其中ｎ∈｛１，２，．．．，Ｎｄ｝，有：

         １）根据主题分布θ→ｄ生成文档ｄ词项ｗｎ主题：ｚｄ，ｎ～Multionmial（θ→ｄ）；

        ２）根 据 词 项 分 布φｚｄ，ｎ→生 成 所 选 主 题 词 项：ｗｄ，ｎ～Multionmial（φ→ｚｄ，ｎ）。

基于ＬＤＡ主题模型的短文本分类算法

其具体步骤总结如下：

输入：LDA模型语料库、KNN分类语料库

输出：待分类文本的分类结果

（１）通过文本语料库训练LDA模型并推断KNN训练和测试文本集的主题分布；

（２）选取特征词并修改主题分布；

（３）根据式

计算主题相似度；

（４）采用KNN分类并根据下式进行类别判断

引自：杨萌萌等，基于LDA主题模型的短文本分类，计算机工程与设计，2016