每个py文件称之为模块,每个具有init.py文件的目录被称为包。只要模块或者包所在的目录在sys.path中,就可以使用import 模块或import 包来使用。
查看python已经安装的模块
help(‘modules’)
安装模块
1.直接添加到路径下。
import sys
sys.path.append(“path”)
2.单文件模块
直接把文件拷贝到$python_dir/lib。
主题模型是对文字隐含主题进行建模的方法。主题表现为词语的条件概率分布,与主题关系越密切的词语,条件概率就越大。
对于每一篇文档,左边的矩阵C是已知的,右边两个矩阵未知,主题模型通过大量已知的”词语-文档”矩阵C,通过训练,推导出右边的两个矩阵。主题模型训练的方法有两种,pLSA和LDA。
使用模型将文档vector转换成另一个vector,这样可以修正vector的含义,减少噪音,期望达到更好的效果。
from gensim import corpora, models, similarities
//从texts中得到distinct
dictionary=corpora.Dictionary(texts)
dictionary.save(‘data.dict’)
//将得到的主题word赋予相应的数字id
dictionary.token2id
//加载dict数据文件
dictionary=corpora.Dictionary.load(‘data.dict’)
//将一个文档转换为vector
new_doc=”Human computer interaction”
//计算文档中主题词的个数,(distinctid,appears)
new_vec=dictionary.doc2bow(new_doc.lower().split())
corpus=[dictionary.doc2bow(text) for text in texts]
corpora.MmCorpus.serialize(‘vector.mm’,corpus)
//加载mm文件
corpus=corpora.MmCorpus(‘vector.mm’)
//使用TF-IDF模型
tfidf=models.TfidfModel(corpus)
//使用tfidf模型,将词袋计数vector转换为TF-IDF权重vector
vec=[(0,1),(4,1)]
print(tfidf[vec])
//转换整个corpus
corpus_tfidf=tfidf[corpus]
//计算给定文档和corpus中文档的相似度,num_features指定得到的distinct个数
index=similarities.SparseMatrixSimilarity(tfidf[corpus],num_features=12)
//vec是给定的文档的vector
sims=index[tfidf[vec]]
print(list(enumerate(sims)))
模型可以将词袋模型或TF-IDF模型向量空间转换为低纬度(Topic)的空间。LSI模型训练过程中可以增加语料,增加训练语料时可以继续使用模型,不影响模型的训练。
corpus_tfidf=tfidf[corpus]
//两个Topic
lsi=models.LsiModel(corpus_tfidf,id2word=dictionary,num_topics=2)
//transform to lsi
corpus_lsi=lsi[corpus_tfidf]
lsi.print_topics(2)
//查看corpus中的文档分类
for doc in corpus_lsi:
print(doc)
//增加训练文档
lsi.add_documents(another_tfidf_corpus)
lsi.save(‘model.lsi’)
lsi=models.LsiModel.load(‘model.lsi’)
//对生成的向量空间建立索引
index=similarities.MatrixSimilarity(lsi[corpus])
similarities.MatrixSimilarity只有在所有的向量都存在内存中时才能够运行。similarities.Similarity可以将索引分成多个文件存储在磁盘,不占用大量的内存。
index.save(‘xxx.index’)
index=similarities.MatrixSimilarity.load(‘xxx.index’)
//比较新文档和索引文档的相似度,返回的余弦相似度范围(-1,1)
sims=index[vec_lsi]
print(list(enumerate(sims)))
Random Projections,RP模型
RP模型减少向量空间维数,和TF-IDF的文档距离类似。RP模型推荐的维度为(100,1000),依赖于数据集。
model=rpmodel.RpModel(tfidf_corpus,num_topics=200)
LDA模型将词袋模型计数向量空间转换为低纬度的主题空间。LDA以PLSA为基础,加上贝叶斯先验的一种非监督机器学习算法。LDA的主题就是单词的概率分布(每个主题由多个词的概率表示),LDA假设每个词都由一个潜在隐藏的主题中抽取出来,每个文档由多个主题混合而成。
LDA算法的输入:
分词后的文档集合,通常一篇文章一行;主题数K和参数 α 、 β 。
gamma函数
gamma函数就是阶乘的函数形式。
因此,gamma函数有性质:
beta分布
随机变量X服从参数为 α 、 β 的beta分布通常写作:
B函数和Gamma函数有关系:
model=ldamodel.LdaModel(bow_corpus,id2word=dictionary,num_topics=100)
Hierarchical Dirichlet Process,HDP
HDP模型是一个无参数的贝叶斯方法,可能会有部分主题丢失。
model=hdpmodel.HdpModel(bow_corpus,id2word=dictionary)