最近因为比赛的关系用到gensim很多，总结一下。
TF-IDF模型使用
模型生成与保存
# -*- coding: UTF-8 -*-
from gensim import corpora, similarities, models
import jieba
# 原生语料
raw_documents = [
'钟逆时钟而绕 恶物狰狞的倾巢 我谦卑安静的于城堡下的晚祷 压抑远古流窜的蛮荒暗号 而管风琴键高傲的说 那只是在徒劳 傲傲傲傲傲 我的乐器在环绕',
'天凉了 雨下了 你走了 清楚了 我爱的 遗失了 落叶飘在湖面上睡着了 想要放 放不掉 泪在飘 你看看 你看看不到 我假装过去不重要 却发现自己办不到',
'繁华声 遁入空门 折煞了世人 梦偏冷 辗转一生 情债又几本 如你默认 生死枯等 枯等一圈 又一圈的年轮 浮图塔 断了几层 断了谁的魂 痛直奔 一盏残灯 倾塌的山门',
'好久不见 你还好吗 你的小狗 长大了吗 我的围巾 还围着吗 我的相片 都丢了吧 我剪不到后面头发 这个借口还不错吧哎哟不错一把剪刀一堆废话 还不是想求求你回来吧',
'街灯下的橱窗 有一种落寞的温暖 吐气在玻璃上 画着你的模样 开着车漫无目的的转弯 不知要去哪个地方',
'起落架离开地上 空姐亲切的讲 请我打开遮阳板 将安全带系上 接着问是否用餐 需不需要毛毯 而我沉睡在客舱 梦境在我正上方',
'地上断了翅的蝶 雾散之后的满月 原来爱 跟心碎 都可以很 细节 听夜风绕过几条街 秋天瘦了满地的落叶 于是又一整夜',
'妈妈说很多事别太计较 只是使命感找到了我 我睡不着 如果说 骂人要有点技巧 我会加点旋律 你会觉得超好',
'你的绘画凌乱着 在这个时刻我想起喷泉旁的白鸽 甜蜜散落了 情绪莫名的拉扯 我还爱你呢',
'古巴比伦王颁布了汉摩拉比法典刻在黑色的玄武岩距今已经三千七百多年你在橱窗前凝视碑文的字眼',
]
corpora_documents = []
# 分词处理
for item_text in raw_documents:
item_seg = list(jieba.cut(item_text))
corpora_documents.append(item_seg)
print(corpora_documents)
# 生成词典
dictionary = corpora.Dictionary(corpora_documents)
print(dictionary)
#保存生成的词典
dictionary.save('dic.txt')
# 生成每篇文档对应的词袋向量 => list of (token_id, token_count)
corpus = [dictionary.doc2bow(text) for text in corpora_documents]
print(corpus[1])
#保存生成的词袋向量
corpora.MmCorpus.serialize('corpus.txt',corpus)
# 根据corpus生成对应的tf-idf模型
tfidf_model = models.TfidfModel(corpus)
# 生成对应的统计量list of (token_id, token_tfidf)
corpus_tfidf = tfidf_model[corpus]
print(corpus_tfidf[1])
# 保存模型
tfidf_model.save("model_tfidf.txt")
# 文档频率
print(tfidf_model.dfs)
"""
查询相关文档
警告：similarities.MatrixSimilarity类仅仅适合能将所有的向量都在内存中的情况。例如，如果一个百万文档级的语料库使用该类，可能需要2G内存与256维LSI空间。
如果没有足够的内存，你可以使用similarities.Similarity类。该类的操作只需要固定大小的内存，因为他将索引切分为多个文件（称为碎片）存储到硬盘上了。
similarities.Similarity实际上使用了similarities.MatrixSimilarity和similarities.SparseMatrixSimilarity两个类，因此它也是比较快的，虽然看起来更加复杂了。
"""
test_data = '压抑远古流窜的蛮荒暗号'
# 分词
test_cut_raw = list(jieba.cut(test_data))
# 统计TF值：list of (token_id, token_count)
test_corpus = dictionary.doc2bow(test_cut_raw)
# 根据之前训练生成的model，生成query的IFIDF值，然后进行相似度计算
test_corpus_tfidf = tfidf_model[test_corpus]
# 相似度查询方式一
similarity = similarities.Similarity('Similarity-tfidf-index', corpus_tfidf, num_features=600)
similarity.num_best = 3
similarity.save('similarity.txt')
# 返回最相似的样本材料,(index_of_document, similarity)
print(similarity[test_corpus_tfidf])
# 相似度查询方式二
index = similarities.MatrixSimilarity(corpus_tfidf)
index.save('matrixSimilarity.txt')
sims = index[test_corpus_tfidf]
sims = sorted(enumerate(sims), key=lambda item: -item[1])
print(sims)
模型恢复
# -*- coding: UTF-8 -*-
from gensim import corpora, similarities, models
import jieba
"""
从硬盘中恢复模型
"""
# 加载词表
dictionary = corpora.Dictionary.load('dic.txt')
# 加载词典向量
corpus = corpora.MmCorpus('corpus.txt')
# 加载模型
tfidf_model = models.TfidfModel.load("model_tfidf.txt")
# 加载相似度计算索引
similarity = similarities.Similarity.load('similarity.txt')
index = similarities.MatrixSimilarity.load('matrixSimilarity.txt')
"""
相似度查询
"""
test_data = '压抑远古流窜的蛮荒暗号'
# 分词
test_cut_raw = list(jieba.cut(test_data))
# 统计TF值
test_corpus = dictionary.doc2bow(test_cut_raw)
# 根据之前训练生成的model，生成query的IFIDF值，然后进行相似度计算
test_corpus_tfidf = tfidf_model[test_corpus]
print(similarity[test_corpus_tfidf])
print(index[test_corpus_tfidf])
语义相似度计算
根据gensim中TF-IDF的统计，计算任意两句话的语义相似度，而不是查找某句话与统计语料中的哪句话最相似。
# -*- coding: UTF-8 -*-
from gensim import corpora, similarities, models
import jieba
import math
# 加载词表
dictionary = corpora.Dictionary.load('dic.txt')
# 加载词典向量
corpus = corpora.MmCorpus('corpus.txt')
# 加载模型
tfidf_model = models.TfidfModel.load("model_tfidf.txt")
"""
计算「压抑的蛮荒暗号」和「压抑远古流窜的蛮荒暗号」的tf-idf模型下的语义相似度
"""
"""
使用gensim的标准库
"""
corpus = [dictionary.doc2bow(text) for text in [list(jieba.cut('压抑的蛮荒暗号'))]]
# 统计tf-idf值
corpus_tfidf = tfidf_model[corpus]
similarity = similarities.Similarity('Similarity-tfidf-index', corpus_tfidf, num_features=600)
similarity.num_best = 3
test_data = '压抑远古流窜的蛮荒暗号'
# 分词
test_cut_raw = list(jieba.cut(test_data))
# 统计TF值
test_corpus = dictionary.doc2bow(test_cut_raw)
# 统计tf-idf值
test_corpus_tfidf = tfidf_model[test_corpus]
# 计算相似度
print(similarity[test_corpus_tfidf])
"""
自定义计算
"""
def tfidf_similarity(vector1, vector2):
up = 0.0
for t1 in vector1:
for t2 in vector2:
if t1[0] == t2[0]:
up = up +t1[1]*t2[1]
sum1 = 0.0
for t1 in vector1:
sum1 = sum1+t1[1]*t1[1];
sum2 = 0.0
for t2 in vector2:
sum2 = sum2+t2[1]*t2[1];
down = math.sqrt(sum1)*math.sqrt(sum2)
if down < 1e-9:
return 0.0
else:
return up/down
test_data1 = '压抑远古流窜的蛮荒暗号'
test_cut_raw1 = list(jieba.cut(test_data1))
test_corpus1 = dictionary.doc2bow(test_cut_raw1)
test_corpus_tfidf1 = tfidf_model[test_corpus1]
test_data2 = '压抑的蛮荒暗号'
test_cut_raw2 = list(jieba.cut(test_data2))
test_corpus2 = dictionary.doc2bow(test_cut_raw2)
test_corpus_tfidf2 = tfidf_model[test_corpus2]
sim = tfidf_similarity(test_corpus_tfidf1,test_corpus_tfidf2)
print(sim)
LSI模型
# -*- coding: UTF-8 -*-
from gensim import corpora, similarities, models
import jieba
# 原生语料
raw_documents = [
'钟逆时钟而绕 恶物狰狞的倾巢 我谦卑安静的于城堡下的晚祷 压抑远古流窜的蛮荒暗号 而管风琴键高傲的说 那只是在徒劳 傲傲傲傲傲 我的乐器在环绕',
'天凉了 雨下了 你走了 清楚了 我爱的 遗失了 落叶飘在湖面上睡着了 想要放 放不掉 泪在飘 你看看 你看看不到 我假装过去不重要 却发现自己办不到',
'繁华声 遁入空门 折煞了世人 梦偏冷 辗转一生 情债又几本 如你默认 生死枯等 枯等一圈 又一圈的年轮 浮图塔 断了几层 断了谁的魂 痛直奔 一盏残灯 倾塌的山门',
'好久不见 你还好吗 你的小狗 长大了吗 我的围巾 还围着吗 我的相片 都丢了吧 我剪不到后面头发 这个借口还不错吧哎哟不错一把剪刀一堆废话 还不是想求求你回来吧',
'街灯下的橱窗 有一种落寞的温暖 吐气在玻璃上 画着你的模样 开着车漫无目的的转弯 不知要去哪个地方',
'起落架离开地上 空姐亲切的讲 请我打开遮阳板 将安全带系上 接着问是否用餐 需不需要毛毯 而我沉睡在客舱 梦境在我正上方',
'地上断了翅的蝶 雾散之后的满月 原来爱 跟心碎 都可以很 细节 听夜风绕过几条街 秋天瘦了满地的落叶 于是又一整夜',
'妈妈说很多事别太计较 只是使命感找到了我 我睡不着 如果说 骂人要有点技巧 我会加点旋律 你会觉得超好',
'你的绘画凌乱着 在这个时刻我想起喷泉旁的白鸽 甜蜜散落了 情绪莫名的拉扯 我还爱你呢',
'古巴比伦王颁布了汉摩拉比法典刻在黑色的玄武岩距今已经三千七百多年你在橱窗前凝视碑文的字眼',
]
corpora_documents = []
# 分词处理
for item_text in raw_documents:
item_seg = list(jieba.cut(item_text))
corpora_documents.append(item_seg)
# 生成词典
dictionary = corpora.Dictionary(corpora_documents)
# 生成每篇文档对应的词袋向量 => list of (token_id, token_count)
corpus = [dictionary.doc2bow(text) for text in corpora_documents]
#保存生成的词袋向量
corpora.MmCorpus.serialize('corpus.txt',corpus)
# 根据corpus生成对应的tf-idf模型
tfidf_model = models.TfidfModel(corpus)
# 生成对应的统计量list of (token_id, token_tfidf)
corpus_tfidf = tfidf_model[corpus]
# 使用LSI模型进行相似度计算
lsi = models.LsiModel(corpus_tfidf,id2word=dictionary, num_topics=20)
corpus_lsi = lsi[corpus_tfidf]
# 获取最重要的topic;num_topics选取的topic个数，num_words每个topic包含的单词个数
print(lsi.show_topics(num_topics=3, num_words=4))
similarity_lsi = similarities.Similarity('Similarity-LSI-index', corpus_lsi, num_features=400, num_best=2)
test_data = '压抑远古流窜的蛮荒暗号'
test_cut_raw = list(jieba.cut(test_data)) # 1.分词
test_corpus = dictionary.doc2bow(test_cut_raw) # 2.转换成bow向量
test_corpus_tfidf = tfidf_model[test_corpus] # 3.计算tfidf值
test_corpus_lsi = lsi[test_corpus_tfidf] # 4.计算lsi空间中的向量表示
"""
# 更新LSI的值
# lsi.add_documents(test_corpus_lsi_3)
"""
print(similarity_lsi[test_corpus_lsi])
LDA模型
# -*- coding: UTF-8 -*-
from gensim import corpora, similarities, models
import jieba
# 原生语料
raw_documents = [
'钟逆时钟而绕 恶物狰狞的倾巢 我谦卑安静的于城堡下的晚祷 压抑远古流窜的蛮荒暗号 而管风琴键高傲的说 那只是在徒劳 傲傲傲傲傲 我的乐器在环绕',
'天凉了 雨下了 你走了 清楚了 我爱的 遗失了 落叶飘在湖面上睡着了 想要放 放不掉 泪在飘 你看看 你看看不到 我假装过去不重要 却发现自己办不到',
'繁华声 遁入空门 折煞了世人 梦偏冷 辗转一生 情债又几本 如你默认 生死枯等 枯等一圈 又一圈的年轮 浮图塔 断了几层 断了谁的魂 痛直奔 一盏残灯 倾塌的山门',
'好久不见 你还好吗 你的小狗 长大了吗 我的围巾 还围着吗 我的相片 都丢了吧 我剪不到后面头发 这个借口还不错吧哎哟不错一把剪刀一堆废话 还不是想求求你回来吧',
'街灯下的橱窗 有一种落寞的温暖 吐气在玻璃上 画着你的模样 开着车漫无目的的转弯 不知要去哪个地方',
'起落架离开地上 空姐亲切的讲 请我打开遮阳板 将安全带系上 接着问是否用餐 需不需要毛毯 而我沉睡在客舱 梦境在我正上方',
'地上断了翅的蝶 雾散之后的满月 原来爱 跟心碎 都可以很 细节 听夜风绕过几条街 秋天瘦了满地的落叶 于是又一整夜',
'妈妈说很多事别太计较 只是使命感找到了我 我睡不着 如果说 骂人要有点技巧 我会加点旋律 你会觉得超好',
'你的绘画凌乱着 在这个时刻我想起喷泉旁的白鸽 甜蜜散落了 情绪莫名的拉扯 我还爱你呢',
'古巴比伦王颁布了汉摩拉比法典刻在黑色的玄武岩距今已经三千七百多年你在橱窗前凝视碑文的字眼',
]
corpora_documents = []
# 分词处理
for item_text in raw_documents:
item_seg = list(jieba.cut(item_text))
corpora_documents.append(item_seg)
# 生成词典
dictionary = corpora.Dictionary(corpora_documents)
# 生成每篇文档对应的词袋向量 => list of (token_id, token_count)
corpus = [dictionary.doc2bow(text) for text in corpora_documents]
#保存生成的词袋向量
corpora.MmCorpus.serialize('corpus.txt',corpus)
# 根据corpus生成对应的tf-idf模型
tfidf_model = models.TfidfModel(corpus)
# 生成对应的统计量list of (token_id, token_tfidf)
corpus_tfidf = tfidf_model[corpus]
# 使用LDA模型进行相似度计算
lda = models.LdaModel(corpus_tfidf,id2word=dictionary, num_topics=10)
corpus_lda = lda[corpus_tfidf]
# 获取最重要的topic;num_topics选取的topic个数，num_words每个topic包含的单词个数
print(lda.show_topics(num_topics=3, num_words=4))
similarity_lda = similarities.Similarity('Similarity-LDA-index', corpus_lda, num_features=400, num_best=2)
test_data = '开着车漫无目的的转弯'
test_cut_raw = list(jieba.cut(test_data)) # 1.分词
test_corpus = dictionary.doc2bow(test_cut_raw) # 2.转换成bow向量
test_corpus_tfidf = tfidf_model[test_corpus] # 3.计算tfidf值
test_corpus_lda = lda[test_corpus_tfidf] # 4.计算lda空间中的向量表示
"""
# 更新LDA的值
# lda.add_documents(test_corpus_lda)
"""
print(similarity_lda[test_corpus_lda])