Python数据预处理--Gensim构建语料词典
Gensim简介
- 开源第三方Python工具包，主要用于从原始的非结构化文本抽取语义主题。
- 支持语料处理、LSA、LDA、RP、TF-IDF、word2vec等主题模型
- 内存独立，可实现向量空间算法，支持主题建模的可扩展框架
- 核心：语料、稀疏向量和模型
Gensim构建语料词典
主要用到 corpora.Dictionary 方法构建一个特定的对象来储存语料数据。代码如下：
from gensim import corpora
'''创建数据集：单词列表postingList, 所属类别classVec'''
def loadDataSet():
# corpus参数样例数据如下：
corpus =[]
tiyu = ['姚明', '我来', '承担', '连败', '巨人', '宣言', '酷似', '当年', '麦蒂', '新浪', '体育讯', '北京', '时间', '消息', '休斯敦', '纪事报', '专栏', '记者', '乔纳森', '费根', '报道', '姚明', '渴望', '一场', '胜利', '当年', '队友', '麦蒂', '惯用', '句式']
yule = ['谢婷婷', '模特', '酬劳', '仅够', '生活', '风光', '背后', '惨遭', '拖薪', '新浪', '娱乐', '金融', '海啸', 'blog', '席卷', '全球', '模特儿', '酬劳', '被迫', '打折', '全职', 'Model', '谢婷婷', '业界', '工作量', '有增无减', '收入', '仅够', '糊口', '拖薪']
jioayu = ['名师', '解读', '四六级', '阅读', '真题', '技巧', '考前', '复习', '重点', '历年', '真题', '阅读', '听力', '完形', '提升', '空间', '天中', '题为', '主导', '考过', '六级', '四级', '题为', '主导', '真题', '告诉', '方向', '会考', '题材', '包括']
shizheng = ['美国', '军舰', '抵达', '越南', '联合', '军演', '中新社', '北京', '日电', '杨刚', '美国', '海军', '第七', '舰队', '三艘', '军舰', '抵达', '越南', '岘港', '为期', '七天', '美越', '南海', '联合', '军事训练', '拉开序幕', '美国', '海军', '官方网站', '消息']
corpus.append(tiyu)
corpus.append(yule)
corpus.append(jioayu)
corpus.append(shizheng)
classVec = ['体育','娱乐','教育','时政']
return corpus,classVec
# 构建语料词典
def gensim_Corpus(corpus=None):
# 1 词典
dictionary = corpora.Dictionary(corpus)
# 生成词袋
mycorpus = [dictionary.doc2bow(text) for text in corpus]
# print(dictionary)
print(mycorpus[0])
# 2 删除停用词和仅出现一次的词
once_ids = [tokenid for tokenid, docfreq in dictionary.dfs.items() if docfreq == 1]
print(once_ids)
dictionary.filter_tokens(once_ids) # 删除仅出现一次的词
print(dictionary)
# 消除id序列在删除词后产生的不连续的缺口
dictionary.compactify()
# 3.1 保存dict
savePath = r'../Files/mycorpus.dict'
dictionary.save(savePath) # 把字典保存起来，方便以后使用
# 打印字典
# for key,value in dictionary.items():
# print(key,value)
# 加载字典
mydict = corpora.Dictionary.load(savePath)
print(mydict)