编程环境：
anaconda + python3.7
完整代码及数据已经更新至GitHub,欢迎fork~GitHub链接
声明：创作不易，未经授权不得复制转载
statement:No reprinting without authorization
内容概述：
- 预处理文本数据集，并且得到每个文本的VSM表示。
- 增加查询功能：根据用户输入的单词或一句话或一段话，对其预处理后在已有的向量空间模型中进行相似度查询（类似于搜索引擎的网页搜索），然后返回最为相似的文档。
一、 背景知识介绍
查阅相关VSM的资料，在此感谢以下网页作者所提供的内容：
http://allmybrain.com/2007/10/19/similarity-of-texts-the-vector-space-model-with-python/
http://blog.josephwilk.net/projects/building-a-vector-space-search-engine-in-python.html/
https://blog.csdn.net/quicmous/article/details/71263844/
二、Python代码实现过程中所遇问题
1.所有文档读取的实现，探索后使用os模块内的函数能高效完成，如下所示：
# 测试文档路径
Newspath=(r"C:\Users\93568\Documents\GitHub\DataMining\Homework1VSM\20news-18828")
#小规模测试文档路径
#Newspath=(r"C:\Users\93568\Documents\GitHub\0123")
folders=[f for f in os.listdir(Newspath)]
print(folders)
files=[]
for folderName in folders:
folderPath=os.path.join(Newspath, folderName)
files.append([f for f in os.listdir(folderPath)])
document_filenames={}
i=0
for fo in range(len(folders)):
for fi in files[fo] :
document_filenames.update({i:os.path.join(Newspath,os.path.join(folders[fo],fi))})
i+=1
2.Gbk和uincode编码传换问题：
改变编码方式，忽略错误后，修改代码如下后解决：
f = open(Newspath,'r',encoding='utf-8',errors='ignore')
fp=open(r"**** \GitHub\dictionary.txt",'w',encoding='utf-8')
3.文档预处理takenize相关问题：
使用lower()、split()以及strip(characters)后发现效果不理想，创建得词典太大而且杂乱，打印到txt文档后居然有3M多，于是决定使用正则化的re.sub(),去掉除字母外的所有符号字符（包括数字），得到纯单词，测试后得到的词典效果大为好转,如下:
4.向量权重取值计算，TF/IDF相关方法代码实现：
计算词频(tf)：
def initialize_terms_and_postings():
global dictionary, postings
for id in document_filenames:
f = open(document_filenames[id],'r',encoding='utf-8',errors='ignore')
document = f.read()
f.close()
terms = tokenize(document)
d_tnum=len(terms)#预处理后每篇文档的总词数
#print(d_tnum)
unique_terms = set(terms)
dictionary = dictionary.union(unique_terms)#并入总词典
for term in unique_terms:
c_term=terms.count(term)
#postings[term][id] = (terms.count(term))/d_tnum
if c_term>0:
postings[term][id]=1+math.log(c_term)
else:
postings[term][id]=0
# the value is the frequency of term in the document
计算df及idf:
def initialize_document_frequencies():
global document_frequency
for term in dictionary:
document_frequency[term] = len(postings[term])
def inverse_document_frequency(term):
if term in dictionary:
return math.log(N/document_frequency[term],2)
else:
return 0.0
计算权重：
def imp(term,id):
if id in postings[term]:
return postings[term][id]*inverse_document_frequency(term)
else:
return 0.0
三、实现上关键词--文档检索应用：
查询功能：
根据用户输入的单词或一句话或一段话，对其预处理后在已有的向量空间模型中进行相似度查询（类似于搜索引擎的网页搜索），然后返回最为相似的文档，根据相似值降序排列,相关核心代码如下：
def do_search():
query = tokenize(input("Search query >> "))
if query == []:
sys.exit()
# find document ids containing all query terms. Works by
# intersecting the posting lists for all query terms.
relevant_document_ids = intersection(
[set(postings[term].keys()) for term in query])
if not relevant_document_ids:
print ("No documents matched all query terms.")
else:
scores = sorted([(id,similarity(query,id))
for id in relevant_document_ids],
key=lambda x: x[1],
reverse=True)
print ("Score: filename")
for (id,score) in scores:
print (str(score)+": "+document_filenames[id])
小样本数据测试结果如下：
四、更新后的版本改进
1、 改进TF的算法
先前版本使用如下公式：
改进后采用如下公式：分子是该词在文件中的出现次数
分母是在文件中所有字词的出现次数之和
2、改进单词的预处理，使用textblob工具包：
而后打印出整个词典如下，整体比之前小了很多，875k728k,而且由于进行了单复数和动词形式的规整，更加规范了一些；最后对整个词典还进行调整优化，将尾部词频较少的单词从词典中删除：
五、小结：
向量空间模型基本实现，并且能在模型基础上进行一些基本的应用测试，但由于对于文档的处理完全都是由自己编写的函数完成，入对单词的单复数、形式转换等未能处理好，还有对于过于低频和高频的用处不大的单词未处理，都有待优化。
声明：未经授权不得转载
statement:No reprinting without authorization