PYTHON3.6对中文文本分词、去停用词以及词频统计

一开始设想在相似度计算中针对于《三生三世十里桃花》和《桃花债》之间的相似度计算，但是中途突然有人工智能的阅读报告需要写。

突然脑洞想做个词频统计看看《新一代人工智能规划》中的词频什么的。

用的工具是PYTHON里面的中文JIEBA分词工具。

中文文本分词中先参考了官方给出的示例，官方给出的示例主要是对一条文本进行全分词和精确分词。

import jieba
seg_list = jieba.cut("我来到北京清华大学,感到非常开心", cut_all=True)
print("Full Mode:"+"/".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学，感到非常开心", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("我来到北京清华大学，感到非常开心")
print("/ ".join(seg_list))  # 默认精确模式

seg_list = jieba.cut_for_search("烟花从正面看，还是从侧面看呢？")   # 搜索引擎模式
print("/ ".join(seg_list))

得到的结果如下：

可以注意到全模式会对已经分词出来的词再进行分词，一般情况下使用精确模式（个人感觉）。

中文文本的预处理过程可以分为分词->去停用词（包含空格、回车、标点符号等都算作停用词）->词频统计

在没有仔细了解的情况下，我误以为结巴分词里面含有停用词表，然后查了一下资料发现根本就不是这个样子：（

在网上找了一下去停用词的方法，发现是把分词的结果与停用词表进行比较，后进行删除。

在相关领域哈工大的停用词表比较有名的样子。所以选择了哈工大扩展停用词表。

上图中截出了部分特殊的标点符号，个人认为在实际应用的情况中可以有选择性地进行增加或删除。

程序中的编写方法是，在分词的过程中就比较停用词，如果不在停用词表中就写入分词结果中，否则就跳过。

在完成操作后把str结果写入目标文件中，再读取删除好停用词的文件后进行wordcount操作。使用到了dict字典类型来生成结果。

from collections import Counter
import jieba

# jieba.load_userdict('userdict.txt')
# 创建停用词list
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r').readlines()]
    return stopwords


# 对句子进行分词
def seg_sentence(sentence):
    sentence_seged = jieba.cut(sentence.strip())
    stopwords = stopwordslist('filename')  # 这里加载停用词的路径
    outstr = ''
    for word in sentence_seged:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    return outstr


inputs = open('filename', 'r') #加载要处理的文件的路径
outputs = open('filename', 'w') #加载处理后的文件路径
for line in inputs:
    line_seg = seg_sentence(line)  # 这里的返回值是字符串
    outputs.write(line_seg)
outputs.close()
inputs.close()
# WordCount
with open('filename', 'r') as fr: #读入已经去除停用词的文件
    data = jieba.cut(fr.read())
data = dict(Counter(data))

with open('filename', 'w') as fw: #读入存储wordcount的文件路径
    for k,v in data.items():
        fw.write('%s,%d\n' % (k, v))

后来和实验室的大哥讨论了一下，使用with open比使用for可能更好一些，因为for循环完成之后还需要关闭文件：）with open就更加方便。

PYTHON果然很方便啊，下面随便贴一下得出来的结果，酷的不行。同时需要注意到的是PYTHON2.7和PYTHON3.6还是有一些区别的，这里我用到的是PYTHON3.6，使用2.7的朋友们可能需要去参考别的资料啦。

还有需要注意的是PYTHON对于空格之类的要求近乎变态，详细的还不太了解，需要继续了解一下。

这里是处理之前的文件：

经过去停用词后所得到的文件：

最后所得到的wordcount文件，格式是（词，出现的频数）：

下一节大概会介绍简单粗暴的词云生成方法。