Python 数据挖掘学习 一 结巴分词

近期,想对古典小说进行索引,和知识挖掘,所以研究了下python数据挖掘方面的知识


Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

python学习 三 02 再爬一个网站,获得所有分页

python学习 三 03 再爬一个网站,根据分页,下载图片

python学习 三 04 图片爬虫工程-组织框架

Python 爬虫 上篇

Python 爬虫 下篇


python 数据挖掘篇 一 结巴分词

python 数据挖掘篇 二 词云统计

python 数据挖掘篇 三 gensim 使用

python 数据挖掘篇四 小说数据挖掘实例




一 结巴分词

github地址:https://github.com/fxsjy/jieba

"结巴"中文分词:做最好的 Python 中文分词组件

还记得当时想用C++,实现分词,资料那个难找,调试那个麻烦,BUG那个多,说多了都是泪,开始入手python 数据挖掘,看看这个能简单不。

安装

Python 数据挖掘学习 一 结巴分词_第1张图片

这种效率比c++安装分词库 方便多了。

使用

词性标注

Python 数据挖掘学习 一 结巴分词_第2张图片

Python 数据挖掘学习 一 结巴分词_第3张图片

常用的一些符号及词性的对应关系为:a:形容词c:连词d:副词e:叹词f:方位词i:成语m:数词n:名词nr:人名ns:地名nt:机构团体nz:其他专有名词p:介词r:代词t:时间u:助词v:动词vn:名动词w:标点符号un:未知词语

更详细资料 可以搜索 计算所汉语词性标记集

一个自定义字典的例子:

Python 数据挖掘学习 一 结巴分词_第4张图片

注意要用:UTF-8格式保存

Python 数据挖掘学习 一 结巴分词_第5张图片

Python 数据挖掘学习 一 结巴分词_第6张图片

基本用法

1、 基本分词

Python 数据挖掘学习 一 结巴分词_第7张图片

2、 根据词性属性分词

创建字典

python 数据挖掘篇 一 结巴分词

UTF-8格式保存

Python 数据挖掘学习 一 结巴分词_第8张图片

3、 提取关键字

Python 数据挖掘学习 一 结巴分词_第9张图片

python 数据挖掘篇 一 结巴分词

4、 返回词语位置

Python 数据挖掘学习 一 结巴分词_第10张图片

Python 数据挖掘学习 一 结巴分词_第11张图片

你可能感兴趣的:(Python)