python 小说数据挖掘_python 数据挖掘篇四 小说数据挖掘实例

python 数据挖掘篇四 小说数据挖掘实例

Python 安装 python 学习 一 python 语法,及变量类型 python 学习 二 爬一个图片网站上 python 学习 二 02 爬一个图片网站,获得主链接网址,并保存 python 学习 二 03 爬一个图片网站 - 获得所有分页网址 python 学习 二 04 爬一个图片网站 - 解析文件,获得所有图片链接 python 学习 二 05 爬一个图片网站 - 下载图片链接 python 学习 二 06 爬一个图片网站 - 多线程方式下载 python 学习 三 01 再爬一个网站,几行代码,搞定分类类别 python 学习 三 02 再爬一个网站,获得所有分页 python 学习 三 03 再爬一个网站,根据分页,下载图片 python 学习 三 04 图片爬虫工程 - 组织框架 Python 爬虫 上篇 Python 爬虫 下篇 python 数据挖掘篇 一 结巴分词 python 数据挖掘篇 二 词云统计 python 数据挖掘篇 三 gensim 使用 python 数据挖掘篇四 小说数据挖掘实例 第四章 小说数据挖掘实例 搜索引擎 --- 给定文字,搜索书中与之相近的文字

示例,做一个书本的搜索引擎,输入以句话,输出与这句话最相近的段落

分三个阶段

1, 预处理阶段

2, 加载预处理好的字典,语料,模型,索引阶段

3, 查询阶段

预处理阶段:

加载阶段

查询阶段

Word2Vec 模型

这个模型也很有意思,可以查找与某个词相近,相反,推理关系.

总结:

之所以研究 gensim,是想做一个古典小说搜索引擎,和小说数据分析工具.打算将网站 www.gudianxiaoshuo.com 打造成古典小说搜索,知识挖掘的网站.

使用红楼梦做为分析对象,实现了搜索分析功能,但是也发现将预处理的信息保存到本地后,占用空间还是很大的,尤其是 lsi 语料竟然 100M,不知道还有没有更好的方法.

项目地址:

https://github.com/gudianxiaoshuo

来源: http://www.jianshu.com/p/32477930b006