python 数据挖掘篇四 小说数据挖掘实例

Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

python学习 三 02 再爬一个网站,获得所有分页

python学习 三 03 再爬一个网站,根据分页,下载图片

python学习 三 04 图片爬虫工程-组织框架

Python 爬虫 上篇

Python 爬虫 下篇

python 数据挖掘篇 一 结巴分词

python 数据挖掘篇 二 词云统计

python 数据挖掘篇 三 gensim 使用

python 数据挖掘篇四 小说数据挖掘实例

第四章 小说数据挖掘实例

搜索引擎---给定文字,搜索书中与之相近的文字

示例,做一个书本的搜索引擎,输入以句话,输出与这句话最相近的段落

分三个阶段

1、 预处理阶段

2、 加载预处理好的字典、语料、模型、索引阶段

3、 查询阶段

预处理阶段:

加载阶段

查询阶段

Word2Vec 模型

这个模型也很有意思,可以查找与某个词相近、相反、推理关系。

总结:

之所以研究gensim,是想做一个古典小说搜索引擎、和小说数据分析工具。打算将网站www.gudianxiaoshuo.com打造成古典小说搜索、知识挖掘的网站。

使用红楼梦做为分析对象,实现了搜索分析功能,但是也发现将预处理的信息保存到本地后,占用空间还是很大的,尤其是lsi语料竟然100M,不知道还有没有更好的方法。

项目地址:

https://github.com/gudianxiaoshuo

你可能感兴趣的:(python 数据挖掘篇四 小说数据挖掘实例)