scrapy实现爬取全书网小说到Mysql数据库(附代码)

前言

本篇文章实现python的scrapy框架爬取全书网小说,scrapy框架的安装我在这里就不在赘述了,建议window用户使用anaconda安装,这里比较省心一些。运行环境python3(实际python2运行页没有太大问题)

一,项目的创建

在想要创建项目的目录内,打开cmd命令行,输出代码

scrapy startproject Fiction

然后进入项目内

cd Fiction

创建一个爬虫项目

scrapy genspider novel quanshuwang.com

完成后其项目目录是这样的

scrapy实现爬取全书网小说到Mysql数据库(附代码)_第1张图片

二,具体代码部分

代码我已经上传到了github仓库,地址:github(如果觉得不错,可以给一个star,谢谢)

三,具体完成后的数据库

scrapy实现爬取全书网小说到Mysql数据库(附代码)_第2张图片

scrapy实现爬取全书网小说到Mysql数据库(附代码)_第3张图片

四,总结

项目十分简单,适合scrapy的新手练习。

email:[email protected]





你可能感兴趣的:(爬虫)