如何通过python语言代码将飞卢小说网中的vip小说爬取出来（仅供学习）

飞卢小说阅读器是一款超级受欢迎的小说阅读软件，由于其极佳的性能，深受很多小说读者的喜爱。这款应用具有海量的小说资源，并且你将能够在这里找到市场上所有的爆火小说，并且全部都可以免费进行阅读。拥有非常全面的小说种类可以选择，让你轻松找到符合口味的小说。支持用户自己进行原创小说的发布，没有喜欢看的小说，可以尝试自己写写哦。在这里拥有超多的精品小说，还有很多由其他老书虫以及新人作者发布的原创小说，在这里你将能够享受到最为全面的小说资源。小编这次为大家带来的是该款软件的破解版本，用户将不再需要进行会员的充值就能够享受会员的特权哦，让你看书更轻松。
如果有免费版的飞卢小说阅读器，就不需要这样的操作了
【飞卢小说免费版下载地址】
1、一开始，我们要确定好所要爬取的内容有哪些，先定义一个item，如图所示。

2、紧接着，我们就要开始编写爬虫文件了：
（我们要先构造一个初始的url解析函数，得到飞卢小说网中小说分类请求，同时在本地生成一个存储文件的目录）；

3、接着定义具体模块的解析函数，支持分页的爬取；

4、然后再返回item给管道文件，如图所示；

5、然后再实现一个去重管道，这主要的目的是过滤掉重复的数据；

6、接着将数据存储到mysql的存储管道，此处也可选择其他种类数据库进行存储；

7、其实到了这一步，我们就已经可以通过这个程序进行爬取了，但需要注意的是，我们利用scrapy对某个网站进行了频繁而多次的访问请求之后，其会判定我们为爬虫，然后中断和我们的连接。
所以我们还需要使用动态代理重新发送请求，如下图所示代码。