python爬取晋江小说排行榜_【含代码】Python爬虫实战:爬取全站小说排行榜

作者:黑黄条纹的野喵

简书专栏:https://www.jianshu.com/u/7cabd1cbad0d

喜欢看小说的骚年们都知道,总是有一些小说让人耳目一新,不管是仙侠还是玄幻,前面更了几十章就成功圈了一大波粉丝,成功攀上飙升榜,热门榜等各种榜,扔几个栗子出来:

新笔趣阁是广大书友最值得收藏的网络小说阅读网,网站收录了当前......我就不打广告了(其他满足下文条件的网站也行,之前已经有做过简单爬取章节的先例了,但效果不太理想,有很多不需要的成分被留下了,来链接:http://python.jobbole.com/88560/。我们本文就爬取这个网站的上千本小说。重点在和大家一起分享一些爬虫的思路和一些很常遇到的坑。

本文的行文脉络:

1、先构造一个单本的小爬虫练练手;

2、简要分享一下安装MongoBD数据库时的几个易错问题;

3、运用Scrapy框架爬取新笔趣阁全站排行榜。

一、爬取单本小说

爬取该网站相对来讲还是很容易的,打开编辑器(推荐使用PyCharm࿰

你可能感兴趣的:(python爬取晋江小说排行榜)