用Python免费下载小说并记录章节数量以及下载时间

人生苦短,我用Python
用Python免费下载小说并记录章节数量以及下载时间_第1张图片
最近再看Python数据处理,看的有点头疼,想着换个脑子,便写了这个在大神看来比较简易的小说下载的爬虫,输入小说的名字就可以下载小说,并显示小说的章节数量以及下载完成的时间,期间也是来回修改了几次,本来还想加入多线程的,实在有点搞,后面有机会再说。 说到这里,估计很多小伙伴都在叫了,废话这么多,怎么操作啊,赶紧上干货!别着急,干货这就来了。 首先我们这里会用到两个库,requests以及BeautifulSoup,三个模块os , time , re ,相信这几个知识点,了解爬虫的小伙伴都很熟悉了,那我们就开始了。

我们来打开小说网址,按F12查看,首先当然是输入小说名字,我们这里就以 纯阳武神 为例,小说首页网址为https://www.37zw.la,当我们搜索纯阳武神小说后,网页地址为https://www.37zw.la/s/so.php?type=articlename&s=%B4%BF%D1%F4%CE%E4%C9%F1,对比这两个地址可以发现,首页地址后面多出了一些参数,而我们小说名字的参数就是最后面的s

你可能感兴趣的:(爬虫,下载,python,爬虫)