简单爬虫——抓取诛仙小说

最近腾讯在播放我最喜欢的玄幻小说之一《诛仙》的动漫，我也想重读一下诛仙，所以想把诛仙下载下来，现在微信读书平台很不错，不过上面的热门小说很多要收费，我就想着自己抓下来读一下。说干就干，我百度了一下，找到了一个网站可以在线阅读诛仙，好了，这个就是我的目标了。
https://www.93xscc.com/zhuxian/

诛仙

由于每一章都有一个单独的链接，所以我首先要获取每一章链接和标题，打开F12查看网页源代码，可以很清晰的看到源代码，

目录

OK，那下面我只要把这些链接抓下来存在一个列表中，循环遍历这个列表，去获取文章内容就可以了。
我们发现每章的链接和标题都是在

下面的
• 节点中的，那我首先要获取到这个大块的内容，我通过正则表达式
  '全文阅读.?
  (.?)
  '
  获取到“全文阅读”之后的
  块中的内容，也就是那一堆的
  • 节点，之后通过正则表达式
    
    获取到每一章的链接地址和标题。代码如下：

    import re
    
    url_home = 'https://www.93xscc.com/zhuxian/'
    page = requests.get(url_home).content.decode()
    
    # 获取目录
    mulu = re.search('全文阅读.*?
    (.*?)
    ', page, re.S).group(1)
    link_list = re.findall('', mulu, re.S)
    link_list
    

    每一章的链接和标题
    
    

    可以看到，获取了每一章的链接信息和标题。
    接下来，我要根据这些链接去获取文章的正文。打开第一章的正文链接，查看正文的源代码：

    
    
    正文页面
    
    
    正文源代码

    可以看到，每一章开头都有一句话：“如果被/浏/览/器/强/制进入它们的阅/读/模/式了,阅读体/验极/差请退出转/码阅读.”，那我就用这句话来作为获取内容的起始标志，结尾节点是一个

for link in link_list:
    url = 'https://www.93xscc.com'+link[0]
    content = requests.get(url).content.decode()
    text = re.search('码阅读.*?
(.*?)

', content, re.S).group(1) #print(text.replace("

","\n")) text = text.replace("

","\n") os.makedirs('诛仙', exist_ok=True) #如果没有“诛仙”文件夹，就创建一个，如果有，则什么都不做 with open(os.path.join('诛仙','诛仙.txt'),'a',encoding='utf-8') as f: f.write(link[1]+"\n"+text+"\n\n")

所以，我们可以构建一个正则表达式来获取正文的内容
码阅读.?

(.?)