Python爬虫之Scrapy框架系列(12)——实战ZH小说的爬取来深入学习CrawlSpider

目录:

  • 1. CrawlSpider的引入:
    • (1)首先:观察之前创建spider爬虫文件时
    • (2)然后:通过命令scrapy genspider获取帮助:
    • (3)最后:使用模板crawl创建一个爬虫文件:
  • 2.CrawlSpider的正式讲解
    • 2.1 我们通过爬取ZH小说来深入了解它!
      • 规划我们的目标:
    • 2.2 先获取目标URL第一页的书籍信息!!!
      • ①第一步:通过解析start_urls的响应,获取所有书籍URL
      • ②第二步:通过解析书籍URL获取到的响应,获取以下数据:
      • ③第三步:通过解析书籍URL获取的响应里解析得到的每个小说章节列表页的所有URL,并发送请求获得响应:
      • ④第四步:通过解析对应

你可能感兴趣的:(Python全栈系列教程,Scrapy框架从入门到实战,python,爬虫,scrapy,crawlspider,项目实战)