scrapy爬虫技术快速入门

https://baijiahao.baidu.com/s?id=1621695863688073415&wfr=spider&for=pc

https://www.cnblogs.com/3wtoucan/p/scrapy-installation.html

traffic-health-data-spider

中国主要城市交通健康数据爬虫

使用Scrapy抓取交通健康数据

制作Scrapy爬虫一共需要四步

1.新建项目 ：新建一个新的爬虫项目

1.1创建目录amap_traffic_health

1.2创建项目scrapy startproject amap_traffic_health

1.3目录结构

|-amap_traffic_health

  |-scrapy.cfg

  |-amap_traffic_health

    |-__init__.py

    |-items.py

    |-middlewares.py

    |-pipelines.py

    |-settings.py

    |-spiders

        |-__init__.py

1.4文件功能

scrapy.cfg：配置文件

spiders：存放Spider文件

items.py：相当于一个容器，和字典较像

middlewares.py：定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现

pipelines.py:定义Item Pipeline的实现，实现数据的清洗，储存，验证。

settings.py：全局配置

2.明确目标 （编写items.py）：明确你想要抓取的目标

3.制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页

4.存储内容 （pipelines.py）：设计管道存储爬取内容