安装及基础设置

全局安装scrapy

pip install scrapy

scrapy原理图

运行的流程图，很直观

图片中的数字标明了程序运行的基本过程以及几大主要模块，运行过程：
1，spider发起请求（请求可以经过中间件进行处理）
2，引擎收到请求后先交给调度器（scheduler），由调度器决定什么时候发起请求
3，调度器将请求交给引擎执行（以上两步都有程序自动管理，其实不用管）
4，引擎将请求交给下载器
5，下载器按照请求内容去对应的网址发起请求并返回响应（下载器发起请求和返回响应都可以经过中间件处理）
6，引擎收到响应后交给spider处理
7，spider根据响应内容可以做出再发出新请求，或是直接从响应中截取需要的内容，并包装成一个item返回给engine
8，item pipelines收到item，做数据整理，数据整形，保存到数据库等操作，还可以再发送请求，做新一轮的爬取

新建一个爬虫项目（以糗事百科为例，这个比较简单，反扒没那么厉害）

[scrapy startproject 项目名称]，新建爬虫项目

初始项目包含的文件（run.py,qsbk_spider.py这两个是后面添加的，等下说)

setting.py

scrapy的全局配置文件，可以设置请求时间间隔，请求headers等等，这里我们修改两个地方

ROBOTSTXT_OBEY = False #不遵守robots协议
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
}

修改默认的请求头部，不然容易会被反爬，这里可设置的东西有很多，可以根据文档自己查看

新建爬虫

在spiders文件夹内新建qsbk_spider.py文件

import scrapy

class QSBKSpider(scrapy.Spider):
    name = 'qsbk_spider'    #定义爬虫名字，很重要        
    allowed_domains = ['qiushibaike.com']     #爬虫的抓取的域名，未定义的不抓
    start_urls = ['https://www.qiushibaike.com/8hr/page/1/']  #爬虫的起始页，从哪个网址开始抓取
    #默认获取内容响应后的处理方法，对应原理图6、7步之间
    def parse(self, response): 
        pass

新建入口文件run.py

先把爬虫放到一遍，接着新建一个入口文件，方便我们在编辑器中（我一般用的vscode，pycharm类似）进行调试

from scrapy import cmdline
cmdline.execute(['scrapy','crawl','qsbk_spider']) #第三个参数就是刚刚新建的爬虫的name