[python爬虫]Scrapy入门使用教程

开发环境

python: 3.7
系统: windows10
编辑器: PyCharm Community

文档地址

• Scrapy官方文档：http://doc.scrapy.org/en/latest
• Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

Demo地址

https://gitee.com/fengzxia/python_crawler_learning/tree/master/scrapy/qiushibaike

安装

通过 pip install scrapy 即可快速安装

注意：

1. 在ubuntu上安装scrapy之前，需要先执行下边的命令安装依赖：

   sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
   

   然后再通过 pip install scrapy 安装
2. 如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32

快速入门

1. 创建项目

要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：

scrapy startproject [项目名称]

2. 目录结构介绍

以下介绍主要文件的作用

1. items.py: 用来存放爬虫爬取下来数据的模型
2. middlewares.py: 用来存放各种中间件的文件
3. pipelines.py: 用来将items的模型存储到本地磁盘中
4. settings.py: 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）
5. scrapy.cfg: 项目的配置文件
6. spiders包: 以后所有的爬虫，都是存放到这个里面

3. 使用Scrapy框架爬取糗事百科

1. 使用命令创建一个爬虫
   scrapy startproject qsbk
   创建了一个名叫qsbk的爬虫

2. 修改settings.py代码
   在做爬虫之前，一定要记得修改setting.py中的设置，下边有两个地方是强烈建议设置的
   1. ROBOTSTXT_OBEY: 设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。
   2. USER_AGENT: 设置请求头，将爬虫伪装成正常请求，不设置直接请求会报错，错误信息如下

   2019-07-11 16:08:58 [scrapy.core.scraper] ERROR: Error downloading 
   Traceback (most recent call last):
     File "C:\Users\fengz\AppData\Local\Programs\Python\Python37\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
       defer.returnValue((yield download_func(request=request,spider=spider)))
   twisted.web._newclient.ResponseNeverReceived: []
   

4. 完整的爬虫代码

1. items.py 部分代码

   import scrapy
   
   class QsbkItem(scrapy.Item):
       author = scrapy.Field()
       content = scrapy.Field()
   

2. spiders包下新建一个爬虫脚本 qsbk_spider.py 代码如下

   import scrapy
   from qsbk.items import QsbkItem
   
   class QsbkSpider(scrapy.Spider):
       name = "qsbk"
       allowed_domains = ['qiushibaike.com']
       start_urls = ['https://www.qiushibaike.com/text/1']
   
       def parse(self, response):
           outerbox = response.xpath("//div[@id='content-left']/div")
           items = []
           for box in outerbox:
               author = str(box.xpath("div[@class='author clearfix']/a/h2/text()").extract_first()).strip()
               content = str(box.xpath("a/div[@class='content']/span/text()").extract_first()).strip()
               item = QsbkItem()
               item['author'] = author
               item['content'] = content
               items.append(item)
           return items
   

   这里也可以通过输入 scrapy genspider [爬虫名字] [域名] 在 spiders包下来生成爬虫相关代码：

   1. 通过命令生成爬虫代码

      scrapy genspider qsbk www.qiushibaike.com
      

   2. 生成的代码如下，然后再稍作修改

      import scrapy
      
      class Qsbk Spider(scrapy.Spider):
          name = 'qsbk '
          allowed_domains = ['www.qiushibaike.com']
          start_urls = ['http://www.qiushibaike.com/']
      
          def parse(self, response):
              pass
      

   • name: 这个爬虫的名字，名字必须是唯一的

   • allow_domains: 允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略

   • start_urls: 爬虫从这个变量中的url开始

   • parse方法: 引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url

   • 这里使用的是xpath方式提取的数据

   • extract_first(): 获取通过xpath提取的第一条数据，还有 extract()、getall()、get()写法

     方法名	描述
     extract()	返回的是一个list，里面包含了多个string， 如果只有一个string，则返回[‘我很孤独’]这样的形式
     extract_first()	返回的是string，list里面第一个string
     getall()	同extract()一样返回的是list
     get()	同extract_first()一样返回的是string

   • strip(): 去除字符串中的空格

   • str(): 将内容转为 字符串 类型，因为有些时候 extract_first() 返回的类型不匹配，不能使用strip()

   Scrapy为QsbkSpider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
   Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

   提取数据

   Selectors选择器简介

   从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档

   这里给出XPath表达式的例子及对应的含义:

   • /html/head/title: 选择HTML文档中 标签内的