Scrapy框架的使用

作者:李忠林

Github: https://github.com/Leezhonglin

Gitblog: https://leezhonglin.github.io/

本文仅用于学习探讨.

Scrapy框架的使用

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。

当您准备好开始您的项目后，您可以参考 入门教程 。

1. 如何安装scrapy

macos:

pip install  scrapy

安装完成后进入虚拟环境后.可以使用scarpy命令就能检查是否成功

(venv) lizhonglindeMacBook-Pro:qidianspider lizhonglin$ scrapy
Scrapy 1.5.0 - project: qidianspider
​
Usage:
  scrapy <command> [options] [args]
​
Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy
​
Use "scrapy  -h" to see more info about a command
(venv) lizhonglindeMacBook-Pro:qidianspider lizhonglin$ 
​

看到上面这样的结果就表示我们的scrapy已经成功安装了.接下来我们就可以来创建我们的项目了.

创建项目的命令是:

scrapy startproject  qidianspider

项目创建成功后有如下的内容:

qidianspider
    qidianspider
        scrapy.cfg
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spider
            __init__.py

这些文件的含义分别是:

• scrapy.py: 项目的配置文件

• qidianspider: 该项目的python模块

• qidianspider/items.py: 项目中的item文件

• qidianspider/middlewares.py:

• qidianspider/piplines.py:项目中处理数据行为.如:一般结构化的数据持久化

• qidianspider/settings.py:项目的设置文件

• qidianspider/spiders/: 放置spider代码的目录

2.创建第一个爬虫项目

有了这些我们就可以开始写我们的第一个爬虫了.

在spiders目录下面创建一个qidian.py的文件

​
import scrapy
from scrapy.selector import Selector
​
​
class qiDianSpider(scrapy.spiders.Spider):
    # 启动项目指定的name参数
    name = 'qidian'
    # 指定爬取的页面
    start_urls = {
        'https://www.qidian.com/',
    }
​
    def parse(self,response):
        #print(response)
        # 页面源码
        # print(response.body)
        res = Selector(response)
        # 获取对应的菜单名称
        menu_type =  res.xpath('//*[@id="classify-list"]/dl/dd/a/cite/span/i/text()').extract()
        # 获取对应的菜单连接
        menu_type_href = res.xpath('//*[@id="classify-list"]/dl/dd/a/@href').extract()
        # print(menu_type,menu_type_href)
        return items
​

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义以下三个属性:

• name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。

• start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

• parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

这样我们就成功的用scrapy写了第一个爬虫.

启动我们创建好的爬虫:

scrapy crawl qidian

我们能看见如下的输出:

省略很多行
....
2018-07-02 19:16:06 [scrapy.core.engine] INFO: Spider opened
2018-07-02 19:16:06 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-07-02 19:16:06 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-07-02 19:16:06 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.qidian.com/robots.txt> (referer: None)
2018-07-02 19:16:06 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.qidian.com/> (referer: None)
['玄幻', '奇幻', '武侠', '仙侠', '都市', '现实', '军事', '历史', '游戏', '体育', '科幻', '灵异', '女生网', '二次元'] ['/xuanhuan', '/qihuan', '/wuxia', '/xianxia', '/dushi', '/xianshi', '/junshi', '/lishi', '/youxi', '/tiyu', '/kehuan', '/lingyi', '//www.qdmm.com/', '/2cy']
2018-07-02 19:16:07 [scrapy.core.scraper] ERROR: Spider must return Request, BaseItem, dict or None, got 'list' in <GET https://www.qidian.com/>
2018-07-02 19:16:07 [scrapy.core.scraper] ERROR: Spider must return Request, BaseItem, dict or None, got 'list' in <GET https://www.qidian.com/>
2018-07-02 19:16:07 [scrapy.core.engine] INFO: Closing spider (finished)
2018-07-02 19:16:07 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
....
省略很多行

可以看到输出的log中包含定义在 start_urls 的初始URL，并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。

Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

3. 提取Item

Selectors选择器简介

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:

• /html/head/title: 选择HTML文档中 标签内的