Scrapy 1.3.0 使用简介

scrapy 1.3.0  python 2.7

创建一个项目：

Before you startscraping, you will have to set up a new Scrapy project. Enter a directory whereyou’d like to store your code and run:

scrapy startproject tutorial

然后就会得到一系列文件：

第一个爬虫

import scrapy

class QuotesSpider(scrapy.Spider):

    name ="quotes"

    def start_requests(self):

        urls = [

            'Quotes to Scrape',

            'Quotes to Scrape',

        ]

        for url in urls:

            yield scrapy.Request(url=url,callback=self.parse)

    def parse(self,response):

        page =response.url.split("/")[-2]

        filename = 'quotes-%s.html' % page

        with open(filename, 'wb') as f:

            f.write(response.body)

        self.log('Saved file %s' % filename)

自定义的QuotesSpider类继承了scrapy.Spider类，并且有三个属性：

1. name：用来识别爬虫，必须唯一
2. start_requests()：必须返回一个请求连接的可迭代的对象（一个请求的生成器或者列表）
3. parse()：被调用，用来处理服务器的响应，response 参数是TextResponse 的实例，保存整个网页用来被更有用的函数处理。

运行爬虫：

scrapy crawl quotes

结果：

刚刚的运行过程：

start_requests方法返回了scrapy的请求清单（scrapy.Request objects），

一旦接收到请求，scrapy会初始化Response对象，并且调用相关方法（例子中用的是parse方法）

将response传递给它。

 start_requests简介：

用urls生成请求列表的start_requests()方法，可以用写了一系列的URLS的start_urls属性代替，

这个列表将会被默认的接口实现start_requests()，来初始化spider的请求。

import scrapy

class QuotesSpider(scrapy.Spider):

    name = "quotes"

    start_urls =[

        'Quotes to Scrape',

        'Quotes to Scrape',

    ]

    def parse(self, response):

        page =response.url.split("/")[-2]

        filename = 'quotes-%s.html' % page

        with open(filename, 'wb') as f:

            f.write(response.body)

parse函数没有显式调用，因为在scrapy中parse是默认的回调方法

抽取数据

scrapy最好用的学习抽取数据的方法是选择器来使用scrapy shell。

Scrapy shell — Scrapy 2.11.0 documentation

Scrapy shell会自动用下载的网页创建一些实用对象，例如：

Response object andthe Selector objects (for both HTML and XML content)

使用scrapy shell测试数据

当抽取数据为空时，可以用浏览器查看请求的网页

Finally you hitCtrl-D (or Ctrl-Z in Windows) to exit the shell and resume the crawling:

用css选择器来抽取数据

scrapy shell "Quotes to Scrape"

使用 response.css('title')抽取数据会得到一张叫“ SelectorList”的列表。SelectorList代表 Selector对象列表，这个对象包装了 XML/HTML的元素，这些元素可以因一部的抽取数据。

 ::text 用在CSS查询中, 表示我们只想抽取