Scrapy爬虫简介

Spider

Spider是所有爬虫的基类，所有的爬虫必须继承该类或其子类，用来发送请求及解析网页

爬虫执行流程

1、调用start_requests()方法发送请求，并指定响应的回调函数，默认为parse
2、在parse中解析响应，从网页中提取数据
3、将提取的数据存入文件或者数据库

爬虫的主要属性与方法

name：爬虫的名字，必须唯一
allowed_domains：可选字段，允许爬取的域名
start_urls：爬虫开始爬取的url列表
custom_settings:可以用来覆盖默认设置
start_requests():发送请求的方法，必须返回一个可迭代对象
parse(response)：响应默认的回调方法,必须返回一个可迭代对象

自定义爬虫示例

# 简化写法：使用start_urls
import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield {"title": h3}

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

# 完整写法：使用start_requests()
import scrapy
from myproject.items import MyItem  # 自定义Item用来封装数据

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']

    def start_requests(self):
        yield scrapy.Request('http://www.example.com/1.html', self.parse)
        yield scrapy.Request('http://www.example.com/2.html', self.parse)
        yield scrapy.Request('http://www.example.com/3.html', self.parse)

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

Spider arguments

爬虫参数可以在使用crawl命令的时候，使用-a指定参数，例如：

scrapy crawl myspider -a category=electronics

爬虫的__init__方法接收参数并把该参数当作属性，所以在其它方法中可以使用self.category获取数据

其它常用Spiders

CrawlSpider：可以自定义爬取规则
XMLFeedSpider：主要用来解析XML文件
CSVFeedSpider：主要用来解析CSV文件
SitemapSpider：Sitemap爬虫