Python爬虫学习之二

Scrapy学习

An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.

1. Scrapy简介：

Scrapy是一个开源的、能够快速、简单获取你所需网页数据的的框架，并且它具有良好的可扩展性。

首先，它是一个框架，大部分时候是作为爬虫架构来使用。它与BeautifulSoup，request不同，严格意义上来说后两者是一个用来解析HTML\XML的Python库，爬取工作仍然需要urllib或者其他的库来配合完成；而Scrapy提供了一整套网页爬取的架构，包括：爬取、下载，储存等功能。

下图很形象的说明了Scrapy的工作原理：

Scrapy

ScrapyEngine：位于 Scrapy/core/engine，作为整个框架的引擎，驱动Scheduler，Donwload，Spiders。

      class ExecutionEngine(object):
          def start(self):
              do something
          def schedule(self, request, spider):
              do something related to scheduler
          def download(self, request, spider):
              do something related to downloader
          def spider(self, request, spider):
              do something related to schedule
          other function

Scheduler：从start_urls依此获取url，交给Downloader下载，并且从Spiders中过去新的url(如果有的话)。

      class Scheduler(object):
          def open(self, spider)
               open spider
          def enqueue_request(self,request):
               do something
          def next_request(self)
               get next_request
          other function

Downloader：获取Scheduler里的url，从网络中获取url的内容，并将获取内容交给Spiders。

    class Downloader(object):
        def fetch(self, request, spider):
            fetching
        def download(self, slot, request, spider):
            download

Spiders：解析获取页面的内容，通过XPath，获得需要的内容，将这些内容存放到Item定义的Field中并交给Pipeline进一步处理。

    class yourSpider(Spider):
        name = "your spider name, unique"
        domain = "allowed domain"
        start_urls = ["https://www.target.com/",
                       other urls,
                     ]
        rules = [Rule(your rules)]
        def parse(self, response):
            do something

Item：Scrapy自定义的字典，规定你需要从网页中获取的内容。例如，你想要获得豆瓣排名前二十名的电影的名字、导演、评分，那么可以在Item中定义：

     from scrapy import Item, Field
     class DoubanItem(Item):
          title = Field()    
          movieInfo = Field()    
          star = Field()    
          quote = Field()

Pipeline：对Item中的数据做进一步处理，存入数据库or丢弃掉。

    class DoubanPipeline(object):
        def process_item(self, item, spider):
            do something

以上是一个完整的Scrapy爬虫框架，Scrapy已经为我们写好了前三部分(Engine，Scheduler，Downloader)，我们只需要自己写出Spiders，Item，Pipeline就好。

这里是scrapy的中文文档，如果我说的不清楚，大家可以去看官方文档。