简化理解 Scrapy 爬虫框架

mywang88

2019-08-14

简介

一年前开始接触 Python 和网络爬虫技术。

彼时由于基础较为薄弱，在使用 Scrapy 框架时产生了不少疑惑。于是果断放弃，改用 Requests 扩展库，打算在网络爬虫开发的实践中，逐步明白框架的设计意义。

期间补充了不少的 Python 语法知识，以及程序设计思想。

虽然缓慢，但也算有进步，于是决定水一贴。

基于对 Scrapy 框架的初步理解，将其进行了极大简化，只强调核心逻辑。

代码

from requests import Request, Session

class Engine:
    @classmethod
    def run(cls):
        Scheduler.pool.extend(Spider().start())
        while True:
            req = Scheduler.pool.pop()
            res = Downloader.download(req)
            for p in req.callback(res):
                (Pipeline, Scheduler)[isinstance(p, Request)].pool.append(p)

class Spider:
    def start(self):
        req = Request('GET', 'https://www.baidu.com')
        req.callback = self.parse
        yield req
        
    @staticmethod
    def parse(res):
        item = Item()
        item.html = res.text
        yield item

class Scheduler:
    pool = []

class Pipeline:
    pool = []

class Downloader:
    @classmethod
    def download(cls, req):
        return Session().send(req.prepare())

class Item:
    pass

if __name__ == '__main__':
    Engine.run()

补充

示例主要体现了 Engine 和 Spider 的逻辑，尤其是生成器（Generator）的运用。

示例忽略了包括但不限于：

• 爬虫中间件和下载中间件等部件。
• Pipeline 的存储功能。
• 多线程逻辑。
• Scheduler 的队列管理逻辑。
• 各种异常的处理逻辑
• Request 类的创建（继承或代理等封装形式）