scrapy.Spider中close方法的作用

在scrapy中，需要实现的爬虫类都需要继承scrapy.Spider类，其中的源码解析：

class Spider(object_ref):
    name = None #爬虫的名字，spider的名字定义了Scrapy如何定位(并初始化)spider
    custom_settings = None #当启动spider时,该设置将会覆盖项目级的相同设置.

    def __init__(self, name=None, **kwargs):
        # 如果爬虫没有名字，中断后续操作则报错
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, 'start_urls'):
            # python对象或类型通过内置成员__dict__来存储对象的属性和方法等信息
            self.start_urls = [] 

# 是Scrapy用来创建爬虫的类方法。
@classmethod
 def from_crawler(cls, crawler, *args, **kwargs):
    spider = cls(*args, **kwargs)
    spider._set_crawler(crawler)
    return spider

• 参数：
• crawler（Crawlerinstance） - 爬虫将绑定到的爬虫
• args（list） - 传递给init()方法的参数
• kwargs（dict） - 传递给init()方法的关键字参数

# 静态方法，当spider关闭时，该函数被调用。
@staticmethod
def close(spider, reason):
    closed = getattr(spider, 'closed', None)
    if callable(closed):
        return closed(reason)

从close的源码看出，如果需要在爬虫结束的时候进行一些操作，那么就可以通过改写该方法，或者在编写的爬虫类中实现closed方法即可。

 

欢迎关注公众号：日常bug，每天写至少一篇技术文章，每天进步一点点。