2020-03-30

在scrapy中关于使用磁盘队列,内存队列、是否使用磁盘存储指纹的问题


图1

如图所示,在scrapy执行过程中会从设置中读取JOBDIR(大写字母)字段


图2

如果有该目录,则改用本地目录创建文件存储指纹以及磁盘队列,否则默认使用内存存储指纹和内存队列


图3


图4


图5


如果没有目录则使用内存队列

你可能感兴趣的:(2020-03-30)