关于scrapy 默认settings的坑

scrapy默认的配置文件settings,里面的配置必须要全大写,不然获取的时候无法获取到,自己由于这个踩了很久的坑啊!!!!!!!!!!
以下的是我自己的小程序,
配置文件部分代码:

MYQL_HOST = '127.0.0.1'
MYSQL_DATABASE = 'spiders'
MYSQL_USER = 'root'
MYSQL_PASSWORD = '123'
MYSQL_PORT = 3306
# 全大写--能获取到
LP_IS_ALL = False # 配置是否全部爬取
BOSS_IS_ALL = True
YJS_IS_ALL = True
# 部分大写--无法获取
lp_is_all = False
Boss_IS_ALL = True
Yjs_IS_ALL = True

下图是debug的settings属性查看,里面找不到小写的相关属性
获取配置文件方法:

# 在spider中获取settings配置
# 需要导入包
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
isAll = settings.get('BOSS_IS_ALL')

关于scrapy 默认settings的坑_第1张图片
仅以此来让大家有相同问题的不爬坑

你可能感兴趣的:(跳过的坑,编程)