Scrapy 配置记录

custom_settings = {
    # 采集 深度（链接跳转次数）
    "DEPTH_LIMIT": 3, 
    # 是否开启 cookie    false 不开启(默认)   true  开启  
    'COOKIES_ENABLED':False, 
    # 下载延迟时间  1秒
    'DOWNLOAD_DELAY': 1, 
    # 是否允许重定向  true  允许   false  不允许(默认)
    "REDIRECT_ENABLED":True,
    #  该配置会 实现一个spider对应一个日志文件
    "LOG_FILE": f"log/{name}.log"
}


dont_filter     true   不过滤       false   过滤(默认)