python-scrapy-settings.py

Option 含义
BOT_NAME 项目名
SPIDER_MODULES 爬虫位置
NEWSPIDER_MODULE 新建爬虫位置
USER_AGENT 设置请求头中的User-Agent
ROBOTSTXT_OBEY 遵守robots协议(网站中可以爬取的范围)
CONCURRENT_REQUESTS 爬虫的最大并发请求数
DOWNLOAD_DELAY 对同一网站要求延迟(默认值:0秒)
CONCURRENT_REQUESTS_PER_DOMAIN 每个域名请求并发数量
CONCURRENT_REQUESTS_PER_IP 每个ip请求并发数量
COOKIES_ENABLED 是否启用Cookie(默认启用)
TELNETCONSOLE_ENABLED 是否启用Telnet控制台(默认启用)
DEFAULT_REQUEST_HEADERS 覆写默认请求头
USER_AGENT 设置请求头中的User-Agent
SPIDER_MIDDLEWARES 启用或者禁用爬虫中间件
DOWNLOADER_MIDDLEWARES 启用或禁用爬虫下载中间件
ITEM_PIPELINES 配置项目管道(值越小权重越大就先执行)
AUTOTHROTTLE_ENABLED 开启访问频率限制
AUTOTHROTTLE_START_DELAY 访问开始延迟
AUTOTHROTTLE_MAX_DELAY 访问之间最大延迟
AUTOTHROTTLE_TARGET_CONCURRENCY 设置并行发给每台远程服务器的请求数量
AUTOTHROTTLE_DEBUG 启用为收到的每个响应显示限制状态
HTTPCACHE_ENABLED 开启缓存
HTTPCACHE_EXPIRATION_SECS 缓存超时时间
HTTPCACHE_DIR 缓存存放目录
HTTPCACHE_IGNORE_HTTP_CODES 缓存忽略的Http状态码
HTTPCACHE_STORAGE 缓存存储的插件

你可能感兴趣的:(小辣鸡的Python爬坑之旅)