关于 scrapy 中 COOKIES_ENABLED 设置

在 Scrapy 框架中,COOKIES_ENABLED = True 时,除了可以在 Request 对象中手动设置 cookies 以外,还可以通过修改 DEFAULT_REQUEST_HEADERS 来全局地为每个请求设置 cookies。以下是一个包含这一信息的博客笔记:


Scrapy 爬虫中 Cookies 的全局和局部设置

Scrapy 作为一个灵活的爬虫框架,提供了多种方式来管理 HTTP cookies,以适应不同的爬取场景。其中,COOKIES_ENABLED 设置和 DEFAULT_REQUEST_HEADERS 是控制 cookies 行为的重要配置项。以下是详细的配置方法:

1. COOKIES_ENABLED = False
  • 作用:禁用 Scrapy 的 cookies 处理。每个请求都不会携带或接收 cookies,视为独立无关的会话。

  • 适用场景:适用于网站不需要 cookies 来追踪用户状态或者爬虫需要避免被追踪的情况。但可以自己设置cookie

  • 全局设置 Cookies:当 COOKIES_ENABLED = False 在 Scrapy 框架中设置时,Scrapy 将不会处理任何与 cookies 相关的操作。这意味着 Scrapy 不会自动发送或接收任何 cookies,并且也不会保留在会话中的 cookies 状态。然而,这并不影响通过 DEFAULT_REQUEST_HEADERS 设置的其他 HTTP 头部信息, 并且如果有需要可以在这里手动设置cookie

DEFAULT_REQUEST_HEADERS = {
   "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
   "Accept-Language": "en",
   "Cookie": "sessionid=xyz; csrftoken=abc"  # 全局cookie设置
}
2. COOKIES_ENABLED = True
  • 作用:启用 cookies 后,Scrapy 将自动处理 cookies,可以在请求之间保持状态,如登录信息、会话标识等。
  • 局部设置 Cookies:可以在单个 Request 对象中手动设置 cookies,适用于需要为特定请求定制 cookies 的场景。
yield scrapy.Request(
    url='http://example.com',
    cookies={'example_cookie': 'value'},  # 手动设置的cookie
)
3. 注释掉 COOKIES_ENABLED

作用:如果你在配置文件中注释掉了 COOKIES_ENABLED 设置,Scrapy 将会使用默认配置,即 COOKIES_ENABLED = True。
表现:爬虫行为将会自动处理 cookies,与显式设置为 True 的行为一致。

总结

在 Scrapy 中灵活运用 COOKIES_ENABLEDDEFAULT_REQUEST_HEADERS 可以有效管理爬虫的 cookies 行为。无论是全局设置还是局部定制,合理配置 cookies 是确保爬虫对目标网站友好交互的关键。理解并应用这些配置可以帮助你提高爬虫的效率和适应性,特别是在面对复杂网站时。


你可能感兴趣的:(scrapy)