scrapy设置随机请求头的两种方法

1.在settings.py中设置USER_AGENT_LIST

需要先导入random模块

scrapy设置随机请求头的两种方法_第1张图片

然后在meddlewares.py中创建RandomUserAgentMiddleWare()类.重写scrapy内置的UserAgentMiddleware.

scrapy设置随机请求头的两种方法_第2张图片


scrapy设置随机请求头的两种方法_第3张图片

这种最后需要在settings.py中设置DOWNLOAD_MIDDLEWARES,将系统默认的随机请求头给禁掉,再添加我们自己定义的随机UserAgent

scrapy设置随机请求头的两种方法_第4张图片



2.通过pip install fake-useragent,从而直接通过fake_useragent第三方库来随机生成请求头.

需要先导入UserAgent

from fake_useragen timport UserAgent

需要在settings.py中设置

# 用于配置随机user-agent的类型,如果值是random,表示任意随机一个;如果配置的是chrome,则只随机chrome中的user-agent.

RANDOM_UA_TYPE ='chrome'

scrapy设置随机请求头的两种方法_第5张图片


scrapy设置随机请求头的两种方法_第6张图片

最后同上面一样需要在settings.py中设置DOWNLOAD_MIDDLEWARES,将系统默认的随机请求头给禁掉,再添加我们自己定义的随机UserAgent


scrapy设置随机请求头的两种方法_第7张图片

你可能感兴趣的:(scrapy设置随机请求头的两种方法)