python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法

python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法

  • 之前爬取百度用kw时的代码(没有任何问题)
import requests

url = 'http://www.baidu.com/s'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36",
}

params = {
    'kw':'周冬雨'
}

resp = requests.get(url,headers=headers,params=params).content.decode()
print(resp)

但是结果出现了这种情况
python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法_第1张图片

  • 解决办法(在请求头中添加accept即可)
    python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法_第2张图片
import requests

url = 'http://www.baidu.com/s'

headers = {
    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36",
}

params = {
    'kw':'周冬雨'
}

resp = requests.get(url,headers=headers,params=params).content.decode()
print(resp)

后发现关键词kw有所修改(故将params中的kw修改成wd即可)

python爬取百度使用kw关键字爬取时出现,百度安全验证,解决方法_第3张图片

你可能感兴趣的:(爬虫)