Python爬虫 伪装成浏览器访问 及fake_useragent库使用方法
在编写爬虫进行网页数据的时候，很多网站有反爬机制，对于不同的网站，破解反爬的方法不同，这里的一种方法是模拟成浏览器访问
下面以哔哩哔哩举例
1.使用平时用的浏览器自带的user-agent
首先在浏览器打开b站，右键，点击检查
然后点击network–>找到bilibili.com–>点击headers
在最下面可以看到user-agent，这个就是浏览器的请求头
注意：如果点击network没有看到bilibili.com，按ctrl +r刷新一下网页
然后使用request.get请求网页信息时，添加刚才获得的header
import requests
headers ={'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
current_url='https://www.bilibili.com/'
strhtml = requests.get(current_url, headers= headers)
2.使用fake_useragent库伪装请求头
首先需要安装fake_useragent库
使用示例：
from fake_useragent import UserAgent
import requests
ua=UserAgent()
#网址
url="https://www.bilibili.com/"
#fake_useragent生成的随机请求头
headers={"User-Agent":ua.random}
response=requests.get(url=url,headers=headers)
#响应体内容
print(response.text)