反爬虫机制(一)----伪装User-Agent之fake-useragent

今天首先讲解反爬机制的伪装User-Agent

第一种:在cmd命令行里用pip安装fake_useragent

pip install fake-useragent

使用方法:

from fake_useragent import UserAgent
import random

fake_ua=UserAgent() # 构建UserAgent()对象
headers = {'User-Agent':fake_ua.random} #用random来随机取得用户代理。

获取各浏览器的fake-useragent

from fake_useragent import UserAgent
ua = UserAgent()
#ie浏览器的user agent
print(ua.ie)

#opera浏览器
print(ua.opera)

#chrome浏览器
print(ua.chrome)

#firefox浏览器
print(ua.firefox)

#safri浏览器
print(ua.safari)

#最常用的方式
#写爬虫最实用的是可以随意变换headers,一定要有随机性。支持随机生成请求头
print(ua.random)
print(ua.random)
print(ua.random)

 

第二种:百度搜索网上有很多,将其复制一些使用 

附:

如何查看fake-useragent的版本?

有两种方法

第一种:

百度   pypi fake-useragent查看目前的版本,因为版本更新后有点没有数据

查到版本号,在地址栏中输入https://fake-useragent.herokuapp.com/browsers/版本号

就会看到所有的useragent,如图:

反爬虫机制(一)----伪装User-Agent之fake-useragent_第1张图片

第二种:

在python中你安装fake-useragent时,进入python,使用命令pip list可以查看对应的版本

 

 

你可能感兴趣的:(python爬虫)