关于Python爬虫时UA伪装的实现。

1.UA伪装

UA伪装通俗来讲就是请求载体身份标识的伪装。

1.1User-Agent

请求载体身份标识，通过浏览器发起的请求，请求载体为浏览器，则该请求的User-Agent为浏览器的身份标识，如果使用爬虫程序发起的请求，则该请求的载体为爬虫程序，则该请求的User-Agent为爬虫程序的身份标识。服务器可以通过该值来判断发起请求的是浏览器还是爬虫程序。

1.2反爬机制

某些门户网站会对访问该网站的请求中的User-Agent进行捕获和判断，如果该请求的UA为爬虫程序，那么就拒绝该提供请求数据。

1.3反反爬机制

将爬虫的UA伪装成某一款浏览器的身份标识。

headers={
     
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

2.如何实现UA伪装？

首先打开你要爬取的浏览器，比如我们要爬取肯德基的官方网站的数据。

接着，

2.1代码的实现

headers = {
     
      'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }