requests之网页采集器

UA伪装:让爬虫对应的请求载体身份标识伪装成一款浏览器

User-Agent: 请求载体的身份标识 辨别是不是爬虫

UA检测:门户网站的服务器会检测对应请求的载体身                   份标识,如果检测到请求的载体身份标识为                   某一款浏览器意味着该请求就是一个正常的                   请求

                 但是该爬的服务器检测到请求的载体不是基                   于某一款浏览器,则表示该请求是不正常                       的,说明该请求为爬虫

requests之网页采集器_第1张图片

 

你可能感兴趣的:(爬虫)