爬虫：什么是User-Agent？有什么作用

User-Agent其实就是你的浏览器信息。是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；
　　在爬取网页的时候经常换浏览器就会降低被封的概率。也就是要改变User-Agent的值。

生成随机的User-Agent：
首先　在环境中　ｐｉｐ　　ｉｎｓｔａｌｌ　fake_useragent

from fake_useragent import UserAgent　　
ua = UserAgent()
    headers = {
        'Referer': 'https://www.csdn.net/nav/python',
        'User-Agent':ua.random ，
        ｝