【python 爬虫】 requests包get()函数的参数设置

get()函数是requests包中非常重要的函数,需要设置的重要参数有:headers、params、timeout、proxies。

1、headers

请求头信息,不同的浏览器的User-Agent值不同

2、params

用于在发送请求时携带动态参数,可以在浏览器浏览网页时通过开发者工具查看

3、timeout

用于设置请求超时的时间,因为网络有可能不稳定,并不是每次请求都会被服务器接收,如果一段时间服务器没有返回结果,requests默认会重复发起请求,适当设置timeout值可以在请求超时的时候抛出异常

4、proxies

用于设置代理服务器,因为同一IP地址发起大量请求可能导致IP被封,为了规避“反爬”手段,可以使用代理服务器代替实际的IP发起请求

你可能感兴趣的:(爬虫,python)