python爬虫之代理与模拟登入

python爬虫之代理与模拟登入_第1张图片
python爬虫之代理与模拟登入_第2张图片
python爬虫之代理与模拟登入_第3张图片
python爬虫之代理与模拟登入_第4张图片
python爬虫之代理与模拟登入_第5张图片
使用request 模块得到的相应是bytes或str类型字符串
在post请求中需要data参数时,从浏览器的headers中的from data中
在浏览器中找url及相关参数时,gif图片不用去看
在用request 模块进行代理时,诺url是http,代理也是http,url是https,代理也是https,

几个常用代理:码农很忙,米扑代理,免费的代理ip有的快有的慢,有的无效,要想提前检查ip的有效性,使用request要添加超时参数,或者使用一些在线ip监测网站

python爬虫之代理与模拟登入_第6张图片
| python爬虫之代理与模拟登入_第7张图片
python爬虫之代理与模拟登入_第8张图片
python爬虫之代理与模拟登入_第9张图片

python爬虫之代理与模拟登入_第10张图片

在使用session发送post请求,cookies保存在其中,这一步,session.post(…), 也可以把cookies从headers中拿出来,成为get()中的一个参数:cookies=cookies(字典类型) 通常在session.post()这一步没必要接受响应,因为只需要保存cookies就可以了

被反爬虫的我:
python爬虫之代理与模拟登入_第11张图片

你可能感兴趣的:(初学idea,everyday)