爬虫代理设置笔记（学自拉勾崔大神）

import  requests

proxy = ‘127.0.0.1：端口号’          在本地的某个端口号创建代理服务

proxies = {

‘http’:'http://' + proxy,                              

'https':'https://' + proxy

}

response = requests.get(url, proxies = proxies)

如果代理需要认证，在代理前面加上用户名密码即可。

proxy = ‘username：[email protected]：端口号’

若为socks5代理，需要安装   pip install requests[socks]，只单纯传递数据包，不关心具体协议和用法。所以速度很快。

proxies = {

‘http’:'socks5://' + proxy,

'https':'socks5//' + proxy

}

在selenium中设置代理

from selenium import webdriver

proxy = '127.0.0.1:端口号'

options = webdriver.ChormeOptions（）

options.add_argument（'--proxy--server=http://' + proxy）

browser = webdriver.Chorme（options=options）

browser.get（url）