Python3爬虫教程-2.使用代理访问网页

Python3爬虫教程-2.使用代理访问网页

目录

Python3爬虫教程-2.使用代理访问网页

操作环境

用到的库

操作

安装库：request[socks] / pysocks

写代码

注意

如何查询代理的端口

访问可能失败的原因

---

操作环境

1. win10 专业版(1803)
2. Python 3.7.2
3. Chrome版本 74.0.3729.108（正式版本） （64 位）

用到的库

1. requests 2.21.0
2. pysocks 1.6.8

操作

安装库：request[socks] / pysocks

pip3 install requests[socks]
或者使用
pip3 install pysocks

写代码

>>>import requests
>>>prx = {'http':'socks5://127.0.0.1:16666','https':'socks5://127.0.0.1:16666'}
>>>re = requests.get('https://www.taobao.com', proxies = prx)
>>>print(re.status_code)
200
>>>

注意

如果使用的是http/https代理则将代码中的socks5更改为http及https即可

如何查询代理的端口

打开任务管理器，找到你使用的代理软件，找到对应的PID，记住这个PID，在命令行窗口输入netstat -ano，找到对应的PID即可看到对应的端口

访问可能失败的原因

代理软件的代理模式可能设置了跳过国内网站等等需改为全局。