在Anaconda中创建了一个爬虫方面的虚拟环境,然后尝试爬取了一些页面,结果对于一个简单的百度页面,爬取
http://www.baidu.com返回结果是正常的,而对于https://www.baidu.com则没有正常返回结果,反而是报了错误
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available."))
上网查资料发现可能是ssl库出了问题,于是便尝试import ssl试了一下,果然报了错误,
import _ssl # if we can't import it, let the error propagate
ModuleNotFoundError: No module named '_ssl'
又查询了一些资料发现大都是Linux下的,最终找到了问题的可能原因是缺少openssl或者版本过低。
解决方法为到https://slproweb.com/products/Win32OpenSSL.html上下载winopessl,直接下载第一个MSI安装即可:
之后问题完美解决