在爬虫的过程中遇到了这个警告:
D:\Anaconda_soft\envs\pytorch\lib\site-packages\urllib3\connectionpool.py:1043: InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.dytt89.com'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings
warnings.warn(
上网搜了一下原来是证书的验证问题,即我们设置了去掉安全验证的选项:
res = requests.get(url, headers=headers, verify=False, params=params)
这是因为跳过了SSL证书验证导致的,程序本身不具有代码等问题。
对此感兴趣的读者可以顺藤摸瓜查找问题的根源(警告中会有相应链接)
https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings
在这里我总结了几个解决办法:
1.在程序开始部分添加代码:
requests.packages.urllib3.disable_warnings()
或者
warnings.filterwarnings(‘ignore’)
2.导入warnings包
>>> import urllib3
>>> http = urllib3.PoolManager(num_pools=50)