鄙人有个业务,爬58同城网站,原先用阿布云代理,可是20块一天太贵了,于是就用西刺网的代理ip,然后发现好多ip竟然没用
还要输入验证码,于是就写了一些业务代码,当爬到网站标题中包含 '验证码 ' 三个字的时候就自动打开谷歌浏览器,并访问该
网页。
后续会增加一个自动输入验证码的代码,话不多说先上代码
1. 安装selenium pip install selenium
2.找到谷歌浏览器安装文件目录,查看谷歌浏览器版本,通过
http://chromedriver.storage.googleapis.com/index.html
找到对应版本的 chromedriver
3.把下载好的 chromedriver.exe 放在python安装环境的 Scripts 文件夹下,
注意:该Scripts文件夹要配置在环境变量的path下
4.引包
from selenium import webdriver
5. 业务代码:
title = doc('title')
print(title)
title = doc('title').text()
if '验证码' in title:
driver = webdriver.Chrome() # 调用chrome浏览器
driver.maximize_window() #窗口最大化
driver.get(url) #访问页面如 www.baidu.com
time.sleep(30) #线程休眠30秒,防止一下打开太多谷歌浏览器
driver.quit() #退出谷歌浏览器
IE,和火狐都感觉没有谷歌好,所以建议部署业务代码建议用谷歌