python使用selenium中webdriver获取网页数据中问题浅谈

python使用selenium中webdriver获取网页数据中问题浅谈
1.请求网址
使用webdriver可以方便的查看网页,webdriver支持chrome、IE等浏览器,如果你的电脑没有配置的话,可下载此浏览器,然后下载对应版本的驱动程序chromedriver.exe、IEdriver.exe等,将下载好的exe文件放置在你安装的浏览器的目录中:python使用selenium中webdriver获取网页数据中问题浅谈_第1张图片
2.设置环境变量,将此目录设置进入你的电脑PATH的环境变量中:打开环境变量可以通过右击电脑—属性—高级系统设置–环境变量 ,找到path并选中点击新建,然后添加目录确定即可。
python使用selenium中webdriver获取网页数据中问题浅谈_第2张图片
python使用selenium中webdriver获取网页数据中问题浅谈_第3张图片
3.设置好了之后你的电脑就可以正常通过webdriver.chrome()来打开网页了,并通过page-source来获取网页数据。实例参考:
python使用selenium中webdriver获取网页数据中问题浅谈_第4张图片

4,获取网页数据后再通过lxml中etree的xpath功能来抽取想要数据,使用for循环来是数据一一对应,最后再保存数据。
python使用selenium中webdriver获取网页数据中问题浅谈_第5张图片
在这里插入图片描述
python使用selenium中webdriver获取网页数据中问题浅谈_第6张图片
注:以上实例为获取图片链接及图片名称并下载保存的一个实例,仅供参考。

你可能感兴趣的:(python爬取图片)