爬虫遇到的一些问题(跳转页面定位问题 和 定位不到元素问题)

这两天帮老师做一个项目,其中要写一个自动捕获流量的脚本,本以为很简单就搞定了,结果有几点卡了好久……

因为要让脚本自动完成点击流程,同时开启tshark抓包,所以涉及到了爬虫的一些操作。

页面定位不到元素!!

对于页面定位不到元素,遇到了两种可能:

1. 新建标签页

一种是 点击之后,新建了标签页,新页面虽然已经弹了出来,但是脚本的光标其实还是停留再之前的页面上,这个时候自然找不到元素

解决方法:

    for handle in driver.window_handles:
        driver.switch_to_window(handle)

使句柄永远在当前最新的页面。

(假装有一个分界线---------------------------------------------------------------------------------------------------------------

后来脚本又在ubuntu虚拟机中跑的时候报错了,调试输出当前页面句柄,发现页面没有切换成功,又把句柄集合全部输出,发现里面居然只有一个:

后来各种百度谷歌,终于看到有人提到一点,说可能是新窗口还没有完全打开,所以据并没有获得,所以在这里先睡眠几秒,就可以成功获得了:

然后就成功啦~

2. 点击太快,还没有加载出来

情景:我需要先点击下拉框的下拉按钮,然后点击下拉框里面的选项

这个我实在是很懵逼,用id定位的好好的,但是有时候点击是正确的,有时候是错误的,我完全:?????

后来经过同学提示才意识到,可能还没有加载出来就点击了,于是,在点击下拉框之前,让进程sleep一秒即可。

你可能感兴趣的:(爬虫)