XPATH和Selenium爬取外网,遇到的问题汇总

最近接到了一个需求,要爬取外网上的某个资源,小白边学边干,记录下遇到的问题及解决方式,希望有机会也可以帮助有同样困惑的家人们

一.外网无法登录

有一些外网即使你开了和TUN模式,依然会被拦截请求,提示“不要使用VPN”或“所在地域受限制”,这是因为自身的ip地址有被泄露。
如果遇到这种情况,可以使用一个chrome插件,叫WebRTC Control
https://chrome.google.com/webstore/detail/webrtc-control/fjkmabmdepjfammlpliljpnbhleegehm?hl=zh-CN
下载后,开启即可XPATH和Selenium爬取外网,遇到的问题汇总_第1张图片

然后再尝试登录外网,应该会解决,亲测是有效果的

二.在Selenium打开的chrome浏览器中如何添加插件

默认selenium打开的浏览器是“裸”浏览器,什么插件都没有,这时可以使用selenium提供的语法

chrome_options.add_extension("crx文件本地下载路径")
//例子
chrome_options.add_extension("E:/project/webrtc_control.crx") 

这里要注意,这个方法内部要填写插件的crx文件本地下载路径,如果没有的话,拿到chrome插件的下载链接,到这个网站转换一下https://tool.lu/crx/即可,下载到本地后,将路径在方法中替换就好用啦

三.selenium开启隐藏浏览器模式

这里要注意,旧版headless隐藏模式是不支持携带插件的,这里被卡住好久
想实现隐藏浏览器且携带插件,使用

chrome_options.add_argument("--headless=new")

这种方式是新版的headless,支持隐藏浏览器且带插件!

四.拿到元素,但click()不生效

当终于找到某一元素时,发现click()点击不生效,简直太生气了
你可以尝试另外一种方式,即模拟鼠标点击

from selenium.webdriver import ActionChains
driver = webdriver.Chrome(options=options)
actions = ActionChains(driver)
actions.click(videoDiv).perform() 
//videoDiv是通过XPATH拿到的element

如果你也遇到同样的问题,可以试试模拟鼠标点击

你可能感兴趣的:(python,selenium,selenium,测试工具,python,爬虫)