XPATH和Selenium爬取外网，遇到的问题汇总

最近接到了一个需求，要爬取外网上的某个资源，小白边学边干，记录下遇到的问题及解决方式，希望有机会也可以帮助有同样困惑的家人们

一.外网无法登录

有一些外网即使你开了和TUN模式，依然会被拦截请求，提示“不要使用VPN”或“所在地域受限制”，这是因为自身的ip地址有被泄露。
如果遇到这种情况，可以使用一个chrome插件，叫WebRTC Control
https://chrome.google.com/webstore/detail/webrtc-control/fjkmabmdepjfammlpliljpnbhleegehm?hl=zh-CN
下载后，开启即可

然后再尝试登录外网，应该会解决，亲测是有效果的

二.在Selenium打开的chrome浏览器中如何添加插件

默认selenium打开的浏览器是“裸”浏览器，什么插件都没有，这时可以使用selenium提供的语法

chrome_options.add_extension("crx文件本地下载路径")
//例子
chrome_options.add_extension("E:/project/webrtc_control.crx") 

这里要注意，这个方法内部要填写插件的crx文件本地下载路径，如果没有的话，拿到chrome插件的下载链接，到这个网站转换一下https://tool.lu/crx/即可，下载到本地后，将路径在方法中替换就好用啦

三.selenium开启隐藏浏览器模式

这里要注意，旧版headless隐藏模式是不支持携带插件的，这里被卡住好久
想实现隐藏浏览器且携带插件，使用

chrome_options.add_argument("--headless=new")

这种方式是新版的headless，支持隐藏浏览器且带插件！

四.拿到元素，但click()不生效

当终于找到某一元素时，发现click()点击不生效，简直太生气了
你可以尝试另外一种方式，即模拟鼠标点击

from selenium.webdriver import ActionChains
driver = webdriver.Chrome(options=options)
actions = ActionChains(driver)
actions.click(videoDiv).perform() 
//videoDiv是通过XPATH拿到的element

如果你也遇到同样的问题，可以试试模拟鼠标点击