python之selenium访问网站被反爬限制封锁解决方法

在访问某些网站时，selenium webdriver 开启网页失败，被发现为爬虫，目前我碰到的有效解决方案是：

1、因为selenium在命令行手动开启后的谷歌浏览器加了一些变量值，比如window.navigator.webdriver，在正常的谷歌浏览器是undefined，在selenium打开的谷歌浏览器是True，然后对方服务器就会下发js代码，检测这个变量值给网站，网站判断这个值，为True就是爬虫程序就封锁你的访问，如下图。

实现代码是在请求之前改变一些参数，绕过检测，具体细节可以自己了解下网站检测selenium的原理，需要设置对应其它的值都可以加：

　　# 下面代码本人是基于命令行打开再接管浏览器窗口，
　　from selenium import webdriver
　　options = webdriver.ChromeOptions()
　　 
　　# chrome在79版之前用下面两行代码
　　#options.add_experimental_option("excludeSwitches", ["enable-automation"])
　　#options.add_experimental_option('useAutomationExtension', False)
　　 
　　# -我是最新谷歌浏览器版本，chrome在79和79版之后用这个，
　　driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
　　    "source": """
　　    Object.defineProperty(navigator, 'webdriver', {
　　      get: () => undefined
　　    })
　　  """
　　})
　　driver.get("这里填写你被反爬网站的链接")

最后：下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

全部资料获取