Selenium 反反爬

最近发现在用Selenium请求某网站时一打开就闪退，打开其他网站没问题

于是加了一个time.sleep()等待，然后F12看了一下请求状态。是被拒绝，400 Bad Request

被服务器拒绝大概率是被反爬了

于是试了一下添加headers，发现还是不行

 chrome_options.add_argument('Accept=text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9')
chrome_options.add_argument('Accept-Encoding=gzip, deflate, br')
chrome_options.add_argument('Accept-Language=zh-CN,zh;q=0.9')
chrome_options.add_argument('Cache-Control=no-cache')
chrome_options.add_argument('Connection=keep-alive')
chrome_options.add_argument('User-Agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36')  

其实selenium本身就是一个浏览器，上面那些倒是不用加的，就UA可以弄一个UA池，随机抽取做更新

既然不是请求头，那就是其他原因，网上查了一下，找到了解决方法

解决方法

发现浏览器window对象有个属性window.navigator.webdriver

正常情况下为false(可以在console里打出来)

使用chromedriver时为true

使用下面的方法即可去除webdriver特征：

chrome_options = Options()
chrome_options.add_argument("--disable-blink-features")
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
browser = webdriver.Chrome(executable_path=os.path.abspath('./My_Utils/chromedriver.exe') , options=chrome_options)
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
            "source": """          
                    Object.defineProperty(navigator, 'webdriver', {
                        get: () => undefined
                        })
                    """})
browser.get(url)
time.sleep(20)