探索Selenium的规避检测策略
Selenium之规避检测
背景
目前很多大网站有对selenium采取了监测机制。在正常情况下我们用浏览器访问相关网站的window.navigator.webdriver的值为 undefined或者为false。而使用selenium访问则该值为true。我们如何伪装，防止被检测出来呢？
这是正常浏览器访问，接下来我们看一下selenium的。
怎么样，是不是被检测出来呢 ？被检测出来的话，可能会不给你数据，弹出一些警告等等，会影响网页的布局等等
应对措施：
使用随机的User-Agent：
网站通常会根据User-Agent标识来判断请求是否来自真实的浏览器。通过设置随机的User-Agent，可以模拟多种浏览器行为。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random
# 创建浏览器对象
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")
# 设置随机User-Agent
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36",
# 添加其他User-Agent...
]
options.add_argument(f"user-agent={random.choice(user_agents)}")
# 创建浏览器对象
driver = webdriver.Chrome(options=options)
我们使用了Options对象来配置浏览器选项，通过add_argument()方法设置随机的User-Agent。您可以在user_agents列表中添加多个常见的浏览器User-Agent，然后使用random.choice()方法随机选择一个User-Agent作为请求头。
当然我们也可以使用python自带的UA库，不需要自己找一些UA了。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from fake_useragent import UserAgent
# 创建UserAgent对象
ua = UserAgent()
# 生成随机User-Agent
user_agent = ua.random
# 创建浏览器选项
options = Options()
options.add_argument(f"user-agent={user_agent}")
# 创建浏览器对象
driver = webdriver.Chrome(options=options)
设置窗口大小和位置
有些网站可能会根据窗口的大小和位置来检测自动化行为。可以使用set_window_size()和set_window_position()方法设置浏览器窗口的大小和位置。
# 设置窗口大小和位置
driver.set_window_size(1024, 768)
driver.set_window_position(0, 0)
通过设置合理的窗口大小和位置，可以使浏览器窗口看起来更像是由真实用户操作的。
延时操作
加适量的延时操作可以模拟人类用户的行为模式。
import time
import random
# 等待随机时间
time.sleep(random.uniform(1, 3))
# 执行点击操作
element.click()
# 等待一段时间
time.sleep(2)
在执行某些操作之前等待一段随机的时间，或在执行点击操作后等待一小段时间，可以降低被检测的风险。
注入js脚本：
使用 execute_script() 方法修改 window.navigator.webdriver 的值。
from selenium import webdriver
# 创建浏览器对象
driver = webdriver.Chrome()
# 执行 JavaScript 代码修改 window.navigator.webdriver 的值
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
# 打开网页
driver.get("https://www.taobao.com")
# 继续执行其他操作...
# 关闭浏览器
driver.quit()
```
在上述代码中，我们使用 execute_script() 方法执行 JavaScript 代码来修改 window.navigator.webdriver 的值为 undefined，以欺骗网站的检测机制。
使用 ChromeOptions 添加 excludeSwitches 选项：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 创建浏览器选项
options = Options()
# 添加 excludeSwitches 选项，禁用 webdriver
options.add_experimental_option("excludeSwitches", ["enable-automation"])
# 创建浏览器对象
driver = webdriver.Chrome(options=options)
# 打开网页
driver.get("https://www.taobao.com")
# 继续执行其他操作...
# 关闭浏览器
driver.quit()
在上述代码中，我们使用 add_experimental_option() 方法添加 excludeSwitches 选项，并设置为 ["enable-automation"]，以禁用 WebDriver，从而绕过网站的检测。
终极策略：
from selenium.webdriver import ActionChains
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
driver = Chrome('./chromedriver',options=chrome_options)
with open('./stealth.min.js') as f:
js = f.read()
#进行js注入
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": js
})
driver.get('https://www.baidu.com')
大家如果想要这个js文件，可以上Github上找一下，这里我就分享了。
温馨提示：
这些方法并不能保证适用于所有网站，因为不同的网站可能采取不同的检测机制。应该注意的是，规避网站的检测机制可能违反网站的使用条款或法律法规。在使用 Selenium 进行自动化脚本时，请确保遵守相关法律法规，并尊重网站的规则和限制。