undetected_chromedriver使用例子,爬虫防检测人机检测

import undetected_chromedriver as uc
import multiprocessing
import os
from selenium.webdriver.common.by import By



if __name__ == '__main__' :
    
    def saveScreen(name, driver):
        # 获取当前目录路径
        current_dir = os.path.dirname(os.path.abspath(__file__))
        # 要创建的文件夹名称
        folder_name = "saveImg"
        # 拼接文件夹路径
        folder_path = os.path.join(current_dir, folder_name)
        # 创建文件夹
        if not os.path.exists(folder_path):
            os.mkdir(folder_path)
            print(f"文件夹 {folder_name} 已创建在 {folder_path}")
        else:
            print(f"文件夹 {folder_name} 已存在")
        img_path = folder_path + "\\" + name + ".png"
        driver.save_screenshot(img_path)
    multiprocessing.freeze_support()
    chrome_options = uc.ChromeOptions()
    driver = uc.Chrome(headless=True,use_subprocess=False,options=chrome_options)
    driver.get("https://www.baidu.com")
    div_element = driver.find_element("css selector", "ul.s-hotsearch-content")
    test =driver.find_elements(By.CLASS_NAME,"c-font-normal")
    for item in test:
        print(item.text)
    # 获取div元素的文本内容
    div_text = div_element.text
    print("Div文本内容:", div_text)
    saveScreen("测试",driver)
    print("success")
    window_size = driver.get_window_size()
    driver.save_screenshot("test.png")
    # 输出窗口大小
    print("窗口宽度:", window_size["width"])
    print("窗口高度:", window_size["height"])

在使用selenium做自动化的时候,准备隐藏浏览器,但是会出现被网站检测到要进行人机检测,比较麻烦,就上网找了找有没有解决办法,发现可以使用这一个undetected_chromedriver来防检测,还蛮好用。同时这里面有一些坑在,比如需要加入下面两个才不会报错

if __name__ == '__main__' :
 multiprocessing.freeze_support()  #注意这是一个坑

还有会报一个错误

"***/site-packages undetected chromedriver patcher.py"
ine 119,in auto
if self.user multiprocs:AttributeError: 'Patcher' object has no attribute 'user multiprocs

需要修改一下Patcher.py这个文件

可以看到119行报错,定位一下。

原先是,全文并没有这个变量,看了一下发现是变量名字出了问题

if self.user_multiprocs:

 最后修改成下面这个,就不会有问题了

if self.user_multi_procs:

官网网址:GitHub - ultrafunkamsterdam/undetect-chromedriver: Custom Selenium Chromedriver |零配置 |通过所有机器人缓解系统(如Distil / Imperva/Datadadome / CloudFlare IUAM)

你可能感兴趣的:(python,爬虫)