利用selenium和cv2处理豆瓣滑块验证码

python中安装cv2模块：pip Install open-python

若cv2模块安装没问题，但cv2中某些功能不能用，则使用以下命令：

pip install -i https://pypi.douban.com/simple opencv-python==4.5.3.56

 注意：在处理这种登录框的时候一般都会有一个iframe，不知道这iframe是什么，自己搜

我们要获取iframe中的元素，首先要进入到iframe中

 

# 创建webdriver对象
driver = webdriver.Edge()
driver.get("https://www.douban.com/")

# 注意：
# iframe元素中有id属性值：可以直接使用switch_to_frame(“name值”)或switch_to_frame(“id值”)的方法来进行定位
# 没有可用的id或者name属性时，用以下方式定位
# iframe1 = driver.find_elements(By.XPATH, '//*[@id="anony-reg-new"]/div/div[1]/iframe')
# driver.switch_to.frame(iframe1)

# 不知道什么原因，我切不进iframe
# 由于这个iframe是文档中的第一个，所以我直接switch_to.frame(0)进去
driver.switch_to.frame(0)

 

进入iframe后，选择密码登录

 

# 点击使用密码登录
pwd_login = driver.find_element(By.XPATH, '/html/body/div[1]/div[1]/ul[1]/li[2]')
pwd_login.click()
time.sleep(1)    # 休眠1秒

# 输入账号密码
user_name = driver.find_element(By.XPATH, '//*[@id="username"]')
user_name.send_keys("此处是你的帐号")
password = driver.find_element(By.XPATH, '//*[@id="password"]')
password.send_keys("此处是你的password")

# 点击登录
login = driver.find_element(By.XPATH, '/html/body/div[1]/div[2]/div[1]/div[5]/a')
login.click()
time.sleep(3)    # 休眠3秒

 点击登录后出现新的iframe，再次切换进入

 

# 出现滑块验证，出现新的iframe，这个iframe有id属性，直接使switch_to.frame('id值')
driver.switch_to.frame('tcaptcha_iframe_dy')

进入到新的iframe后，把这个图片下载下来 ；从两张图中可以看到图片的地址在background-image: url(地址)中，这个地址不完整，地址前面需要拼接一个"https://t.captcha.qq.com"。

 

# 找到缺口验证码图片位置
src = driver.find_element(By.XPATH, '//*[@id="slideBg"]')
style = src.get_attribute('style')
# print(style)

# 通过正则表达式提取url中的地址
compile_ = re.compile(r'background-image: url\("(.*?)"\)')
png_address = re.findall(compile_, style)    # findall默认通过列表追加匹配到的数据
print(png_address)

# 保存图片
url = "https://t.captcha.qq.com" + png_address[0]
req = requests.get(url=url)
with open("./a.jpg", mode='wb') as file:
    file.write(req.content)

 保存的图片是这样的：

 得到这张图片是为了计算这个缺口的位置，因为每次登录图片有可能是不一样，缺口的位置也不是一层不变的。要得到缺口的位置，就需要用到cv2模块。

# 定义一个处理图片缺口的函数，最后是返回x坐标，滑块移动不需要y坐标
def get_pos(image):

    # 首先使用高斯模糊去噪，噪声会影响边缘检测的准确性，因此首先要将噪声过滤掉
    blurred = cv2.GaussianBlur(image, (5, 5), 0,0)


    # 边缘检测，得到图片轮廓
    canny = cv2.Canny(blurred, 200, 400)    # 200为最小阈值，400为最大阈值，可以修改阈值达到不同的效果


    # 轮廓检测
    # cv2.findContours()函数接受的参数为二值图，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图，此处canny已经是二值图
    # contours：所有的轮廓像素坐标数组，hierarchy 轮廓之间的层次关系
    contours, hierarchy = cv2.findContours(canny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # print(contours, hierarchy)


    for i, contour in enumerate(contours):     # 对所有轮廓进行遍历
        M = cv2.moments(contour)   # 并计算每一个轮廓的力矩(Moment)，就可以得出物体的质心位置
        # print(M)
        if M['m00'] == 0:
            cx = cy = 0
        else:
            # 得到质心位置，打印这个轮廓的面积和周长，用于过滤
            cx, cy = M['m10'] / M['m00'], M['m01'] / M['m00']
            print(cv2.contourArea(contour), cv2.arcLength(contour, True))


        # 判断这个轮廓是否在这个面积和周长的范围内
        if 5000 < cv2.contourArea(contour) < 8000 and 300 < cv2.arcLength(contour, True) < 500:
            print(cx)
            if cx < 300:
                continue
            print(cv2.contourArea(contour))
            print(cv2.arcLength(contour, True))

            # 外接矩形，x，y是矩阵左上点的坐标，w，h是矩阵的宽和高
            x, y, w, h = cv2.boundingRect(contour)
        
            cv2.rectangle(image, (x, y), (x + w, y + h), (0, 0, 255), 2)    # 画出矩行
            # cv2.imshow('image', image)
            cv2.imwrite('111.jpg', image)    # 保存
            return x
    return 0

# 读取图片
verify_img = cv2.imread('a.jpg')
# 调用函数，得到x坐标
x = get_pos(verify_img)
print(x)

最后，就是通过selenium模拟滑块滑动，需要用到ActionChains中的drag_and_drop_by_offset()函数，因为它很适合。如果使用move_by_offset()，需要得到滑动条的x坐标，可以慢慢拖。

drag_and_drop_by_offset(source, xoffset, yoffse)

source：鼠标按下的元素。

xoffset：X要移动到的偏移量。

yoffset：Y要移动到的偏移量。

 刚才已经获取到x坐标，y坐标不移动，那也就是偏移0；剩下就是获取到要拖拽的元素，也就是鼠标按下的元素。如图：

# 获取滑动条元素
slide = driver.find_element(By.XPATH, '//*[@id="tcOperation"]/div[6]')

那为什么不用上面哪个小滑块，要用下面的滑动条。因为上面的小滑块每次刷新登录，小滑块位置会变化，滑动条不会变。

最后，拖动滑动条，实现登录 

# 图片实际像素与浏览器中图片像素有差异，浏览器中图片像素大概是实际图片的41%, 由于像素缩小，减去30像素是为了平滑距离
result = int(x * 0.41) - 30
# 滑动滑块
ActionChains(driver).drag_and_drop_by_offset(slide, result, 0).perform()

 怎么看出来是41%的，如图：

图1显示图片像素大小为：278.99 × 199.28

图2显示图片呈现的大小为：672 × 390

图1 除以 图2：279 / 682 ≈ 0.41

 

 

 以下是完整代码：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time
import re
import requests
import cv2


# 定义一个处理图片缺口的函数，最后是返回x坐标，滑块移动不需要y坐标
def get_pos(image):

    # 首先使用高斯模糊去噪，噪声会影响边缘检测的准确性，因此首先要将噪声过滤掉
    blurred = cv2.GaussianBlur(image, (5, 5), 0,0)


    # 边缘检测，得到图片轮廓
    canny = cv2.Canny(blurred, 200, 400)    # 200为最小阈值，400为最大阈值，可以修改阈值达到不同的效果


    # 轮廓检测
    # cv2.findContours()函数接受的参数为二值图，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图，此处canny已经是二值图
    # contours：所有的轮廓像素坐标数组，hierarchy 轮廓之间的层次关系
    contours, hierarchy = cv2.findContours(canny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # print(contours, hierarchy)


    for i, contour in enumerate(contours):     # 对所有轮廓进行遍历
        M = cv2.moments(contour)   # 并计算每一个轮廓的力矩(Moment)，就可以得出物体的质心位置
        # print(M)
        if M['m00'] == 0:
            cx = cy = 0
        else:
            # 得到质心位置，打印这个轮廓的面积和周长，用于过滤
            cx, cy = M['m10'] / M['m00'], M['m01'] / M['m00']
            print(cv2.contourArea(contour), cv2.arcLength(contour, True))


        # 判断这个轮廓是否在这个面积和周长的范围内
        if 5000 < cv2.contourArea(contour) < 8000 and 300 < cv2.arcLength(contour, True) < 500:
            print(cx)
            if cx < 300:
                continue
            print(cv2.contourArea(contour))
            print(cv2.arcLength(contour, True))

            # 外接矩形，x，y是矩阵左上点的坐标，w，h是矩阵的宽和高
            x, y, w, h = cv2.boundingRect(contour)
        
            cv2.rectangle(image, (x, y), (x + w, y + h), (0, 0, 255), 2)    # 画出矩行
            # cv2.imshow('image', image)
            cv2.imwrite('111.jpg', image)    # 保存
            return x
    return 0



# 创建webdriver对象
driver = webdriver.Edge()
driver.get("https://www.douban.com/")

# 注意：
# iframe元素中有id属性值：可以直接使用switch_to_frame(“name值”)或switch_to_frame(“id值”)的方法来进行定位
# 没有可用的id或者name属性时，用以下方式定位
# iframe1 = driver.find_elements(By.XPATH, '//*[@id="anony-reg-new"]/div/div[1]/iframe')
# driver.switch_to.frame(iframe1)

# 不知道什么原因，我切不进iframe
# 由于这个iframe是文档中的第一个，所以我直接switch_to.frame(0)进去
driver.switch_to.frame(0)


# 点击使用密码登录
pwd_login = driver.find_element(By.XPATH, '/html/body/div[1]/div[1]/ul[1]/li[2]')
pwd_login.click()
time.sleep(1)    # 休眠1秒

# 输入账号密码
user_name = driver.find_element(By.XPATH, '//*[@id="username"]')
user_name.send_keys("此处是你的帐号")
password = driver.find_element(By.XPATH, '//*[@id="password"]')
password.send_keys("此处是你的password")

# 点击登录
login = driver.find_element(By.XPATH, '/html/body/div[1]/div[2]/div[1]/div[5]/a')
login.click()
time.sleep(3)    # 休眠3秒


# 出现滑块验证，出现新的iframe，这个iframe有id属性，直接使switch_to.frame('id值')
driver.switch_to.frame('tcaptcha_iframe_dy')


# 找到缺口验证码图片位置
src = driver.find_element(By.XPATH, '//*[@id="slideBg"]')
style = src.get_attribute('style')
# print(style)

# 通过正则表达式提取url中的地址
compile_ = re.compile(r'background-image: url\("(.*?)"\)')
png_address = re.findall(compile_, style)    # findall默认通过列表追加匹配到的数据
print(png_address)

# 保存图片
url = "https://t.captcha.qq.com" + png_address[0]
req = requests.get(url=url)
with open("./a.jpg", mode='wb') as file:
    file.write(req.content)


# 读取图片
verify_img = cv2.imread('a.jpg')
# 调用函数，得到x坐标
x = get_pos(verify_img)


# 获取滑动条元素
slide = driver.find_element(By.XPATH, '//*[@id="tcOperation"]/div[6]')


# 图片实际像素与浏览器中图片像素有差异，浏览器中图片像素大概是实际图片的41%, 由于像素缩小，减去30像素是为了平滑距离
result = int(x * 0.41) - 30

# 滑动滑块
ActionChains(driver).drag_and_drop_by_offset(slide, result, 0).perform()