Opencv UI自动化应用&人脸识别

OpenCV: Open Source Computer Vision Library
OpenCV是一个开源的计算机视觉库,它提供了很多函数,这些函数非常高效地实现了计算机视觉算法
OpenCV官网:http://www.opencv.org.cn/
OpenCV 使用 C/C++ 开发,同时也提供了 Python、Java、MATLAB 等其他语言的接口。
OpenCV 是跨平台的,可以在  Windows、Linux、Mac OS、Android、iOS 等操作系统上运行。
OpenCV 的应用领域非常广泛,包括图像拼接、图像降噪、产品质检、人机交互、人脸识别、动作识别、动作跟踪、无人驾驶等。
OpenCV 还提供了机器学习模块,你可以使用正态贝叶斯、K最近邻、支持向量机、决策树、随机森林、人工神经网络等机器学习算法。

Opencv 安装

1. 安装Python3,并配置环境变量
2. pip install opencv-python
3. pip install opencv-contrib-python

OpenCV实现UI自动化

在做UI自动化的过程中,会发现很多控件的元素是一样的或者是找不到的
如何解决痛点:通过图片灰度处理返回坐标x,y找到控件的位置 
需要使用两个图:
1.整个页面截图
2.控件的图

OpenCV中使用matchTemplate函数来实现模板匹配

cv2.matchTemplate(image, templ, method, result=None, mask=None)
image:待搜索图像
templ:背景图像
result:匹配结果
method:计算匹配程度的方法


OpenCV图像匹配方法

关于匹配方法,使用不同的方法产生的结果的意义可能不太一样,有些返回的值越大表示匹配程度越好,而有些方法返回的值越小表示匹配程度越好。

关于参数 method:
CV_TM_SQDIFF 平方差匹配法:该方法采用平方差来进行匹配;最好的匹配值为0;匹配越差,匹配值越大。
CV_TM_CCORR 相关匹配法:该方法采用乘法操作;数值越大表明匹配程度越好。
CV_TM_CCOEFF 相关系数匹配法:1表示完美的匹配;-1表示最差的匹配。
CV_TM_SQDIFF_NORMED 归一化平方差匹配法
CV_TM_CCORR_NORMED 归一化相关匹配法
CV_TM_CCOEFF_NORMED 归一化相关系数匹配法 
通过MinMaxLoc获取最后的最佳匹配结果

利用OpenCV minMaxLoc 传入的参数就是matchTemplate的返回值,minMaxLoc自己的返回值是一个元素,分别为(最小值,最大值,最小值所在点坐标,最大值所在点坐标)
res = cv2.matchTemplate(_tran_canny(image), _tran_canny(template), cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)


人脸识别主流程

Opencv UI自动化应用&人脸识别_第1张图片

函数训练

Opencv有很多的检测器,可以打开opencv的安装路径D:\Program Files\python\Lib\site-packages\cv2\data,可以看见以下文件

Opencv自带的检测模型

Opencv自带训练好的人脸检测模型。其中几个.xml文件如下:
人脸检测器(默认):haarcascade_frontalface_default.xml
人脸检测器(快速Harr):haarcascade_frontalface_alt2.xml
人脸检测器(侧视):haarcascade_profileface.xml
眼部检测器(左眼):haarcascade_lefteye_2splits.xml
眼部检测器(右眼):haarcascade_righteye_2splits.xml
嘴部检测器:haarcascade_mcs_mouth.xml
鼻子检测器:haarcascade_mcs_nose.xml
身体检测器:haarcascade_fullbody.xml
人脸检测器(快速LBP):lbpcascade_frontalface.xml

函数训练主要步骤

1.调用人脸分类器
2.用灰度的方式打开照片,防止采光等问题的影响,同时减少颜色因素导致的计算
3.将照片转换为技术能识别的数组
4.提取图像中人脸的识别特征
5.收集人脸信息
6.调用LBPH算法对人脸数据进行处理
7.训练数据并保存到文件中

人脸识别测试流程

1.打开摄像头
2.获取当前摄像头中的头像
3.读取训练函数的数据
4.当前头像与数据对比
 

你可能感兴趣的:(Python,自动化测试,python)