基于OpenCV与Qt的亚克力板件检测系统
为什么做了个这个呢，其实是学校机器视觉创新班的大作业。虽然做的不是很完善，但是也希望起到一个抛砖引玉的效果。
源码下载链接：基于OpenCV与Qt的亚克力板件检测系统-图像处理文档类资源-CSDN下载
一、概述
首先是作业的要求：
综上所述，我们需要实现的功能有：
- 采集图像
- 保存图像
- 颜色识别
- 形状识别
- 像素尺寸识别
- 多目标同时识别
- 相机标定
- 像素尺寸转换为实际尺寸
- 实时检测
二、系统总体设计
成像系统结构：
同组工业系同学画的结构图，大概就是这样。两块打光板开到最高亮度，底下的垫板我们用了鼠标垫（因为哑光，也找不到更好的材料）
软件逻辑流程：
打开软件，显示主窗体。
进行相机标定，可以用已经预先拍好的标定板照片进行标定，也可以用程序内置的截图按钮对标定板进行摄像并进行标定。
按下分析按钮，即可即时显示检测结果在屏幕上
软件界面设计：
（取名叫Amadeus）
三、各个功能实现
1.界面编写
界面基于Qt，版本是5.12.9，编译器是MingW 7.30 64位，OpenCV库版本是4.5.4
第一步是在Qt里使用OpenCV库，需要在pro文件里加上这么几行
INCLUDEPATH += I:\Documents\Qt\OpenCV\build\install\include
INCLUDEPATH += I:\Documents\Qt\OpenCV\build\install\include\opencv2
LIBS += I:\Documents\Qt\OpenCV\build\lib\libopencv_*.a然后再包含各种头文件
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"这样，就可以在Qt里使用OpenCV了
2.采集图像
下一步就是编写各种功能，我们首先要实现的是采集图像和显示图像到窗体的功能，关键代码如下
cap.open(camNum);
timer -> start(33); //打开序号为camNum的摄像头，将定时器调为33毫秒中断一次因为Qt有着独特的图片类型QImage，所以我们要将摄像头采集到的Mat类型图像转换为QImage类型再显示出来，关键代码如下
cap.read(frame); //读取摄像头采集到的图像，存放在frame中
QImage qim = MainWindow::convertMat2QImage(frame);
/*将OpenCV库中Mat类型的frame变量转换为Qt专用的图片类型QImage，名字是qim*/
ui->camView->setPixmap(QPixmap::fromImage(qim));
/*让窗体中的camView组件显示qim*/convertMat2QImage方法是我自定义的一个方法，代码如下
QImage MainWindow::convertMat2QImage(Mat &src)
{
cvtColor(src, src, COLOR_BGR2RGB);//将颜色通道从BGR转为RGB
QImage qim((const unsigned char*)src.data, src.cols, src.rows, src.step, QImage::Format_RGB888);
return qim;
}这样，采集图像的功能就完成了。
3.保存图像
保存图像也很简单，只需要一个Mat类型的图像和一行代码就可以完成，但是我写了一个可以保存多个图像并且按顺序命名文件的方法，为了以后标定方便使用，关键代码如下
void MainWindow::on_cap_clicked()
{
capNum++; //文件序号自加
string cap = ".bmp";//后缀为bmp
string fileName = to_string(capNum).append(cap);//将文件序号字符串拼接上后缀字符串
imwrite(fileName, frameC);//imwrite函数保存图像
}4.形状识别
识别形状的部分借用了另一位博主的代码，原帖地址：计算机视觉 OpenCV【七：应用之形状与轮廓检测】_Kukeoo的博客-CSDN博客
这个方法使用了识别轮廓和拟合轮廓为多边形的方式，通过多边形的角点数来判断形状，可以说是十分的直观。关键代码如下：
approxPolyDP(contour[i], conPoly[i], 0.02 * peri, true); //将轮廓拟合为多边形
boundRect[i] = boundingRect(conPoly[i]); //外接矩形
minRect[i] = minAreaRect(conPoly[i]); //最小外接矩形
int objCor = (int)conPoly[i].size(); //定义角点数量
if (objCor == 3) { objectType = 1; } //objectType == 1时，即为三角形
else if (objCor == 4)
{
float aspRatio = (float)boundRect[i].width / boundRect[i].height;//长宽比来区别正方形与矩形
if (aspRatio > 0.98 && aspRatio < 1.02) { objectType = 2; } //objectType == 2时，即为正方形
else { objectType = 3; } //objectType == 3时，即为长方形
}
else if (objCor == 5) { objectType = 4; } //objectType == 4时，即为五边形
else if (objCor == 6) { objectType = 5; } //objectType == 5时，即为六边形
else if (objCor > 6) { objectType = 6; } //objectType == 6时，即为圆形5.颜色识别
因为这次任务所要识别的亚克力板颜色和形状都是均匀的，并且色彩变化范围不大，所以采用了取识别到的亚克力板的最小外接圆的圆心的HSV通道的色相来判断该板块的颜色，关键代码如下：
minEnclosingCircle(conPoly[i], center, radius); //定义最小外接圆
circle(img, center, radius, Scalar(255, 0, 255), 2); //绘制最小外接圆 if(color[2] <= 46 && color[1] >= 0){ colorString = "Black"; }
//根据最小外接圆圆心的色相判断其颜色
else if(color[0] <= 180 && color[0] >= 156) { colorString = "Red"; }
else if(color[0] <= 10 && color[0] >= 0) { colorString = "Red"; }
else if(color[0] <= 25 && color[0] >= 11) { colorString = "Orange"; }
else if(color[0] <= 34 && color[0] >= 26) { colorString = "Yellow"; }
else if(color[0] <= 77 && color[0] >= 35) { colorString = "Green"; }
else if(color[0] <= 99 && color[0] >= 78) { colorString = "Yellow"; }
else if(color[0] <= 124 && color[0] >= 100) { colorString = "Blue"; }
else if(color[0] <= 155 && color[0] >= 125) { colorString = "Purple"; }6.像素尺寸识别
按照要求，像素尺寸要输出几个数据，比如面积、最小外接圆半径、边长。
代码中具体实现输出的是：
- 三角形：边长、面积、最小外接圆半径
- 正方形：边长、面积、最小外接圆半径
- 矩形：长、宽、面积、最小外接圆半径
- 五边形：边长、面积、最小外接圆半径
- 六边形：边长、面积、最小外接圆半径
- 圆形：半径、面积
具体使用的计算方法如下
- 边长：将一个形状的轮廓周长除以这个形状的边数，即可得到边长
- 面积：将上面得到的边长代入这个形状的面积计算公式，即可得到该形状的面积
- 最小外接圆半径：直接用OpenCV自带的函数对轮廓绘制最小外接圆，会返回一个半径
- 矩形的长和宽：需要对矩形绘制最小外接矩形，并返回最小外接矩形的长和宽
这一部分代码有点长.......具体请见我主页公开的源代码
7.多目标同时识别
这个没啥好说的，给识别形状的代码加一个for循环就行了
for (int i = 0; i < (int)contour.size(); i++)//对每一个轮廓进行识别
{
......
}8.相机标定
相机标定部分借用了另一位博主的代码
Opencv 张正友相机标定傻瓜教程_牧野的博客-CSDN博客_opencv相机标定
9.实际尺寸输出
这里使用的方法是，首先进行相机标定，输出畸变参数和内参矩阵，再用这两个参数对拍摄的一张标定图片进行校正，提取其中两个相邻的角点，计算出两个角点之间的像素距离。
这时候两个角点之间的像素距离就是校正后的像素距离，将它与这两个角点的实际距离相除，可以得到一个系数，使用这个系数乘以之前计算出的多边形尺寸，即可得到多边形的实际尺寸。关键代码如下
Mat newImage;
undistort(imageSource, newImage, cameraMatrix, distCoeffs);
findChessboardCorners(imageSource, board_size, image_points3, 0);
//输出一张校正后的图像，检测该图像的角点并计算距离
Point2f p1 = image_points3.at(0);
Point2f p2 = image_points3.at(1);
float distance = getDistance(p1, p2);
ratio1 = 6/distance;//系数等于实际距离除以像素距离其中getDistance是自定义的一个函数
double getDistance (Point2f pointO, Point2f point1)//计算两点之间的距离
{
double distance;
distance = powf((pointO.x - point1.x),2) + powf((pointO.y - point1.y),2);
distance = sqrtf(distance);
return distance;
}10.实际效果
到这里，所有功能大致就完成了，后面经过了各种调试，得到实际误差在±0.1~0.2mm之间，还算不错的一个数值。
大多数情况下还是挺准的，有些时候颜色识别不正确需要手动调节下光圈
11.透视校正
这时候老师又给我们出了一个任务：将摄像机倾斜20度拍摄！
这时候就需要进行透视变换，但是透视变换输入的矩阵如何计算呢？这个问题我想了很久，最后想到了一个巧妙的方法。
- 首先准备一张白纸，将它平铺在摄像机底下（这时摄像机并没有倾斜）
- 把这张白纸裁剪到尺寸与摄像机的视场面积完全一致
- 将摄像机倾斜20度
- 将白纸的底部与视场底部对准，两边尽量对称
这样，就得到了透视变换的输入参数！白纸的四个角点即是透视变换输入的四个点，将这四个点拉伸到图像的四个角点即可完成透视变换。
四、总结
差不多就是这样，软件部分我自己用了接近五天的时间完成........最后老师给打了满分，哈哈哈哈哈
做这个东西路上也踩到了不少坑，比如逻辑上的混乱，算法的bug等等。这提醒我以后编写逻辑性比较长的程序要先了解各个功能实现的原理，再去实现功能之间的逻辑。
第一次写这么长的博客，希望大家多多指教，谢谢！