opencv校正图像

---

1、前言

我们用相机拍照时，会因为角度问题造成拍歪，会影响图像的识别，这时就需要对图像进行校正，下面介绍校正图像的一种方式，可以用来校正简单的图像，如文字信息、工件等。
校正的过程可以分为以下几步：
1、转灰度图。
2、降噪。
3、Canny边缘检测。
4、膨胀。
5、轮廓检索。
6、从各个轮廓中选取合适的旋转角度并校正图像。
总体的思路是获取图像中各个特征的轮廓旋转角度，从中选取合适的角度让原图像进行逆旋转，达到校准目的。
方法参考：https://blog.csdn.net/DU_YULIN/article/details/120504660

2、例程

2.1、代码

#include 
#include 
#include 
#include 
#include 

using namespace cv;
using namespace std;

int main() {
    Mat src = imread("./test5.jpg");
    imshow("src", src);

    /* 转灰度图 */
    Mat gray;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    imshow("gray", gray);

    /* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */
    Mat blur;
    GaussianBlur(gray, blur, Size(5, 5), 1.0);
    imshow("gaussianBlur", blur);

    /* Canny边缘检测 */
    Mat canny;
    Canny(blur, canny, 20, 100);
    imshow("canny", canny);

    /* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */
    Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));
    Mat expand;
    dilate(canny, expand, kernel, Point(-1, -1), 2);
    imshow("dialate", expand);

    /* 检索轮廓 */
    vector<vector<Point>> contours;
    findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);

    /* 对各个轮廓的旋转角度进行排序 */
    std::vector<float> vecAngles;
    for (int i = 0; i < contours.size(); i++) {
        RotatedRect rr = minAreaRect(contours[i]);
        vecAngles.push_back(rr.angle);
    }
    std::sort(vecAngles.begin(), vecAngles.end());

    /* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */
    float midIndex = int(vecAngles.size() / 2) - 1;
    float midAngle = vecAngles[midIndex];
    float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;
    float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;
    float angleSum = 0;
    int angleCounter = 0;
    cout << "maxAngleThreshold:" << maxAngleThreshold << endl;
    cout << "minAngleThreshold:" << minAngleThreshold << endl;
    for (auto angle : vecAngles) {
        cout << angle << endl;
        if (angle > minAngleThreshold && angle < maxAngleThreshold) {
            angleSum += angle;
            angleCounter++;
        }
    }
    float averageAngle = angleSum / angleCounter;
    cout << "averageAngle:" << averageAngle << endl;
    cout << "midAngle:" << midAngle << endl;

    /* 旋转图像 */
    Mat result;
    Mat rotateM = getRotationMatrix2D(Point2f(gray.cols / 2.0, gray.rows / 2.0), averageAngle, 1.0);
    warpAffine(src, result, rotateM, gray.size(), INTER_LINEAR, BORDER_CONSTANT, Scalar(255, 255, 255));
    imshow("result", result);
  	waitKey(0);
}

2.2、效果

口罩

说明书

网页

3、按步骤分析

3.1、转灰度图

Mat gray;
cvtColor(src, gray, COLOR_BGR2GRAY);
imshow("gray", gray);

我们平时看的图片都是由RGB来描述颜色的，RGB有三个值，而灰度图只有一个灰度值，转换为灰度图可以减少计算量。

3.2、降噪 + Canny边缘检测

/* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */
Mat blur;
GaussianBlur(gray, blur, Size(5, 5), 1.0);
imshow("gaussianBlur", blur);

/* Canny边缘检测 */
Mat canny;
Canny(blur, canny, 20, 100);
imshow("canny", canny);

降噪是为Canny边缘检测做准备，相机拍出来的照片会有很多多余的特征，这些会影响到边缘检测的结果，通过降噪可以把不明显的特征去掉。
比如这张图片，我们需要校正的只有中间的文字部分。

如果不进行降噪，Canny边缘检测的结果会是这样，存在多余的特征，可能会影响到最后的结果。

降噪后把最明显特征留了下来，提高准确度。

3.3、膨胀（可视具体情况省略）

/* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */
Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));
Mat expand;
dilate(canny, expand, kernel, Point(-1, -1), 2);
imshow("dialate", expand);

如上图所示，Canny算法查找到了很多组轮廓，但有时候我们其实不需要太多细节上的轮廓，只需要一个能描述整体的轮廓，这时候用膨胀就可以把这些细节的轮廓组合到一起，这样做的好处是可以减少计算量，而且整体的轮廓比细节轮廓更有代表性。

3.4、轮廓检索

/* 检索轮廓 */
vector<vector<Point>> contours;
findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);

opencv提供了findContours可以获取图像中的轮廓位置及其旋转角度。

3.5、选取角度

选取角度的方法有很多，可以视情况选择，我这里针对不同场景，提供两种方法。

3.5.1、取平均值

如果要校正文本信息，那么需要获取的是图像整体轮廓的偏移角度，所以可以采取取平均值的方式，例程如下。
过程是先排序，取中间值，避开一些过大或过小的角度，取中间值前后15度的所有角度作为有效角度，通过有效角度的平均值来确定最终的校准结果。

为什么不直接用中间值？直接使用中间值会存在一些特殊情况，比如角度序列：0、31、31、36、90、90。中间值的选取，取决于过大、或过小角度的数量，从序列选中可以看到，偏移角度显然是倾向于31方向的，而结果却是36，所以有时结果偏差比较大。

/* 对各个轮廓的旋转角度进行排序 */
vector<float> vecAngles;
for (int i = 0; i < contours.size(); i++) {
	RotatedRect r = minAreaRect(contours[i]);
	vecAngles.push_back(r.angle);
}
sort(vecAngles.begin(), vecAngles.end());

/* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */
float midIndex = int(vecAngles.size() / 2) - 1;
float midAngle = vecAngles[midIndex];
float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;
float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;
float angleSum = 0;
int angleCounter = 0;
for (auto angle : vecAngles) {
	if (angle > minAngleThreshold && angle < maxAngleThreshold) {
		angleSum += angle;
		angleCounter++;
	}
}
float averageAngle = angleSum / angleCounter;

3.5.2、以最大面积为准

如果要校正的是一些工件之类的，比如前面示例里的口罩，轮廓面积占比比较大的，可以通过判断轮廓面积大小来确定角度。

例程：

float angleResult = 0;
float maxArea = 0;
for (int i = 0; i < contours.size(); i++) {
	auto cnt = contours[i];
    auto area = contourArea(cnt );
    if (maxArea < area) {
		maxArea = area;
		RotatedRect r = minAreaRect(contours[i]);
		angleResult = r.angle;
    }
}

效果比平均值好一些。