OpenCV2学习笔记（三）：形态学及边缘角点检测
形态学滤波理论于上世纪90年代提出，目前被广泛用于分析及处理离散图像。其基本运算有4个： 膨胀、腐蚀、开启和闭合， 它们在二值图像和灰度图像中各有特点。基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边缘检测、 图像滤波、图像增强和恢复等。数学形态学方法利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时， 便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。数学形态学基于探测的思想，与人的FOA(Focus Of Attention)的视觉特点有类似之处。其中最重要的结构元素，可直接携带知识（形态、大小、甚至加入灰度和色度信息）来探测、研究图像的结构特点。鉴于研究所需，记录一些知识点，开发平台为OpenCV2.4.9+Qt5.3.2。
一：图像腐蚀、膨胀和开闭运算
这些运算的基本公式和原理参考：http://blog.csdn.net/liyuefeilong/article/details/43374777
图像的腐蚀：替换为当前像素位像素集合中的最小像素值，函数为cv::erode
图像的膨胀：替换为当前像素位像素集合中的最大像素值，函数为cv::dilate
图像的开运算：先腐蚀后膨胀，函数为cv::morphologyEx，对应的参数为MORPH_CLOSE
图像的闭运算：先膨胀后腐蚀，函数为cv::morphologyEx，对应的参数为MORPH_OPEN
如morphologyEx(image, opened, cv::MORPH_OPEN, element2, cv::Point(-1,-1), 1); 中，输入图像为image，输出图像为opened，执行开操作，结构元素为element2，原点参数cv::Point(-1,-1)表示原点位于矩阵的中心（默认）,最后的1则表示对图像的操作次数（注：对一幅图像多次使用开操作和闭操作时效果不会有改善，这些运算是等幂的）。形态学滤波本是基于二值图像上，但以上这些运算同样适用于灰度图像。
新建一个Qt控制台应用，创建一个类：MorphoFeatures：
#ifndef MORPHOFEATURES_H
#define MORPHOFEATURES_H
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
class MorphoFeatures {
public:
void fourFunctions(cv::Mat &image); // 腐蚀、膨胀、开操作、闭操作
}
#endif // MORPHOFEATURES_Hvoid MorphoFeatures::fourFunctions(cv::Mat &image)
{ // 腐蚀运算,替换为当前像素位像素集合中的最小像素值 cv::Mat eroded; cv::erode(image, eroded, cv::Mat()); // 膨胀运算,替换为当前像素位像素集合中的最大像素值 cv::Mat dilated; cv::dilate(image, dilated, cv::Mat()); // 闭运算,先膨胀后腐蚀 cv::Mat closed; cv::Mat element1(3, 3, CV_8U, cv::Scalar(1)); cv::morphologyEx(image, // 输入图像 closed, // 输出图像 cv::MORPH_CLOSE, // 指定操作 element1, // 结构元素设置 cv::Point(-1,-1), // 操作的位置 1); // 操作的次数 //开运算,先腐蚀后膨胀 cv::Mat opened; cv::Mat element2(3, 3, CV_8U, cv::Scalar(1)); cv::morphologyEx(image, opened, cv::MORPH_OPEN, element2, cv::Point(-1,-1), 1); cv::namedWindow("Eroded Image"); cv::imshow("Eroded Image", eroded); cv::namedWindow("Dilated Image"); cv::imshow("Dilated Image", dilated); cv::namedWindow("Orginal Image"); cv::imshow("Orginal Image", image); cv::namedWindow("Closed Image"); cv::imshow("Closed Image", closed); cv::namedWindow("Opened Image"); cv::imshow("Opened Image", opened); }
得出四种操作的处理效果：
这里你会觉得腐蚀与膨胀、开操作与闭操作的效果和期望是相反的。这是因为我们认为图像素材中黑色字体是前景，白色为背景。而一般的，形态学规定用高像素表示前景物体，用低像素表示背景，因此使用这些基本运算之前，可以根据实际情况给原图像取反。
二、利用形态学滤波进行边缘检测
形态学滤波利用梯度进行边缘检测，其原理是计算膨胀后的图像和腐蚀后的图像的差值，由于两个变换后的图像不同之处主要在边缘处，图像边缘将通过求差得到强化。函数为morphologyEx，参数为MORPH_GRADIENT。若架构元素尺寸越大，检测出的边缘越厚。最简单的边缘检测运算是用原图减去腐蚀后的图像，或者用膨胀后的图像减去原图或腐蚀图像，效果很直观，缺点是得到的边缘较薄。
以下给出形态学滤波进行边缘检测的基本方法：
在class MorphoFeatures中添加几个函数：
public:
cv::Mat getEdges(const cv::Mat &image);
void setThreshold(int gate); // 设定阈值
private：
void applyThreshold(cv::Mat &result);在morphofeatures.cpp中添加：
void MorphoFeatures::setThreshold(int gate)
{
threshold = gate;
}
cv::Mat MorphoFeatures::getEdges(const cv::Mat &image)
{
// 得到梯度图
cv::Mat result;
cv::morphologyEx(image, result, cv::MORPH_GRADIENT, cv::Mat());
// 阈值化以得到二值图像
applyThreshold(result);
return result;
}
void MorphoFeatures::applyThreshold(cv::Mat &result)
{
// 使用阈值化
if(threshold > 0)
{
cv::threshold(result, result, threshold, 255, cv::THRESH_BINARY);
}
}简单修改main函数：
#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include "morphofeatures.h"
int main(int argc, char *argv[])
{
QCoreApplication a(argc, argv);
MorphoFeatures h;
cv::Mat image = cv::imread("c:\\gray.jpg");
// h.fourFunctions(image);
// 边缘检测
h.setThreshold(80); // 设定阈值
cv::Mat result = h.getEdges(image);
cv::namedWindow("Input Image");
cv::imshow("Input Image",image);
cv::namedWindow("Edge");
cv::imshow("Edge",result);
return a.exec();
}效果：
效果差强人意……除此之外，还可以用sobel算子、Canny算子等对图像进行边缘检测，这些方法都可以通过改变结构元素来实现，如下图所示为几种3*3的Sobel算子。基于Sobel算子的边缘检测见：http://blog.csdn.net/liyuefeilong/article/details/43452711
另外一个应用是对图像进行形态学tophat变换，用h表示，定义为：
其中，f是输入图像，B是结构元素函数。tophat变换对于增强灰度图像的阴影细节很有用处。
三、利用形态学滤波进行图像角点检测
这里使用四种不同的结构元素检测图像角点，分别为十字型、菱型、x型和方形元素，尺寸规定为5*5。与边缘检测不同，角点的检测复杂。运算过程主要分三步：
第一步，先用十字形的结构元素膨胀原图像，这种情况下只会在边缘处“扩张”，角点不发生变化。接着用菱形的结构元素腐蚀原图像，只有拐角处才会被“收缩”，而直线边缘不发生变化。
第二步，用X型的结构元素膨胀原图像，角点膨胀的比边要多。这样第二次用方块腐蚀时，角点恢复原状，而边要腐蚀的更多。
第三步，将一二步的两幅输出图像相减，结果只保留了各个拐角处的细节。
首先在类MorphoFeatures.h中添加：
public:
cv::Mat getCorners(const cv::Mat &image); // 角点检测函数
void drawOnImage(const cv::Mat &binary, cv::Mat &image); // 在角点处标记圆圈
// 以下构造四种不同的结构元素用来检测灰度图像的角点
MorphoFeatures():threshold(-1), cross(5,5,CV_8U,cv::Scalar(0)), diamond(5,5,CV_8U,cv::Scalar(1)), square(5,5,CV_8U,cv::Scalar(1)), x(5,5,CV_8U,cv::Scalar(0))
{
// 5*5的十字形元素
for (int i=0; i<5; i++) {
cross.at<uchar>(2,i)= 1;
cross.at<uchar>(i,2)= 1;
}
// 5*5的菱形元素
diamond.at<uchar>(0,0)= 0;
diamond.at<uchar>(0,1)= 0;
diamond.at<uchar>(1,0)= 0;
diamond.at<uchar>(4,4)= 0;
diamond.at<uchar>(3,4)= 0;
diamond.at<uchar>(4,3)= 0;
diamond.at<uchar>(4,0)= 0;
diamond.at<uchar>(4,1)= 0;
diamond.at<uchar>(3,0)= 0;
diamond.at<uchar>(0,4)= 0;
diamond.at<uchar>(0,3)= 0;
diamond.at<uchar>(1,4)= 0;
// 5*5的x型元素
for (int i=0; i<5; i++)
{
x.at<uchar>(i,i)= 1;
x.at<uchar>(4-i,i)= 1;
}
}接着，在morphofeatures.cpp中添加：
cv::Mat MorphoFeatures::getCorners(const cv::Mat &image)
{
cv::Mat result;
// 十字膨胀
cv::dilate(image, result, cross);
// 棱形腐蚀 形态学函数支持原地操作
cv::erode(result, result, diamond);
cv::Mat result2;
// x型膨胀
cv::dilate(image, result2, x);
// 方形腐蚀
cv::erode(result2, result2, square);
// 对result和result2这两张图像相减，得到焦点图像
cv::absdiff(result2, result, result);
// 阈值化，得到二值图像
applyThreshold(result);
cv::namedWindow("Corners");
cv::imshow("Corners", result);
return result;
}
void MorphoFeatures::drawOnImage(const cv::Mat &binary, cv::Mat &image)
{
cv::Mat_<uchar>::const_iterator it = binary.begin<uchar>();
cv::Mat_<uchar>::const_iterator itend = binary.end<uchar>();
for(int i=0; it!=itend; ++it, ++i)
{
if(*it) // 若该像素被标定为角点则画白色圈圈
{
cv::circle(image, cv::Point(i%image.step, i/image.step), 5, cv::Scalar(255, 255, 255));
}
}
}在main.cpp中简单添加：
cv::Mat corners;
corners = h.getCorners(image);
h.drawOnImage(corners, image);
cv::namedWindow("Corners On Image");
cv::imshow("Corners On Image", image);效果：
在这里，需要把输入图像转化为二值图像，因此阈值的选择会影响角点检测效果，如下图所示：
尽管角点检测效果有好有坏，不过实现该方法，对于理解腐蚀、膨胀、开操作、闭操作有很好的帮助。
欢迎转载或分享，但请务必声明文章出处~