Opencv 基本操作五 各种连通域处理方法

在深度学习中，尤其是语义分割模型部署的结果后处理中，离不开各类形态学处理方法，其中以连通域处理为主；同时在一些传统的图像处理算法中，也需要一些形态学、连通域处理方法。为此，整理了一些常用的连通域处理函数：查找图像中最大的连通域、删除图像中小面积的连通域、删除图像中的黑色连通域、获取形状的骨架。关于博文代码中连通域处理中的图像D:/Img_data/15.bmp，如下所示，各位如果要运行出一样的效果的话可以用下图进行测试。

1、查找图像中最大的连通域

该功能基于connectedComponents函数实现，具体包含4步：
1、通过connectedComponents将每一个连通域的像素用相同的label值标记结果出入Mat labels中
2、然后遍历mat即可找出面积最大的连通域的label值
3、最后遍历Mat labels将像素值不等于最大的连通域的label值的置0即可。

1.1 函数实现

函数命名为findLargesrArea，传入CV_8UC1型的mat，返回结果也为CV_8UC1类型

//找图图中最大的连通域
Mat findLargesrArea(Mat srcImage)
{
    Mat temp;
    Mat labels;
    srcImage.copyTo(temp);

    //1. 标记连通域
    int n_comps = connectedComponents(temp, labels, 4, CV_16U);
    vector<int> histogram_of_labels;
    for (int i = 0; i < n_comps; i++)//初始化labels的个数为0
    {
        histogram_of_labels.push_back(0);
    }

    int rows = labels.rows;
    int cols = labels.cols;
    for (int row = 0; row < rows; row++) //计算每个labels的个数--即连通域的面积
    {
        for (int col = 0; col < cols; col++)
        {
            histogram_of_labels.at(labels.at<unsigned short>(row, col)) += 1;
        }
    }
    histogram_of_labels.at(0) = 0; //将背景的labels个数设置为0

    //2. 计算最大的连通域labels索引
    int maximum = 0;
    int max_idx = 0;
    for (int i = 0; i < n_comps; i++)
    {
        if (histogram_of_labels.at(i) > maximum)
        {
            maximum = histogram_of_labels.at(i);
            max_idx = i;
        }
    }

    //3. 将最大连通域标记为255，并将其他连通域置0
    for (int row = 0; row < rows; row++)
    {
        for (int col = 0; col < cols; col++)
        {
            if (labels.at<unsigned short>(row, col) == max_idx)
            {
                labels.at<unsigned short>(row, col) = 255;
            }
            else
            {
                labels.at<unsigned short>(row, col) = 0;
            }
        }
    }

    //4. 将图像更改为CV_8U格式
    labels.convertTo(labels, CV_8U);
    return labels;
}

1.2 调用效果

测试调用代码如下所示，im2既为找到的最大连通域结果图

void main() {
    string path = "D:/Img_data/15.bmp";
    Mat im1 = imread(path, 0);
    resize(im1, im1, {512,512});
    im1 = 255 - im1;
    imshow("im1", im1);
    Mat im2=findLargesrArea(im1);
    imshow("im2", im2);
    waitKey();
}

调用结果如下所示：

2、删除小面积的连通域

该功能基于connectedComponentsWithStats函数实现，具体包含4步：
1、通过connectedComponentsWithStats将每一个连通域的像素用相同的label值标记，标记结果存为Mat labels，并将每一个连通域的面积存入Mat stats中
2、为每一个连通域设置一个颜色转换表vector colors，将连通域面积小于阈值的连通域颜色转换值为黑色
3、建立一个Mat img_color，遍历Mat labels按照其像素值从vector colors中取值设置Mat img_color的值
4、将Mat img_color进行二值化

2.1 函数实现

删除小面积的连通域可以使用connectedComponents函数，这里改用connectedComponentsWithStats函数实现，相比于connectedComponents函数需要自行计算连通域面积，connectedComponentsWithStats函数的参数stats已经将连通域面积带出来了

//删除小面积的连通域
Mat deleteMinWhiteArea(Mat src,int min_area) {
    Mat labels, stats, centroids, img_color, grayImg;
    //1、连通域信息统计
    int nccomps = connectedComponentsWithStats(
        src, //二值图像
        labels,
        stats,
        centroids
    );

    //2、连通域状态区分
    //为每一个连通域初始化颜色表
    vector<Vec3b> colors(nccomps);
    colors[0] = Vec3b(0, 0, 0); // background pixels remain black.
    for (int i = 1; i < nccomps; i++)
    {
        colors[i] = Vec3b(rand() % 256, rand() % 256, rand() % 256);
        //面积阈值筛选
        if ((stats.at<int>(i, CC_STAT_AREA) < min_area))
        {
            //如果连通域面积不合格则置黑
            colors[i] = Vec3b(0, 0, 0);
        }
    }
    //3、连通域删除
    //按照label值，对不同的连通域进行着色
    img_color = Mat::zeros(src.size(), CV_8UC3);
    for (int y = 0; y < img_color.rows; y++)
    {
        int* labels_p = labels.ptr<int>(y);//使用行指针，加速运算
        Vec3b* img_color_p = img_color.ptr<Vec3b>(y);//使用行指针，加速运算
        for (int x = 0; x < img_color.cols; x++)
        {
            int label = labels_p[x];//取出label值
            CV_Assert(0 <= label && label <= nccomps);
            img_color_p[x] = colors[label];//设置颜色
        }
    }
    //return img_color;
    //如果是需要二值结果则将img_color进行二值化
    cvtColor(img_color, grayImg, COLOR_BGR2GRAY);
    threshold(grayImg, grayImg, 1, 255, THRESH_BINARY);
    return grayImg;
}

2.2 调用效果

调用deleteMinWhiteArea函数需要传入mat对象和面积阈值，函数会将小于面积阈值的连通域置黑。

void main() {
    string path = "D:/Img_data/15.bmp";
    Mat im1 = imread(path, 0);
    resize(im1, im1, {512,512});
    //im1 = 255 - im1;
    imshow("im1", im1);
    Mat im2= deleteMinWhiteArea(im1,100);
    imshow("im2", im2);
    waitKey();
}

3、删除小面积的黑色孔洞

删除图像中的删除小面积的黑色孔洞也可以理解为删除图像中黑色的小面积连通域，有了删除白色小面积连通域函数，删除黑色孔洞代码异常简单。

3.1 函数实现

deleteMinBlackArea函数通过调用deleteMinWhiteArea函数实现，先将图像的颜色翻转（将白边黑，黑变白），然后删除小面积的白色连通域，最后再翻转回颜色即可

//删除图形中小面积的黑色孔洞
Mat deleteMinBlackArea(Mat src, int min_area) {
    Mat inv = 255 - src;//颜色取反
    Mat res = deleteMinWhiteArea(inv, min_area);
    return 255-res;//颜色取反
}

3.2 调用效果

调用代码如下所示，左图为原图，右图为删除小面积黑色孔洞的效果图

void main() {
    string path = "D:/Img_data/15.bmp";
    Mat im1 = imread(path, 0);
    resize(im1, im1, {512,512});
    im1 = 255 - im1;
    imshow("im1", im1);
    Mat im2= deleteMinBlackArea(im1,100);
    imshow("im2", im2);
    waitKey();
}

4、获取形状的骨架

提取形状的骨架在python中可以由skimage库中morphology.skeletonize()函数实现，但是查找整个c++opencv库也没有实现，为此对提取骨架算法进行分析，最终实现该函数。

4.1 函数实现

核心思想，采用十字架结构的kernel对形状不断进行腐蚀，每一次腐蚀后再进行开运算，将腐蚀结果与开运算结果作差，作差结构既为骨架部分，直到将整个图像腐蚀为全黑为止。
通过以上步骤可知：
1、被腐蚀掉的区域非骨架区域
2、开运算可以腐蚀掉图形的骨架区域

因此将开运算与腐蚀不断作差迭代运行，使图形越来越细，即可得到骨架。

//获取脊线
Mat get_ridge_line(Mat dst,int ksize=3) {
    Mat skeleton, result, open_dst;
    Mat kernel = getStructuringElement(MORPH_CROSS, Size(ksize, ksize));
    skeleton = Mat::zeros(dst.rows, dst.cols, dst.type());
    while (true) {
        if (sum(dst)[0] == 0) {
            break;
        }
        morphologyEx(dst, dst, MORPH_ERODE, kernel);//消除毛刺，删除部分连通域
        morphologyEx(dst, open_dst, MORPH_OPEN, kernel);
        result = dst - open_dst;
        skeleton = skeleton + result;
    }
    return skeleton;
}

4.2 调用效果

通过get_ridge_line函数获取轮廓骨架需要传入两个参数: mat和ksize，通过以下效果可以看出，ksize越大提取的骨架越粗。

void main() {
    string path = "D:/Img_data/a1.png";
    Mat im1 = imread(path, 0);
    resize(im1, im1, {512,512});
    imshow("im1", im1);
    Mat im2= get_ridge_line(im1,3);
    imshow("im2", im2);
    Mat im3 = get_ridge_line(im1, 7);
    imshow("im3", im3);
    waitKey();
}