计算机视觉 OpenCV Android | 基本特征检测 之 模板匹配

模板匹配的 概述 以及 使用简介

• 模板匹配是最简单的模式识别算法之一，
  其在图像处理中经常用于从一副未知图像中，
  根据预先定义好的模板图像来寻找与模板图像相同或者高度相似的子图像区域。

• 所以模板匹配需要两个输入，一个是模板图像，另一个是待检测的目标图像。

• 模板匹配使用的是基于图像像素相似度的计算方法，
  很容易受到光照强度、对象几何畸变的影响而降低准确性，
  只有在亮度和分辨率恒定以及无几何畸变的情况下才会得到比较高的准确率。
  
  
  
  

---

准备的材料 以及 运行结果示图

下面我们准备好一个模板图像与待检测的图像：

模板图像

待检测的图像

则运行接下来的demo代码，检测结果将如下：（截图中蓝色箭头所指的红色方框即为程序所匹配并绘制的）

---

模板匹配知识 与 demo代码

OpenCV中支持的基于像素计算的模板匹配方法包括如下6种，具体如下表：

• 如果计算模板匹配时使用的模板匹配方法是平方不同或者归一化平方不同，
  则值越小表示子区域与模板匹配度越高，
• 其他四个方法则是值越高表示图像子区域与模板匹配度越高，
• 使用模板匹配的时候，
  首先要根据模板图像与输入图像计算得到输入图像的每个像素点与模板的匹配程度值，
  然后根据使用的计算方法求得最小值或者最大值，
  得到最终的模板匹配子图像矩形区域。

模板匹配API如下：

• matchTemplate(Mat image, Mat templ, Mat result, int method)
image：表示输入图像，大小为W×H。
  templ：表示模板图像，大小为w×h。
  result：表示计算输出的结果，结果大小必须为（W-w+1）×（H-h+1），单通道的浮点数。
  method：表示计算方法，取值为上表所支持的 6种方法之一。

result处参数大小定义为（W-w+1）×（H-h+1）的原因：

• 由下文的demo代码中Point maxloc = minMaxResult.maxLoc; 　　Point minloc = minMaxResult.minLoc;
  以及Imgproc.rectangle(dst, matchloc, new Point(matchloc.x+tpl.cols(), matchloc.y + tpl.rows()), new Scalar(0, 0, 255), 2, 8, 0);三行代码，
  我们可以知道,
  minMaxResult.maxLoc和minMaxResult.minLoc返回的Point对象
  是一个矩形（其实就是模板图像）的左上角的坐标；
• 按照这个思路以及下面的示意图，我们便可以知晓result处参数大小定义为（W-w+1）×（H-h+1）的意义：
  

实现图像对象模板匹配的demo：

private void matchTemplateDemo(Mat src, Mat dst) {
//        String tplFilePath = fileUri.getPath().replaceAll("lena", "tmpl");
//        Mat tpl = Imgcodecs.imread(tplFilePath);
        //*******
        Bitmap bitmap = BitmapFactory.decodeResource(this.getResources(), R.drawable.tmpl);
        Mat tplori = new Mat();
        Mat tpl = new Mat();
        Utils.bitmapToMat(bitmap, tplori);
        Imgproc.cvtColor(tplori, tpl, Imgproc.COLOR_RGBA2BGR);
        //*******
        int height = src.rows() - tpl.rows() + 1;
        int width = src.cols() - tpl.cols() + 1;
        Mat result = new Mat(height, width, CvType.CV_32FC1);

　　// 模板匹配
　　int method = Imgproc.TM_CCOEFF_NORMED;
　　Imgproc.matchTemplate(src, tpl, result,method);
　　Core.MinMaxLocResult minMaxResult = Core.minMaxLoc(result);
　　Point maxloc = minMaxResult.maxLoc;
　　Point minloc = minMaxResult.minLoc;
　　Point matchloc = null;
　　if(method == Imgproc.TM_SQDIFF || method == Imgproc.TM_SQDIFF_NORMED) {
　　　　matchloc = minloc;
　　} else {
　　　　matchloc = maxloc;
　　}

　　// 绘制
　　src.copyTo(dst);
　　Imgproc.rectangle(dst, matchloc, new Point(matchloc.x+tpl.cols(), matchloc.y + tpl.rows()), new Scalar(0, 0, 255), 2, 8, 0);
　　tpl.release();
　　result.release();
}

代码的运行结果见上文《准备的材料 以及 运行结果示图》部分；

// 模板匹配代码模块的思路：（从API输出对象Mat result到表示模板图像的左上角的坐标的Point对象其简单的转换过程）

---

作者寄语，尚待研究

• 对于不同分辨率的图像，
  可以先采样建立高斯金字塔，
  然后再使用模板图像在不同层中进行匹配，
  这样可以提高模板匹配的命中率，
  感兴趣的读者可以自己尝试。

---

参考材料

• 《OpenCV Android 开发实战》（贾志刚 著）
• 关于《OpenCV Android 开发实战》作者的GitHub项目
• 笔者基于作者GitHub维护的APP