一直没有一个系统的时间来深入学习OpenCV,鉴于项目需要,记录一下一些要点以供日后查阅。
OpenCV是一个基于(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上。其1.0版本于2006年面世,而在2009年又发布了重要的版本:OpenCV2,带来了新的C++接口;现在,OpenCV3也发布了,据说其Python接口大大增强、并且加入了Python 3.x的支持,还带来了许多新的提升,不过这并不在这里的讨论范围之内。这里使用的是:OpenCV2.4.9+Qt5.3.2。
OpenCV库自2.2版本起就被划分成多个模块,在进行开发之前,需要将这些模块编译成库文件,然后在lib文件夹中找到这些模块:
opencv_core模块:其中包含OpenCV基本数据结构、动态数据结构、绘图与数组操作的相关函数、辅助功能与系统函数、基本的算法函数等核心功能。
opencv_improc模块:包含图像处理函数,主要包含图像滤波、图像的几何变换、直方图、特征检测、目标跟踪等内容。
opencv_highgui模块:高层GUI图形用户界面,包含媒体的I/O输入输出函数,读写图像及视频的函数,以及操作图形用户界面函数。
opencv_features2d模块:即2D功能框架,包含兴趣点检测子,描述子以及兴趣点匹配框架。
opencv_calib3d模块:Calibration(校准)加3D这两个词的组合缩写。这个模块主要是相机校准和三维重建相关的内容,包含相机标定,双目几何估计,物体姿态估计以及立体视觉等函数。
opencv_video模块:包含运动估算,特征跟踪以及前景提取函数与相关的类。
opencv_objdetect模块:主要由级联分类(Cascade Classification)和Latent SVM这两个部分。其中包括物体检测函数,如脸部和行人检测。
opencv_stitching模块:OpenCV2.4.0新增的模块,其主要功能是实现图像拼接。
lopencv_superres模块:即SuperResolution,利用多种算法实现超分辨率技术的相关功能模块。
opencv_ml模块:机器学习模块,主要包括统计模型 (Statistical Models)、一般贝叶斯分类器 (Normal Bayes Classifier)、K-近邻 (K-NearestNeighbors)、支持向量机 (Support Vector Machines)、决策树 (Decision Trees)、提升(Boosting)、梯度提高树(Gradient Boosted Trees)、随机树 (Random Trees)、超随机树 (Extremely randomized trees)、期望最大化 (Expectation Maximization)、神经网络 (Neural Networks)等内容。
opencv_flann模块:高维的近似近邻快速搜索算法库, 主要由两个部分组成:快速近似最近邻搜索和聚类。
opencv_contrib模块:第三方代码,包括一些新添加的不太稳定的可选功能,如新型的人脸识别、立体匹配、人工视网膜模型等技术。
opencv_nonfree模块:包含一些拥有专利的算法,如SIFT、SURF函数源码。
这些模块都对有一个单独的头文件(位于include文件夹)。在Qt中推荐的声明方式如下:
#include
#include
#include
而在Qt中,为了使程序能通过编译,必须指定OpenCV的库文件和头文件的路径。因此在创建Qt工程之后,需要在后缀为.pro的项目文件中添加用于构建OpenCV的应用信息:
INCLUDEPATH+=C:\OpenCV\install\include\opencv\
C:\OpenCV\install\include\opencv2\
C:\OpenCV\install\include
LIBS+=C:\OpenCV\lib\libopencv_calib3d249.dll.a\
C:\OpenCV\lib\libopencv_contrib249.dll.a\
C:\OpenCV\lib\libopencv_core249.dll.a\
C:\OpenCV\lib\libopencv_features2d249.dll.a\
C:\OpenCV\lib\libopencv_flann249.dll.a\
C:\OpenCV\lib\libopencv_gpu249.dll.a\
C:\OpenCV\lib\libopencv_highgui249.dll.a\
C:\OpenCV\lib\libopencv_imgproc249.dll.a\
C:\OpenCV\lib\libopencv_legacy249.dll.a\
C:\OpenCV\lib\libopencv_ml249.dll.a\
C:\OpenCV\lib\libopencv_nonfree249.dll.a\
C:\OpenCV\lib\libopencv_objdetect249.dll.a\
C:\OpenCV\lib\libopencv_ocl249.dll.a\
C:\OpenCV\lib\libopencv_video249.dll.a\
C:\OpenCV\lib\libopencv_photo249.dll.a\
C:\OpenCV\lib\libopencv_stitching249.dll.a\
C:\OpenCV\lib\libopencv_superres249.dll.a\
C:\OpenCV\lib\libopencv_ts249.a\
C:\OpenCV\lib\libopencv_videostab249.dll.a
二、读取、显示图片并对图片进行简单的阈值分割
这里使用Qt设计一个简单窗口,如图1所示,该窗口包含打开图像和处理图像这两个按钮,同时在下方显示原图像和处理后的图像。
首先创建一个类,主要实现图像的阈值分割:
colordetector.h:
#ifndef COLORDETECTOR_H
#define COLORDETECTOR_H
#include
#include
#include
#include
class ColorDetector
{
public:
// 最小可接受距离
int minDist;
void setTargetColor(unsigned char red, unsigned char green, unsigned char blue);
cv::Mat process(const cv::Mat &image);
private:
// 目标颜色
cv::Vec3b target;
// 输出结果图像
cv::Mat result;
void setTargetColor(cv::Vec3b color);
void colorDetector(const cv::Mat &image, cv::Mat &result);
void setColorDistanceThreshold(int distance);
int getColorDistanceThreshold();
int getDistance(const cv::Vec3b& color);
cv::Vec3b getTargetColor() const;
};
#endif // COLORDETECTOR_H
colordetector.cpp:
#include "colordetector.h"
int ColorDetector::getDistance(const cv::Vec3b& color)
{
return abs(color[0] - target[0])+ abs(color[1] - target[1]) + abs(color[1] - target[1]);
}
void ColorDetector::colorDetector(const cv::Mat &image, cv::Mat &result)
{
cv::Mat_::const_iterator it = image.begin();
cv::Mat_::const_iterator itend = image.end();
cv::Mat_::iterator itout = result.begin();
// 对每个像素进行处理,计算每个像素距离目标颜色的距离
for(; itif(getDistance(*it)// 判断距离是否小于最小可接受距离
{
*itout = 0;
}
else *itout = 255;
}
}
void ColorDetector::setColorDistanceThreshold(int distance)
{ // 设置色彩距离阈值,阈值必须为正
if(distance < 0)
distance = 0;
minDist = distance;
}
int ColorDetector::getColorDistanceThreshold(){ // 获取色彩距离的阈值
return minDist;
}
void ColorDetector::setTargetColor(unsigned char red, unsigned char green, unsigned char blue)
{
// BGR顺序
target[2] = red;
target[1] = green;
target[0] = blue;
}
void ColorDetector::setTargetColor(cv::Vec3b color)
{ // 设置需检测的颜色
target = color;
}
cv::Vec3b ColorDetector::getTargetColor() const
{ // 获取需检测的颜色
return target;
}
// Process阈值分割方法的定义
cv::Mat ColorDetector::process(const cv::Mat &image)
{
result.create(image.rows, image.cols, CV_8U);
colorDetector(image, result);
return result;
}
cv::Mat image表示输入图像,result为输出图像,使用迭代器遍历图像的像素点,每个迭代计算当前像素颜色与设定的目标颜色的距离(用函数getDistance()实现),判断是否在minDist所定义的容忍度之内。判断为真,则将当前像素赋值为0(黑色),否则为255(白色)。当然,计算像素点距离的方法有很多,如计算RGB三个分量的欧拉距离。
在这里,提供两种设置目标颜色的方法。分别是设置RGB图像的三个颜色分量,和使用cv::Vec3b来保存颜色值,在函数setTargetColor()中可以看出。
第二步,进入Qt的ui设计模式拖入两个Push Button和两个label,调整布局并修改按钮和label名称,分别右击”Open Image”和”Process”转到槽,编写槽函数:
void MainWindow::on_pushButton_clicked() // Open Image槽函数
{
QString fileName = QFileDialog::getOpenFileName(this, tr("Open Image"), ".",
tr("Image Files(*.png *.jpg *.jpeg *.bmp)"));
image = cv::imread(fileName.toLatin1().data());
if(image.data){
//cv::namedWindow("Original Image");
//cv::imshow("Original Image", image);
cv::Mat imageclone = image.clone(); // 由于要改变颜色通道顺序,要避免原始图像被改变,使用深拷贝
cv::cvtColor(imageclone, imageclone, CV_BGR2RGB); // 改变颜色通道的顺序
QImage img1 = QImage((unsigned char*)(imageclone.data), image.cols,
image.rows, QImage::Format_RGB888);
// 显示在label中
ui -> label ->setPixmap(QPixmap::fromImage(img1));
// 改变label尺寸以自适应图像
ui -> label ->resize(ui->label->pixmap()->size());
}
else
qDebug() << tr("没有输入图像!");
}
void MainWindow::on_pushButton_2_clicked()
{
if(image.data)
{
ColorDetector detect;
// 设置输入参数
detect.minDist = 100; // 最小可接受距离
detect.setTargetColor(130,190,130); // 选定的阈值
// cv::namedWindow("result");
// cv::imshow("result", detect.process(image));
image = detect.process(image); // 对图像做阈值分割
cv::cvtColor(image, image, CV_GRAY2RGB); // 改变颜色通道的顺序
QImage img = QImage((unsigned char*)(image.data), image.cols, image.rows, QImage::Format_RGB888);
// 显示在label中
ui -> label_2 ->setPixmap(QPixmap::fromImage(img));
// 改变label尺寸以自适应图像
ui -> label_2 ->resize(ui->label_2->pixmap()->size());
}
else
qDebug() << tr("无输入图像,无法进行阈值分割");
}
opencv2中用于存储图像数据为Mat类型,而在opencv1中使用的是IplImage,其优点在于Mat是一个类,定义的类类型可以自动分配和释放内存空间,而IplImage需手动为其分配和释放内存空间,当图像较多时,可能会造成内存泄露。
在判断图片是否加载成功时使用了image.data,这是一个指向已分配的内存块的指针,当图片没有加载进来为NULL。
最后对main函数进行简单修改即可:
#include "mainwindow.h"
#include
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
MainWindow w;
w.setWindowTitle("简单的阈值分割");
w.show();
return a.exec();
}
三:图像复制中的深浅拷贝
需要注意的一点小问题,在复制图像时需要考虑是否想更改原图像,这需要牵涉到浅拷贝和深拷贝的概念:
浅拷贝的主要方式:
Mat A;
A = image ; // 第一种方式
Mat B(image); // 第二种方式
这两种方式之所以称为浅拷贝,是因为它们虽然有不同的名称,但是它们指向相同的内存空间。当其中一个图像矩阵发生变化时,另外一个也会发生变化。
深拷贝的主要方式:
Mat A,B;
A = image.clone(); // 第一种方式
image.copyTo(B); // 第二种方式
深拷贝是真正的复制了一个新的图像矩阵,此时image,A,B三者无论谁发生了改变,其他都不受影响。
最后感谢博客:http://blog.csdn.net/lu597203933 给出的一些讲解。