c++ opencv3显示拖动图片_图像处理：OpenCV3源代码文件解析

引言

结合冈萨雷斯的《数字图像处理》和Opencv3.0,学习图像处理算法有一段时间了，知道了函数怎么使用，但不知道opencv所用的函数源代码是如何编写的，“知其然，也要知其所以然”，闲暇之日，研究下源代码的编写，纵然不能全部看懂或者掌握，有收获就是好的。

有诗为证，诗曰:

图像处理有本质，二维数组是内涵。

卷积频域来滤波，轮廓分割形态学。

书山有路勤为径，兴趣使然来做舟。

为识庐山真面目，学习源码实践多。

源代码位置

假如你将opencv3.0解压到D:opencv3.0,那么路径为：

D:opencv3.0opencvsources

文件夹modules和samples是我们重点学习的内容。

图 1 源代码和范例存放位置

图1 文件夹存放内容如下。

• 3rdparty: 包含第三方库，如用视频解码用的 ffmpeg、jpg、png、tiff 等图片的解码库。
• apps: 包含进行 Haar 分类器训练的工具，OpenCV 进行人脸检测便是基于 Haar 分类器。如果你想检测人脸以外的图片，千万不要错过这几个工具。
• cmake: 包含生成工程项目时cmake 的依赖文件，只能用于搜索第三方库，普通开发者不需要关心这个文件夹的内容。
• data: 包含 OpenCV 库及范例中用到的资源文件
• doc: 包含生成文档所需的源文件及辅助脚本
• include: 包含入口头文件。OpenCV子文件夹中是C语言风格的API。OpenCV 2 子文件夹中只有一个 opencv.hpp 文件，这是 OpenCV 2 及 OpenCV 3 推荐使用的头文件
• modules:算法模块的源代码。研究算法的同学 学习的重点！！！
• platforms: 包含交叉编译所需的工具链及额外的代码，交叉编译指的是在一个操作系统中编译供另一个系统使用的文件。
• samples:算法用法示例文件夹

重点文件夹：modules和samples。

modules文件夹

modules文件夹存放了如下内容，主要分为CPU模块和CUDA模块。

图2 modules文件夹展开

1. CPU模块

• alib3d: 相机标定及三维重建。相机标定用于取出相机自身缺陷导致的画面形变，还原真实的场景，确保计算的准确性。三维重建通常用在双目视觉(立体视觉)，即两个标定后的摄像头观察同一个场景，通过计算两幅画面中的相关性来估计像素深度。

• core: 核心功能模块，定义了基本的数据结构，包括最重要的 Mat 类、XML 读写、OpenGL三维渲染等。这个模块应该在入门之后学习。

• features2d: 包含 2D 特征值检测的框架。包含各种特征值检测器及描述子，如 FAST、MSER、OBRB、BRISK 等。各类特征值拥有统一的算法接口，因此在不影响程序逻辑的情况下可以替换替换。

• flann: 用于在多维空间内聚类及搜索的近似算法，做图像检索的开发者对它不会陌生。

• highgui: 高级图形界面，包括用户界面、Qt。

• imgcodecs：对图像文件编解码、读写操作

• imgproc: 全称为 Image Processing，即图像处理，包括图像滤波、集合图像变换、直方图计算、形状描述子等。图像处理是计算机视觉的重要工具，重点学习。

• ml: 全称为 Machine Learning，即机器学习。包括统计模型、K 最近邻、支持向量机、决策树、神经网络等经典的机器学习算法。

• objdetect:物体检测模块，包括 Haar 分类器、SVM 检测器及文字检测。

• photo: 计算摄影学，包括图像修补、去噪、HDR 成像、非真实感渲染等。如果读者想实PS的高级功能，那么这个模块必不可少。

• shape: 形状匹配算法模块，用于描述形状、比较形状。

• stitching: 图像拼接，可用于制作全景图。

• superres: 全称为 Super Resolution，用于增强图像的分辨率。

• video: 视频分析模块，包括背景提取、光流跟踪、卡尔曼滤波等，做视频监控的开发者会经常使用这个模块。

• videoio:视频编解码、读写操作

• videostab: 全称为Video Stabilization，用于解决相机移动拍摄时视频不够稳定的问题。

• viz: 三维可视化模块。可以认为这个模块实现了一个简单的三维可视化引擎，有各种 UI 空间和键盘、鼠标交互方式。底层实现基于 CTK 这个第三方库。

2.CUDA模块

• cuda: CUDA- 加速的计算机视觉算法，包括数据结构 cuda::GpuMat、基于 cuda 的相机标定及三维重建等。

• cudaarithm: CUDA- 加速的矩阵运算模块。

• cudabgsegm: CUDA- 加速的背景分割模块，通常用于视频监控。

• cudacodec: CUDA- 加速的视频编码与解码。

• cudafeatures2d: CUDA- 加速的特征检测与描述模块，与 features2d/ 模块功能类似。

• cudafilters: CUDA- 加速的图像滤波。

• cudaimgproc: CUDA- 加速的图像处理算法，包含直方图计算、霍夫变换等。

• cudaoptflow: CUDA- 加速的光流检测算法。

• cudastereo: CUDA- 加速的立体视觉匹配算法。

• cudawarping: 实现 CUDA- 加速的快速图像变换，包括透视变换、旋转、改变尺寸等。

samples文件夹

android: Android 平台的范例。既有完全是 Java 的工程，也有完全是 C++ 的工程，也有更为常见的 Java 与 C++ 共存的工程。

• cpp: 由于 OpenCV 是一款 C++ 库，因此 C++ 的返利是最多的，后面将重点介绍。

• data: 示例程序要用到的数据

• directx: directx (d3d) 是微软的私有三维图像 API，这个文件夹中的范例覆盖了 d3d9、d3d10、d3d11.

• gpu: 利用 cuda 加速的范例。

• java: OpenCV 3 官方支持 Java 语言绑定，因此这里演示如何使用 Java 版本的 OpenCV。

• python: OpenCV 3 官方支持 Python 语言绑定，因此这里演示使用 Python 2 版本的范例。

• tapi: tapi 是OpenCV 3 的一个新特性，使用 cv::UMat 替代cv::Mat，实现 CPU 和 GPU 的运算使用统一的接口，不再需要显式地在 CPU 和 GPU 之间传递数据，方便开发人员。

• winrt: Windows RT 平台的范例，开发语言是微软的 C++ “方言”.

.cpp文件功能汇总(压轴戏登场)

以sample文件夹为例

•tutorial_code/: opencv教程代码

• 3calibration.cpp: 同时标定三台水平放置的相机。

• bagofwords_classification.cpp: 使用图像检测实现简易的图像搜索功能。

• bgfg_gmg.cpp: 演示GMG 背景检测算法的使用方式。

• bgfg_segm.cpp: 演示高斯混合背景检测算法的使用方式。

• brief_match_test.cpp: 使用 BRIEF 特征值来匹配两张图像。

• build3dmodel.cpp: 演示如何使用基础矩阵和特征值来创建三维模型。

• calibration.cpp: 完整的多用途标定程序。

• calibration_artificial.cpp: 在程序中生成一个虚拟的相机，并进行标定。

• camshiftdemo.cpp: 读取实时的摄像头数据，并演示基于均值偏移算法的视频跟踪。

• chamfer.cpp: 使用Chamfer 算法匹配两副边缘图像。

• cloning_demo.cpp: 命令行模式的图像克隆。

• cloning_gui.cpp: 图形界面交互的图像克隆。

• connected_components.cpp: 查找并绘制图像中的连通区域。

• contours2.cpp: 查找并绘制图像中的轮廓。

• convexhull.cpp: 查找并绘制由点的集合组成的凸包。

• cout_mat.cpp: 使用cout 来输出各种格式化的 Mat 对象。

• create_mask.cpp: 演示如何创建黑白掩码图像。

• dbt_face_detection.cpp: 基于检测的人脸跟踪代码。

• delaunay2.cpp: 通过鼠标交互式地生成 Delaunay 三角形。

• demhist.cpp: 演示直方图的用法。

• descriptor_extractor_matcher.cpp: 演示 features2d 检测框架的用法。

• detection_based_tracker_sample.cpp: 与 dbt_face_detection.cpp 类似。

• detector_descriptor_evaluation.cpp: 评估各种特征检测器和描述子。

•detector_descriptor_matcher_evaluation.cpp:评估各种特征检测器和匹配器。

• dft.cpp: 演示一幅图像的离散傅里叶变换。

• distrans.cpp: 显示边缘图像的距离变换值。

• drawing.cpp: 演示绘画和文字显示功能。

• edge.cpp: 演示Canny 边缘检测。

• em.cpp: 对随机生成的数据点进行 EM 聚类。

• fabmap_sample.cpp: 演示 FAB-MAP 图像检索算法。

• facerec_demo.cpp: 人脸识别。

• fback.cpp: 实时的Farneback 光流跟踪。

• ffilldemo.cpp: 演示 floodFill() 像素填充算法。

• filestorage.cpp: 演示序列化到外部文件，如yml、xml等。

• fitellipse.cpp: 将轮廓点匹配到椭圆。

• freak_demo.cpp: 演示 FREAK 特征值的用法。

• gencolors.cpp: 演示 generateColors()。

• generic_descriptor_match.cpp: 基于 SURF 的两幅图像间的匹配。

• grabcut.cpp: 演示GrabCut 分割算法。

• houghcircles.cpp: 用霍夫算法检测圆。

• houghlines.cpp: 用霍夫算法检测直线。

• hybridtrackingsample.cpp: 混合跟踪算法(Hybrid Tracker)的演示。

• image.cpp: 来回转换cv::Mat 和 IplImage。

• image_alignment.cpp: 演示 findTransformECC() 函数。

• image_sequence.cpp: 使用 VideoCapture 对象读取序列帧。

• imagelist_creator.cpp: 创建图像列表到 xml 文件。

• inpaint.cpp: 使用鼠标交互地进行图像修补。

• intelperc_capture.cpp: Intel 感知计算设备相关的函数。

• kalman.cpp: 使用卡尔曼滤波进行二维跟踪。

• kmeans.cpp: Kmeans 聚类算法的演示。

• laplace.cpp: 拉普拉斯边缘检测。

• latentsvm_multidetect.cpp: latentSVM 检测器。

• letter_recog.cpp: 字母识别。

• linemod.cpp: 基于OpenNI 的体感设备应用。

• lkdemo.cpp: 演示Lukas-Kanade光流法。

• logpolar_bsm.cpp: 演示 LogPolar 盲点模型。

• lsd_lines.cpp: LSD 线段检测。

• matcher_simple.cpp: SURF 特征检测。

• matching_to_many_images.cpp: 一对多的特征检测。

• meanshift_segmentation.cpp: 演示基于均值漂移的色彩分割函数——meanShiftSegmentation()

• minarea.cpp: 寻找最小包围盒、包围圆

• morphology2.cpp: 形态学图像处理

• npr_demo.cpp: 演示各种非真实感渲染效果

• opencv_version.cpp: 输出 OpenCV 库的版本号

• openni_capture.cpp: 演示 OpenNI 相关的体感设备

• pca.cpp: 基于 PCA 的人脸识别

• peopledetect.cpp: 基于 cascade 或 hog 进行物体(人)检测

• phase_corr.cpp: 演示 phaseCorrelate() 函数

• points_classifier.cpp: 演示各种机器学习算法

• segment_objects.cpp: 实时地在视频或相机画面中检测前景物体

• select3dobj.cpp：在一个有标定棋盘的桌子上，使用3D Box标记一个对象，在所有序列帧中，只要照相机可以看到棋盘，就可以跟踪对象，并用Box分割对象

• shape_example.cpp: 比较并检索形状

• shape_transformation.cpp: 用 SURF 特征值检测形状并进行变换

• squares.cpp: 检测图像中的方块形状。

• starter_imagelist.cpp: 加载一个ImageList(由imagelist_creator.cpp产生)

• stereo_calib.cpp: 双目视觉的标定

• stereo_match.cpp: 计算左右视觉的图像的差异，生成点云文件。

• stitching.cpp: 演示图像拼接算法。

• stitching_detailed.cpp: 演示更多参数的图像拼接算法。

• train_HOG.cpp: 训练 HOG 分类器

• tree_engine.cpp: 演示如何使用不同的决策树和森林包括Boosting和随机树

• videostab.cpp: 演示 videostab 中各个参数的用法。

• watershed.cpp: 演示著名的分水岭图像分割算法。

结语

编程本就是一个练习加总结的过程，不善于总结的编程人员不是一个好工程师。

研读源代码，既可以学习专家们的编程技巧(借以对C++再次学习)，然后结合对函数的调用，理解是不是更深刻一点？