【OpenCV】OpenCV的基础知识

一、基础操作
1. 数据类型 数据结构了解
   图像相关：cvArr  cvMat IplImage
   
   数据数组的维数， 与数据的通道数 见P46 (76)

2. 常见的矩阵操作熟悉
   
3. 数据的保存和读取

4. 图像的加载和显示

5. 视频的操作

6. 内存与序列
   a. 内存存储器
      CvMemStorage

      双向链表  动态对象(cvSeq  cvSet)的内存
      cvCreateMemStorage
      cvReleaseMemStorage
      cvClearMemStorage  不返还系统
      cvMemStorageAlloc

   b. 序列
      是内存存储器可以存储的一种对象。 双端队列
      CvSeq
      
      方法：
      cvCreateSeq
      cvClearSeq
      cvGetSeqElem
      cvCloneSeq cvSeqSlice cvSeqRemoveSlice cvSeqInsertSlice 
      cvSeqSort 
      cvSeqSearch 
      cvSeqInvert
      cvSeqPartition
      堆栈操作   cvSeqPush cvSeqPushFront  cvSeqPop  cvSeqPopFront  cvSeqPushMulti  cvSeqPopMulti
      cvSeqInsert cvSeqRemove
      cvSetSeqBlockSize
      读出和写入:  CvSeqWriter结构  cvStartWriteSeq  cvStartAppendToSeq  cvEndWriteSeq  cvFlushSeqWriter
                                    CV_WRITE_SEQ_ELEM  CV_WRITE_SEQ_ELEM_VAR
                   CvSeqReader结构  cvStartReadSeq   cvGetSeqReaderPos   cvSetSeqReaderPos 
                                    CV_NEXT_SEQ_ELEM V_PREV_SEQ_ELEM CV_READ_SEQ_ELEM CV_REV_READ_SEQ_ELEM
      数组互相转换 cvCvtSeqToArray  cvMakeSeqHeaderForArray

二. 图像的处理
1. 图像的平滑  cvSmooth
    
   主要应用: 去除噪声， 失真，降低图像的分辨率。
   主要方法: CV_BLUR   CV_BLUR_NO_SCALE  CV_MEDIAN  CV_GAUSSIAN  CV_BILATERAL

2. 图像形态学 cvErode  cvDilate  cvMorphologyEx
   主要作用： 消除噪声  分割等
   相关方法
   a. 腐蚀    消除噪声斑点
   b. 膨胀    连通被噪声、阴影分割的区域
   c. 开运算  先腐蚀后膨胀
   d. 闭运算  先膨胀后腐蚀
   e. 形态梯度 
   f. "礼貌" 
   g. "黑帽" 

3. 漫水填充算法  cvFloodFill
   作用： 标记或者分离图像的一部分。 从输入图像获取掩码区域。
   原理:  把邻近区域所有相似点填充为种子点同样的颜色。

4. 尺寸调整  cvResize
   ROI的影响
   
   插值方法的选择

5. 图像金字塔  cvPyrDown  cvPyrUp  cvPyrSegmentation
   简介：源于同一原始图像的连续降采样获得的一个图像的集合。
   方法：高斯图像金字塔  拉普拉斯图像金字塔
   应用：图像分割

6. 阀值化 cvThreshold  cvAdaptiveThreshold
   一般阀值化
   自适应阀值化： 针对有很强照明或反射梯度的图像，需要根据梯度进行阀值化

三、图像的变换
1. 卷积 cvFilter2D
   数学公式: z(t)=f(t)*g(t)= ∫f(m)g(t-m)dm
             h(x)=(f*g)(x)
   描述：变换的基础
   卷积核： 参考点  核支撑
   计算方法：图像参考点 = Σ 核点*对应图像点 
    
   卷积边界:  cvCopyMakeBorder

2. 梯度和Sobel导数  cvSobel
   导数的计算：最重要且是最基本的卷积
   注意： Sobel导数并不是真正的导数，它是离散空间的拟合。
          用大核可以对导数有更好的逼近。
   scharr滤波器: sobel算子小核时精度低，应使用scharr滤波器。

3. 拉普拉斯变换  cvLaplace
   描述： 二阶导数  二阶Sobel导数
   应用:  检测"团块"  边缘检测

4. Canny算子 cvCanny
   描述： 轮廓拼装
   应用:  边缘检测

5. 霍夫变换
   应用： 在图像中寻找直线、圆等其他简单图形的方法。
   霍夫线变换 cvHoughLines2

   霍夫圆变换 (霍夫梯度法) cvHoughCircles

6. 重映射 cvRemap
   
7. 拉伸 收缩 扭曲 旋转
   仿射变换  
   
     稠密仿射变换: cvWarpAffine
                   计算变换矩阵: cvGetAffineTransform  cv2DRotationMatrix
     
     稀疏仿射变换: cvTransform
                   应用于一系列孤立点的映射

   透射变换： 
     密集透射变换:  cvWarpPerspective
                   计算变换矩阵: cvGetPerspectiveTransform
     稀疏透射变换:  cvPerspectiveTransform

8. cvCartToPolar cvPolarToCart
   笛卡尔坐标系和极坐标系的转换

9. LogPolar
   对数极坐标变换  cvLogPolar

10. 离散傅立叶变换 DFT

    cvDFT函数(实现了FFT算法)

    cvGetOptimalDFTSize  cvGetSubRect

    cvMulSpectrums

11. 离散余弦变换 DCT
    实数的处理  cvDCT

12. 积分图像  cvIntegral
    作用：子区域的快速求和
    应用：人脸识别

13. 距离变换  cvDistTransform
    输入为边缘检测的图像

14. 直方图均衡化 cvEqualizeHist
    应用：图像亮度分布比较集中， 将亮度分布范围拉宽
     
四、直方图
    直方图：信息的一种表达方式，数据分布的统计图。 
            对边缘 色彩  角  亮度等特征的统计

    bin：区间 即竖条

1. 数据结构
   CvHistogram
   
2. 操作函数
   cvCreateHist
   cvQueryHistValue_1D
   cvGetHistValue_1D
   cvNormalizeHist
   cvThreshHist 
   cvCopyHist
   cvGetMinMaxHistValue
   cvCalcHist

   cvCompareHist  (五种比较方法： CV_COMP_CORREL CV_COMP_CHISQR CV_COMP_INTERSECT CV_COMP_BHATTACHARYYA EMD)
                  寻找相关和匹配

3. 应用
   HSV: H(色调)    S(饱和度)     V(亮度值)
   a. EMD 方法  利用直方图的距离测量来代替直方图的匹配策略
      光线的变化引起图像颜色值的变化
      cvCalcEMD2

   b. 反向投影(back projection)
      寻找目标 
      cvCalcBackProject()计算一个像素是否是一个已知目标的一部分
      cvCalcBackProjectPatch()计算一块区域是否包含已知的目标  (区域检测器  目标检测器)

      得到目标图像的概率值， 用cvMinMaxLoc()确定目标在图像的位置

   c. 模板匹配 cvMatchTemplate
      不是基于直方图。通过在输入图像上滑动图像快对实际的图像快和输入图像进行匹配。
      
      cvNormalize

五、轮廓 cvFindContours()
   根据边缘像素(canny)组装成轮廓。
   用序列的数据结构表示轮廓信息。
   处理的图像： cvCanny()输出图像或者 cvThreshold() cvAdaptiveThreshold()的输出图像

   重要概念：轮廓树
             外轮廓(c)  内轮廓(h  hole)

1. cvFindContours()
   输入图像 8通道 二值化的图像

2. 方法
   cvFindContours
   cvStartFindContours
   cvFindNextContour
   cvSubstituteContour
   cvEndFindContour
   cvApproxChains

3. 绘制轮廓
   cvDrawContours

4. 轮廓的识别和处理
   简化或拟合轮廓，匹配轮廓到模板
   a. 多边形逼近
     cvApproxPoly
     cvFindDominantPoints 寻找关键点
   
   b. 特性概括
      长度  其他度量  轮廓矩

      长度 cvContourPerimeter() cvArcLength
      面积 cvContourArea
      边界框 cvBoundingRect  cvMinAreaRect2
             cvMinEnclosingCircle 最小包围圆
             cvFitEllipse2  最佳拟合圆

   c. 几何  几个实用函数
      cvMaxRect
      cvBoxPoints
      cvPointSeqFromMat
      cvPointPolygonTest

5. 轮廓匹配
   a. 矩
      轮廓矩：比较2个轮廓最简单的方式

      struct CvMoments

      cvContoursMoments  输入的是轮廓(CvSeq表示)
      cvMoments          输入的是图像
      cvGetCentralMoment
      cvGetNormalizedCentralMoment
      cvGetHuMoments     Hu矩是中心矩和归一化矩的线性组合

   b. cvMatchShapes 用Hu矩匹配
   
   c. 等级匹配
      轮廓树：此处的概念和之前的不同。
      轮廓树的创建过程。
      比较2个树的相似度。
      cvCreateContourTree  创建轮廓树
      cvContourFromContourTree
      cvMatchContourTrees  比较

六、图像的局部和分割
    如何从图像中将目标或部分目标分割出来。
1. 背景减除

   快速背景建模方法：光照变化不大的室内
   codebook方法：    室内外环境，周期性运动 灯光缓慢变化(速度较慢)
   
   背景和前景

   a. 背景减除缺点
   假设：所有像素是独立的。
   
   亮度的变化

   b. 场景建模
   前景与背景的转化
   新的前景-旧的前景-背景

   c. 像素片段
    像素在一段时间内变化。
    对这种波动建立模型。
    cvInitLineIterator
    CV_NEXT_LINE_POINT()
 
   d. 帧差
   最简单的背景减除方法就是用一帧减去另一帧，将差别作为前景。
   cvAbsDiff

   e. 平均背景法
   适用于：背景场景不包含运动的部分，要求光线保持不变。
   cvAcc() cvAbsDiff() cvInRange()

   其他类似cvAcc()的累积函数：cvRunningAvg  cvSquareAcc  cvMultiplyAcc

   f. 高级背景建模(codebook算法)
      http://www.opencv.org.cn/forum/viewtopic.php?f=1&t=4648&sid=3d75687ebbd68be7b92b817ec0b10dba
      适用于：有运动目标(摇曳的树)，有光线的变化

      方法: 得到每个像素或一组像素的时间序列模型。(消耗大量内存)
      codebook(编码本): 一个像素现在的观测值和先前的观测值的比较。
      RGB空间
      YUV空间、
      HSV空间(与亮度相关)  // hue色度，saturation纯度，value亮度   
    
     codebook算法(注意 它不能处理不同模式的光)
     f.1 结构
      struct code_book
      struct ce

     f.2 方法
      update_codebook:      定时调用，训练和学习  (创建codebook模型)
      clear_stale_entries： 调用update_codebook一段时间后，调用这个函数做清除操作 (清除很少使用的码本条目)
      background_diff:      使用经验模型在先前的背景中将前景目标的像素分割出来

     f.3 codebook算法操作步骤
          见P318(348 )
     
   g. 清除前景的连通部分 (学习开运算 闭运算 轮廓 好的例程)
       功能强大的在背景中去除噪声的技术
      find_connected_components

2. 分水岭算法    cvWatershed
   标记图像， 根据标记来分割图像

3. 用Inpainting来修补图像 cvInpaint()
   修复图像

4. 均值漂移分割 
   cvPyrMeanShiftFiltering:   finds the peaks of color distributions over space (从空间考虑)
   cvMeanShift (运动跟踪章节): finds the peak of a color-spatial (or other feature) distribution over time(时间考虑)

   参考图像金字塔(cvPyrUp, cvPyrDown)

5. Delaunay三角剖分和Voronoi划分
   Delaunay三角剖分是表现三维形状的基础， 是连接计算机视觉与计算机图形学的桥梁。

   opencv仅实现了二维的Delaunay三角剖分.

   二维的Delaunay三角剖分的应用： 运动场景跟踪  目标识别  不同摄像机的场景匹配
      
      
七、运动与跟踪
1. 跟踪基础
   识别： 矩  颜色直方图
          跟踪视觉上重要的关键点，而不是整个物体。
          lucas-Kanade Horn-Schunk方法 (稀疏和稠密光流)
   建模：

2. 寻找角点  cvGoodFeaturesToTrack
   关键点，特征点

   一个点在两个正交的方向都有明显的导数。
   Harris角点: 角点位于图像二阶导数的自相关矩阵有两个最大特征值的地方。
               同时对移动和旋转不变

3. 亚像素角点 cvFindCornerSubPix
   精确测量
   应用： 标定，跟踪，三维重建

4. 不变特征
   SIFT

5. 光流
   a. 稀疏光流
     a.1 LK算法 cvCalcOpticalFlowLK
         感兴趣点的小窗口。
         缺点: 点会移出小窗口
        a.1.1 原理
              3个假设  亮度恒定；时间连续或者运动是"小运动；空间一致
              v = - It/Ix

        a.1.2 一维光流
              前2个假设
              (迭代的方法解决假设不十分正确的情况)

        a.1.2 二维光流
              考虑第3个假设解不定方程
              
     a.2 金字塔LK算法 cvCalcOpticalFlowPyrLK
         解决大而不连贯的运动，即不满足小而连贯的假设
         
   b. 稠密光流
     b.1 Horm-Schunck
        cvCalcOpticalFlowHS
     b.2 块匹配方法
        cvCalcOpticalFlowBM

6. MEAN-SHIFT  CAM-SHIFT
   a. mean-shift  cvMeanShift
   通用方法，可以跟踪物体的运动

   b. cam-shift cvCamShift
   建立在mean-shift之上，跟踪视频中尺寸可能产生变换的目标
   窗口可以调整

7. 运动模板
   应用： 姿态识别
   实心轮廓的获取

   建立模板：cvUpdateMotionHistory (需要传入轮廓)
   计算梯度：cvCalcMotionGradient  
   分割：    cvSegmentMotion

8. 预估器
   应用：目标跟踪
   
   分两个阶段： 预估阶段  校正阶段

   a. Kalman Filter

   b. Condensation Algorithm  粒子滤波(参考书 probalistic robotic)

八、 标定
 
   针孔模型   
   透镜的畸变 
   标定过程： 摄像机几何模型  透镜的畸变模型
   单应变换   homograph transform

   2件事情： 矫正畸变效应；  
             根据获得的图像重构三维场景

1. 摄像机模型
   针孔模型
   主点： 光轴与图像平面的交点
   cx, cy: 芯片通常不在光轴上，故引入这2个变量
   fx = F * sx  fy = F * sy
   
   x = f*(X/Z)  ---> xs = fx*(X/Z) + cx

   a. 基本投影几何
      投影变换
      q = M*Q
      M 为(fx, fy, cx, cy)表示的摄像机内参数矩阵
      Q: 物理点
      q: 图像平面的点（用投影变换的n+1维坐标表示）

      cvConvertPointsHomogenious： 齐次坐标处理函数

   b. 透镜畸变
      针孔成像光线少，且成像慢，故使用透镜，但是会引入畸变。
 
      径向畸变：来自透镜的形状。
                远离中心，畸变越厉害，便宜的网络摄像机非常厉害。
                xc = x(1+k1*r*r+k2*r*r*r*r+k3*r*r*r*r*r*r) 注意r的影响

      切向畸变：来自整个摄像机的组装过程；透镜本身与图像平面不平行造成的。
                xc = x+[2*p1*y+p2*(r*r+2x*x)]

      畸变向量： k1 k2 p1 p2 k3

2. 标定 cvCalibrateCamera2
   标定方法： 摄像机对准一个有很多独立可标识点的物体。通过旋转和移动物体，
           在不同角度观看这个物体，可以利用通过每个图像计算摄像机的相对位置
           和方向以及摄像机的内参数。
       
   a. 旋转矩阵和平移向量
      摄像机坐标系  物体坐标系(世界坐标系)  <之前的公式是建立在一个坐标系的>
      Pc = R*(Po - T)
      3个旋转+3个平移  共6个参数

      6+4个内参数 = 10 至少需要2个视角？？

   b. 棋盘 cvFindChessboardCorners
      OPENCV不是使用基于3D构造物体的视场，而是使用平面物体的多个视场。
      cvFindCornerSubPix()提高精度
      cvDrawChessboardCorners
      
   c. 单应性变换 homograph transform
      
      单应性：从一个平面到另一个平面的投影映射。 (Z = 0)
              如二维平面上的点映射到摄像机成像仪上的映射。
            q = s*M*W*Q
            W = [R t] 物理变换
            M: 内参矩阵
     H = s*M*W 单应性矩阵
     关注点： 不是空间中所有的Q，而只是平面上的Q， 故使Z = 0。
     opencv 正是利用从多个视场计算多个单应性矩阵的方法来求解摄像机内参数。cvFindHomography

   d. 摄像机标定 cvCalibrateCamera2
      为摄像机内参数和畸变参数进行摄像机标定。
      d.1. 
       至少需要10幅 7X8的图像
      d.2 cvFindExtrinsicCameraParams2 只计算外参数

   
3. 矫正
  a. cvUndistort2 
  b. cvInitUndistortMap   cvRemap
  c. cvUndistortPoints

4. 标定完整程序

5. cvRodrigues2
   函数提供2种表示之间的相互转换

   旋转的表示方法：
   直观的方法： 向量r表示
   简单的方法： 旋转矩阵R

九、投影和三维视觉

十、机器学习
http://cs229.stanford.edu/materials.html 网络资料
1. 基本概念
   目的：把数据转换为信息。  

1.1 训练集和测试集
   特征
   "聚类"算法 "分类"算法

    训练集  测试集  (验证集)
    分类器

    训练分类器的方法

1.2 监督数据和无监督数据
    监督数据：  数据有标签(人脸有年龄)     分类
    无监督数据: 数据无标签                 聚类

    分类  回归

    无监督的聚类数据经常形成一个特征向量供更高层的有监督的分类器使用。
   
    两个典型的机器学习任务：  分类  聚类
    计算机视觉的两个基本任务：识别  分割

1.3 生成模型和判别模型
    判别算法
    产生式算法

1.4 机器学习算法
    Mahalanobis       （归一化特征的方差） 非分类和聚类算法
    K均值             非监督的聚类方法
    朴素贝叶斯分类器  通用的分类器
    决策树            判别分类器
    Boosting          多个判别子分类器的组合
    随机森林          由决策树组成的"森林"
    人脸检测/Harr分类器   巧妙使用Boosting
    期望最大化(EM)    
    K近邻             最简单的分类器
    神经网络          (字符识别)
    支持向量机(SVM)   分类和递归

1.5 视觉中使用机器学习算法
    (特征)
    采集数据       www.flicker.com(图片网站)
    给数据定标签  (http://www.mturk.com/mturk/welcome)
    提取特征 （直方图 色彩 ） 处理(归一化)
    训练集 测试集 验证集
    选择分类器(计算速度  数据形式 内存大小)

1.6 特征向量的重要性
    决策树
    随机森林

    用途：减少分类器需要考虑的特征的个数。
    Breiman的变量重要性算法步骤：见P536 (P506)

1.7 诊断机器学习中的问题
  Andrew Ng“Advice for Applying Machine Learning” 

    a. 大量数据比少量数据好
    b. 好的特征比好的算法更重要

     选取特征：
              最大化它们的独立性
              最小化它们在不同环境之下的变化。
    c. 欠拟合   模型假设太严格
       训练和测试都不好
    d. 过拟合   学习了噪声等
       训练很好  测试不好
    e. 常见问题解决  见表13-2

    f. 评价分类器的性能
       交叉验证  自抽样法  ROC曲线  混淆矩阵

2. ML

2.1 函数 
    save
    load  (先调用clear)
    clear
    train
    predict
    CvStatModel
    write
    read

2.2 train
    (行，列) =(数据样本，特征变量)

2.3 predict

2.4 迭代次数

3. Mahalanobis
   有些分类器(K邻近)很难处理方差很大的数据
   cvCalcCovarMatrix  计算协方差矩阵
   cvInvert           计算逆矩阵
   cvMahalanobis

4. K-mean   cvKMeans2
   聚类算法

   问题和解决： 方差最小

5. 朴素贝叶斯分类
   最简单监督学习分类器

6. 二叉决策树
   回归不纯度
   分类不纯度
   度量： 熵   吉尼系数  错分类

   特征的重要性  get_var_importance()
   过拟合： 先建立树，然后修剪