opencv实战练习二（python）

harris角点检测
沿着x,y图像灰度变化迅速
1.计算梯度大小
2.合成矩阵，求特征值
3.比较特征值大小
接口cv2.cornerHarris()

SIFT
图像尺度空间
得到特征点
计算特征

背景建模

帧差法（不常用）

对连续两帧图像进行差分运算，不同帧对应的像素点相减，判断绝对值，绝对值超过一定阙值时，即可判断为运动目标
缺点，会引入噪音和空洞问题

混合高斯模型

前景检测前，先对背景进行驯良，采用混合高斯模型进行模拟，每个背景的混合高斯的个数可以自适应，然后在测试阶段对新的像素进行GMM匹配，如果该刑像素能匹配其中一个高斯，则认为是背景，否则认为是前景。
前景检测算法 (GMM),不断更新学习，对动态背景robust，最终通过对各一个有数值摇摆的动态背景进行前景检测，取得了较好的效果

混合高斯模型学习方法
1.首先初始化每个高斯模型矩阵参数。
2.取视频中T帧数据图像用来训练高斯混合模型。来了第一个像素之后用它来当做第一个高斯分布。
3.当后面的像素值时，与前面已有的高斯的均值比较，如果该像素点的值与其模型均值差在3倍的方差内,则属于该分布,并对其进行参数更新。
4.如果下一次来的像素不满足当前高斯分布，用它来创建一 个新的高斯分布。
混合高斯模型测试方法
在测试阶段，对新来像素点的值与混合高斯模型中的每一个均值进行比较， 如果其差值在2倍的方差之间的话，则认为是背景，否则认为是前景。将前景赋值为255.背量赋值为0。这样就形成了一副前景二值图。

import numpy as np
import cv2

cap = cv2.VideoCapture('files/test.avi')
#形态学操作需要使用
kernel  = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3))
#创建混合高斯模型用于背景建模
fgbg = cv2.createBackgroundSubtractorMOG2()
while (1):
    # get a frame
    ret, frame = cap.read()
    fgmask = fgbg.apply(frame)
    #形态学开运算去噪音点
    fgmask = cv2.morphologyEx(fgmask,cv2.MORPH_OPEN,kernel)
    #寻找视频中的轮廓
    #im,contours,HIERARCHY = cv2.findContours(thresh, cv2.RETR_TREE,cv2.CHAIN_APPROX_NONE)
    contour,hierarchy = cv2.findContours(fgmask,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    
    for c in contour:
        perimeter =cv2.arcLength(c,True)
        if perimeter > 188:
            #找到直矩角
            x,y,w,h = cv2.boundingRect(c)
            cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)
            
    cv2.imshow('frame',frame)
    cv2.imshow('fgmask',fgmask)
    #慢
    k = cv2.waitKey(150)& 0xff
    #退出
    if k==27:
        break
        
cap.release()
cv2.destroyAllWindows()

光流估计

光流是空间运动物体在观测成像平面.上的像素运动的“瞬时速度"，根据各个像素点的速度矢量特征，可以对图像进行动态分析,例如目标跟踪。
●亮度恒定:同一点随着时间的变化，其亮度不会发生改变。
●小运动:随着时间的变化不会引起位置的剧烈变化,只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
●空间一致: -个场景上邻近的点投影到图像上也是邻近点，且邻近点速度-致。 因为光流法基本方程约束只有一个,而要求x, y方向的速度，有两个末知变
量。所以需要连立n多个方程求解。

Lucas-Kanade算法

先传入角点，才能进行光流估计

#Lucas-Kanade算法 calcOpticalFlowPyrLK lamba大的（角点）一般可逆
import numpy as np
import cv2

cap = cv2.VideoCapture('files/test.avi')
#角点检测所需参数
feature_params = dict(maxCorners = 100,qualityLevel = 0.3,minDistance = 7)
#lucas kanade参数
lk_params = dict(winSize = (15,15),maxLevel=2)
#随机颜色条
color = np.random.randint(0,255,(100,3))
#拿到第一帧图像
ret,old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame,cv2.COLOR_BGR2GRAY)
#返回所有检测特征点，需要输入图像，角点最大数量（效率），品质银子（特征值越大越好
#距离性党羽这区间有比这个角点强的，就不要这个弱的了
p0 = cv2.goodFeaturesToTrack(old_gray,mask=None,**feature_params)

#创建mask
mask = np.zeros_like(old_frame)

while(True):
    ret,frame = cap.read()
    frame_gray =cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
    #需要传入前一阵和当前图像以及前一阵检测到的角点
    p1,st,err = cv2.calcOpticalFlowPyrLK(old_gray,frame_gray,p0,None,**lk_params)
    #st=1表示
    good_new = p1[st==1]
    good_old = p0[st==1] 
    
    #绘制轨迹
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b=new.ravel()
        c,d=old.ravel()
        mask = cv2.line(mask,(a,b),(c,d),color[i].tolist(),2)
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)   
    img = cv2.add(frame,mask)
    cv2.imshow('frame',img)
    k = cv2.waitKey(150)& 0xff        
    #退出
    if k==27:
        break
        
    #更新
    old_gray = frame_gray.copy()
    p0=good_new.reshape(-1,1,2)
    
cap.release()
cv2.destroyAllWindows()