使用Python，OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象

这篇博客将介绍如何使用 Meanshift 和 Camshift 算法来查找和跟踪视频中的对象。

MeanShift：均移
Camshift（Continuously Adaptive Meanshift）持续自适应性均移

• cv2.meanShift(): Meanshift 均移总是能找到一个具有最大像素分布的窗口，并且追踪对象；

• cv2.CamShift(): CAMshift 是 Meanshift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；

1. 效果图

官方示例——Meanshift 均移效果图如下：

官方示例——CAMshift持续自适应均移效果图如下:

可以看到Camshift会自动调整框的大小及旋转，能更好的拟合追踪的对象；

2. 源码

2.1 MeanShift

# 使用MeanShift均移和 CAMshift（Continuously Adaptive Meanshift）持续自适应均移以寻找和追踪对象

# CAMshift 是 MeanShift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；
import numpy as np
import cv2

cap = cv2.VideoCapture('images/slow_traffic_small.mp4')

# 获取视频的第一帧
ret, frame = cap.read()

# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50  # 硬编码位置
track_window = (x, y, w, h)

# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]

# 只考虑HSV的色调
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# 为了避免由于低光导致的错误值，使用 cv2.inRange() 函数丢弃低光值。
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 设置终止标准，10 次迭代或移动至少 1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while (1):
    ret, frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

        # 应用meanshift获取新位置
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)

        # 在图像上绘制它
        x, y, w, h = track_window
        img2 = cv2.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv2.imshow('img2', img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k) + ".jpg", img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

2.2 Camshift（Continuously Adaptive Meanshift）持续自适应性均移

# 使用MeanShift均移和 CAMshift（Continuously Adaptive Meanshift）持续自适应均移以寻找和追踪对象
# CAMshift 是 MeanShift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；

import numpy as np
import cv2

cap = cv2.VideoCapture('images/slow_traffic_small.mp4')

# 获取视频的第一帧
ret, frame = cap.read()

# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50  # 硬编码位置
track_window = (x, y, w, h)

# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]

hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 设置终止条件，迭代10次或者至少移动1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while (1):
    ret, frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

        # 应用camshift获取新位置
        # 返回一个旋转的矩形和框参数（用于在下一次迭代中作为搜索窗口传递）
        # 它首先应用均值变换。一旦meanshift收敛，它会更新窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换。该过程一直持续到满足所需的精度。
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)

        # 绘制在图像上
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame, [pts], True, 255, 2)
        cv2.imshow('img2', img2)
        # cv2.waitKey(0)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k) + ".jpg", img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

3. 参考

• https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_video/py_meanshift/py_meanshift.html#meanshift
• https://github.com/opencv/opencv/tree/master/samples/python/tutorial_code/video/meanshift
• 可交互式的Camshift