前言

pybind11功能强大，将C++ 程序包装为python接口，对于不太熟悉C++的同学只需要调用python接口即可，方便实用。之前的一系列pybind11文章大多数是基础的用法，本人学习pybind11的最初动机是想将一个目标跟踪程序(C++代码)封装为python接口，这样每次运行算法时候就不用打开Visaul Studio这样大型IDE(加载慢，电脑容易卡)。C++程序封装为python接口有好几种方法：boost.python, ctype(调用C++ 动态链接库), SWIG, pybind11。我只简单用过swig, ctype。 SWIG也挺不错的，不仅可以生成python接口，还可以生成Java等其他语言接口，文档详细。

目标跟踪算法

About KCF

KCF(Kernelized Correlation Filter)目标跟踪算法是基于机器学习的，速度快，效果也比较好(抗短时遮挡)。原版的KCF代码是采用opencv, C++实现的， opencv3.2.0(contrib)之后的版本已经将KCF集成到tracking模块,但是测试发现效果不如原版的C++代码。

下面将C++ KCF 采用pybind11包装为python接口。

开发测试环境

windows10, 64bit
Anaconda3, with python3.7
opencv3.4.0, with opencv_contrib
Visual Studio 2017
pycharm

KCF-Python

工程概述

KCF C++程序是采用类进行封装的，所有功能在：KCFTracker类中。因此，只需要将KCFTracker 类封装为python 接口就大功告成。

Visaul Stduio工程

image.png

python测试工程

image.png

python测试代码

import cv2
import numpy as np
import matplotlib.pyplot as plt
import demo12.kcf_demo as kcf
import time


cv2.useOptimized()
cv2.setUseOptimized(True)
cv2.setNumThreads(4)

capture = cv2.VideoCapture()
assert capture.open('D:\\ti_project\\TI_DSP_LAB\\Video-tools-exe\\video-01\\V90116-132715.mp4')
capture.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
capture.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

frame = np.zeros(shape=[int(capture.get(cv2.CAP_PROP_FRAME_HEIGHT)),
                        int(capture.get(cv2.CAP_PROP_FRAME_WIDTH)),
                        3], dtype=np.uint8)

for i in range(1):
    capture.read(frame)

rect = cv2.selectROI('Choose object', frame, False, False)

tracker = kcf.KCFTracker(True, True, True, True)
r = [rect[0] + rect[2], rect[1] + rect[3]]
tracker.trackerInit([rect[0], rect[1], rect[0] + rect[2], rect[1] + rect[3]], frame)

count = 0
while True:
    ret, frame = capture.read()
    if not ret:
        print('finish!')
        break

    t_start = time.time()
    rect = tracker.trackerUpdate(frame)
    t_stop = time.time()
    fps = int(1.0/(t_stop - t_start))
    print(rect)
    cv2.rectangle(frame, (rect[0], rect[1]), (rect[2], rect[3]), (0, 255, 255), 2)
    cv2.putText(frame, '#' + str(count + 1), (64, 64), 1, 1, (255, 0, 0))
    cv2.putText(frame, '{}fps'.format(fps), (64, 64+30), 1, 1, (255, 0, 0))
    count += 1
    cv2.imshow('kcf', frame)
    if cv2.waitKey(33) == 'q':
        break

demo演示

选取目标

image.png

跟踪过程

image.png

完整工程实现

在上文中，实现了以下步骤

步骤

首先调试好目标跟踪算法，确保算法正常运行
包含pybind11,为目标跟踪算法编写python接口
采用Visual Studio生成.pyd扩展，验证python接口的正确性
在python中导入.pyd,调用python接口，验证算法

但是这种直接采用Visual Studio生成.pyd的方式存在一些局限，不能很好的在其他计算机、系统、硬件平台调用，为此，直接发布源码，在相应的平台进行编译生成pyd.

工程

在python工程中，创建一个package, 一般python大多数包的名字都是pyxxxx，因此这里取名pykcf，在pykcf包中再新建一个package, 取名tracker

image.png

将之前Visual Studio工程中所有C++代码复制进来，并且创建一个setup.py文件

image.png

编写setup.py文件， setup.py用于设置需要生成的python扩展的配置信息.

Extension python扩展，需要设置C++源码，C++头文件，C++链接库
setup 编译安装python扩展

因此本工程代码中用到了以下第三方库：

opencv
pybind11
numpy

因此，需要包含这些库的头文件，链接库

setup.py

from setuptools import Extension
from setuptools import setup


__version__ = '0.0.1'

ext_module = Extension(
    name='kcf_demo',
    sources=
    [
        r'main.cpp',
        r'mat_warper.cpp',
        r'ndarray_converter.cpp',
        r'./kcf/fhog.cpp',
        r'./kcf/kcftracker.cpp'
    ],
    include_dirs=
    [
        r'D:/Anaconda3_2/include',
        r'D:/Anaconda3_2/Lib/site-packages/numpy/core/include',
        r'D:/opencv3.4.0+contrib/include',
        r'D:/pybind11-master/include'
    ],
    library_dirs=
    [
        r'D:/Anaconda3_2/Lib/site-packages/numpy/core/lib',
        r'D:/opencv3.4.0+contrib/x64/vc15/lib'
    ],
    libraries=
    [
        'opencv_aruco340',
        'opencv_bgsegm340',
        'opencv_bioinspired340',
        'opencv_calib3d340',
        'opencv_ccalib340',
        'opencv_core340',
        'opencv_datasets340',
        'opencv_dnn340',
        'opencv_dpm340',
        'opencv_face340',
        'opencv_features2d340',
        'opencv_flann340',
        'opencv_fuzzy340',
        'opencv_hdf340',
        'opencv_highgui340',
        'opencv_imgcodecs340',
        'opencv_imgproc340',
        'opencv_img_hash340',
        'opencv_line_descriptor340',
        'opencv_ml340',
        'opencv_objdetect340',
        'opencv_optflow340',
        'opencv_phase_unwrapping340',
        'opencv_photo340',
        'opencv_plot340',
        'opencv_reg340',
        'opencv_rgbd340',
        'opencv_saliency340',
        'opencv_shape340',
        'opencv_stereo340',
        'opencv_stitching340',
        'opencv_structured_light340',
        'opencv_superres340',
        'opencv_surface_matching340',
        'opencv_text340',
        'opencv_tracking340',
        'opencv_video340',
        'opencv_videoio340',
        'opencv_videostab340',
        'opencv_xfeatures2d340',
        'opencv_ximgproc340',
        'opencv_xobjdetect340',
        'opencv_xphoto340',
        'npymath'
    ],
    language='c++'
)

setup(
    name='kcf_demo',
    version=__version__,
    author_email='[email protected]',
    description='A simaple demo',
    ext_modules=[ext_module],
    install_requires=['numpy']
)

开始编译生成python扩展，激动！！！，在pycharm中进入终端，并且进入到setup.py所在目录。

cd ./pykcf/tracker
python setup.py build_ext --inplace

image.png

python扩展生成成功！！！

演示效果

在工程中新建一个demo.py脚本，编写测试代码

image.png

run

首先选择一个跟踪目标，使用鼠标框选，然后Enter，开始跟踪。

image.png

tracking.gif

pybind11—目标跟踪demo(KCF，python version)

前言

目标跟踪算法

About KCF

开发测试环境

KCF-Python

工程概述

demo演示

完整工程实现

步骤

工程

演示效果

你可能感兴趣的:(pybind11—目标跟踪demo(KCF，python version))