Python调用海康威视网络相机_调用海康SDK

运行环境：

Win10系统，64位，Anaconda3
python 3.7.4(基于anaconda环境)
opencv 3.4.6
Visual Studio 2017
硬件：DS-2CD3T86FWDV2-I5S
相机SDK：CH-HCNetSDKV6.1.6.45_build20210302_win64

一、前言

首先，海康网络相机的读取和工业相机不是同一个SDK包，工业相机的SDK包去海康机器人下载，网络相机的SDK包去海康威视下载。工业相机控制软件MVS目录下有python SDK包使用示例，非常方便，但是网络相机的SDK就只给了C++之类的了（吐槽）。

python调用海康威视视频画面主要有两种方式，一种是使用rtsp流，看网上资料说rtsp取流会比较延迟卡顿，如果对实时性要求较高（与网页预览效果相当），可以采用在python中调用HikVision的SDK读取IP相机的方式试验，帧率和网页预览效果相当。

import cv2

url = "rtsp://[username]:[password]@[ip]/Streaming/Channels/2"
# 示例 "rtsp://admin:[email protected]/Streaming/Channels/2"
# rtsp默认端口为554，可缺省，若更改过需要将[ip]部分加上端口号，例如192.168.1.64:554
cap = cv2.VideoCapture(url)
ret, frame = cap.read()
while ret:
    ret, frame = cap.read()
    cv2.imshow("frame", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cv2.destroyAllWindows()
cap.release()

但我自己将网页预览效果、rtsp取流效果和SDK调取视频流三种方式同时进行，观察视频画面延时情况却发现网页预览效果最快，延迟约2秒，rtsp比网页约慢1秒不到，但竟然比SDK调取要快一点点点点？？？（gif图帧率有限）可能是我的打开姿势不太对，但暂时不打算深究优化了，使用rtsp只能取流而已，但是用SDK可以根据手册进行各种二次开发，因此使用SDK还是必要的。如果只是需要视频流做视觉项目的试验的话，rtsp足矣。

本文整理了网上仅有的几位大佬的资料，结合了自身踩坑经验，将python调用海康SDK进行相机取流的流程重新整理了一份，有错漏可以评论区留言一下。

二、准备工作

1.海康SDK下载

下载地址：https://open.hikvision.com/download

选硬件产品，选择自己对应的系统平台版本，我这边选的是设备网络SDK_Win64 （CH-HCNetSDKV6.1.6.45_build20210302_win64.zip文件） ； 解压后得到 CH-HCNetSDKV6.1.6.45_build20210302_win64 文件夹；

该文件夹下主要是头文件和库文件，很扯的是文件夹竟然用中文命名的，所以要把文件夹名字分别改为include和lib。（我习惯如此命名）

2.安装OpenCV

我自己用的是github上的opencv3.4.6版本，扩展包l另搜opencv_contrib，用cmake编译即可，教程自己找。

3.安装Swig

Swig全称为Simplified Wrapper and Interface Generator，简化包装器和接口生成器，作用就是向脚本语言(tcl，perl，python等)提供了C和C++的接口，简而言之就是用来封装库的。
下载链接：http://www.swig.org/download.html

将解压后的文件夹路径添加到系统环境变量PATH中。

4.下载boost库

下载地址：https://www.boost.org/users/download/
待会儿需要将其解压到工程目录下即可，后续会贴图说明。

5.下载OpenCV-swig接口文件

下载地址：https://github.com/renatoGarcia/opencv-swig
后续需要将lib目录下的opencv文件夹和opencv.i接口文件复制到工程目录下。

三、操作步骤

1.使用swig编译生成python和C++数据交换需要的.py和.cxx文件

创建三个文件，分别为HKIPcamera.h，HKIPcamera.cpp和HKIPcamera.i，内容分别为：
HKIPcamera.h

#include 
using namespace cv;
 
void init(char* ip, char* usr, char* password);
Mat getframe();
void release();

HKIPcamera.cpp

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include "HCNetSDK.h"
#include "plaympeg4.h"
 
#define USECOLOR 1
 
using namespace cv;
using namespace std;
 
//--------------------------------------------
int iPicNum = 0;//Set channel NO.
LONG nPort = -1;
HWND hWnd = NULL;
CRITICAL_SECTION g_cs_frameList;
list<Mat> g_frameList;
LONG lUserID;
NET_DVR_DEVICEINFO_V30 struDeviceInfo;
HANDLE hThread;
LONG lRealPlayHandle = -1;
 
void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{
	int col, row;
	unsigned int Y, U, V;
	int tmp;
	int idx;
	for (row = 0; row < height; row++)
	{
		idx = row * widthStep;
		int rowptr = row * width;
 
		for (col = 0; col < width; col++)
		{
			tmp = (row / 2)*(width / 2) + (col / 2);
	
			Y = (unsigned int)inYv12[row*width + col];
			U = (unsigned int)inYv12[width*height + width * height / 4 + tmp];
			V = (unsigned int)inYv12[width*height + tmp];
 
			outYuv[idx + col * 3] = Y;
			outYuv[idx + col * 3 + 1] = U;
			outYuv[idx + col * 3 + 2] = V;
		}
	}
}
 
//解码回调 视频为YUV数据(YV12)，音频为PCM数据
void CALLBACK DecCBFun(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{
	long lFrameType = pFrameInfo->nType;
 
	if (lFrameType == T_YV12)
	{
#if USECOLOR
		//int start = clock();
		static IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量  
		yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);
		cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);
		//int end = clock();
#else
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);
		memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endif
 
		EnterCriticalSection(&g_cs_frameList);
		//g_frameList.push_back(pImg);
		g_frameList.push_back(cv::cvarrToMat(pImg));
		LeaveCriticalSection(&g_cs_frameList);
}
 
 
///实时流回调
void CALLBACK fRealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{
	DWORD dRet;
	switch (dwDataType)
	{
	case NET_DVR_SYSHEAD:    //系统头
		if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号
		{
			break;
		}
		if (dwBufSize > 0)
		{
			if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//设置解码回调函数 只解码不显示
			if (!PlayM4_SetDecCallBack(nPort, DecCBFun))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//打开视频解码
			if (!PlayM4_Play(nPort, hWnd))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
		}
		break;
 
	case NET_DVR_STREAMDATA:   //码流数据
		if (dwBufSize > 0 && nPort != -1)
		{
			BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
			while (!inData)
			{
				Sleep(10);
				inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
				OutputDebugString(L"PlayM4_InputData failed \n");
			}
		}
		break;
	}
}
 
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{
	char tempbuf[256] = { 0 };
	switch (dwType)
	{
	case EXCEPTION_RECONNECT:    //预览时重连
		printf("----------reconnect--------%d\n", time(NULL));
		break;
	default:
		break;
	}
}
 
bool OpenCamera(char* ip, char* usr, char* password)
{
	lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);
	if (lUserID == 0)
	{
		cout << "Log in success!" << endl;
		return TRUE;
	}
	else
	{
		printf("Login error, %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return FALSE;
	}
}
DWORD WINAPI ReadCamera(LPVOID IpParameter)
{
	//---------------------------------------
	//设置异常消息回调函数
	NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);
 
	//cvNamedWindow("Mywindow", 0);
	//cvNamedWindow("IPCamera", 0);
 
	//HWND  h = (HWND)cvGetWindowHandle("Mywindow");
	//h = cvNamedWindow("IPCamera");
	//---------------------------------------
	//启动预览并设置回调数据流 
	NET_DVR_CLIENTINFO ClientInfo;
	ClientInfo.lChannel = 1;        //Channel number 设备通道号
	ClientInfo.hPlayWnd = NULL;     //窗口为空，设备SDK不解码只取流
	ClientInfo.lLinkMode = 1;       //Main Stream
	ClientInfo.sMultiCastIP = NULL;
 
	LONG lRealPlayHandle;
	lRealPlayHandle = NET_DVR_RealPlay_V30(lUserID, &ClientInfo, fRealDataCallBack, NULL, TRUE);
	if (lRealPlayHandle < 0)
	{
		printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n", NET_DVR_GetLastError());
		return -1;
	}
	else
		cout << "码流回调成功！" << endl;
	Sleep(-1);
	if (!NET_DVR_StopRealPlay(lRealPlayHandle))
	{
		printf("NET_DVR_StopRealPlay error! Error number: %d\n", NET_DVR_GetLastError());
		return 0;
	}
	NET_DVR_Logout(lUserID);
	NET_DVR_Cleanup();
	return 0;
}
 
 
void init(char* ip, char* usr, char* password) {
	//HANDLE hThread;
	//LPDWORD threadID;
	//---------------------------------------
	// 初始化
	NET_DVR_Init();
	//设置连接时间与重连时间
	NET_DVR_SetConnectTime(2000, 1);
	NET_DVR_SetReconnect(10000, true);
	OpenCamera(ip, usr, password);
	InitializeCriticalSection(&g_cs_frameList);
	hThread = ::CreateThread(NULL, 0, ReadCamera, NULL, 0, 0);
}
 
Mat getframe() {
	Mat frame1;
	EnterCriticalSection(&g_cs_frameList);
	while (!g_frameList.size()) {
		LeaveCriticalSection(&g_cs_frameList);
		EnterCriticalSection(&g_cs_frameList);
	}
	list<Mat>::iterator it;
	it = g_frameList.end();
	it--;
	Mat dbgframe = (*(it));
	(*g_frameList.begin()).copyTo(frame1);
	frame1 = dbgframe;
	g_frameList.pop_front();
	//imshow("camera", frame1);
	//waitKey(1);
 
	g_frameList.clear();   // 丢掉旧的帧
	LeaveCriticalSection(&g_cs_frameList);
	return(frame1);
}
 
void release() {
	::CloseHandle(hThread);
	NET_DVR_StopRealPlay(lRealPlayHandle);
	//关闭预览
	NET_DVR_Logout(lUserID);
	//注销用户
	NET_DVR_Cleanup();
}

HKIPcamera.i

/*  Example of wrapping a C function that takes a C double array as input using
 *  numpy typemaps for SWIG. */
%module HKIPcamera
%include <opencv/mat.i>
%cv_mat__instantiate_defaults
%header %{
    /*  Includes the header in the wrapper code */
    #include "HKIPcamera.h"
%}
 
%include "HKIPcamera.h"

新建一个文件夹，命名为 HicVision_python_SDK（可任意命名），将上述3个文件与上面提及的opencv-swig-master\lib下的opencv文件夹和opencv.i 这两个文件复制到 HicVision_python_SDK文件夹下，然后将解压的boost_1_76_0文件夹也一并拷贝到这个目录下。

打开cmd，进入到刚才创建的HicVision_python_SDK文件夹下，将D:\Tools\opencv\build\include替换为你的OpenCV的include路径（用exe安装的和cmake来build出来的路径好像稍微有点区别），使用如下命令会生成蓝色箭头所指的HKIPcamera_wrap.cxx和 HKIPcamera.py两个文件 （下文用到）；

E:\HicVision_python_SDK>swig -ID:\Tools\opencv\build\include -python -c++ HKIPcamera.i

2.修改海康SDK下的plaympeg4.h文件

该文件在CH-HCNetSDKV6.1.6.45_build20210302_win64\include目录下：

用NotePad++打开（别的也行），在下述语句的"C"和__之间需要增加空格，否则会导致编译报错（不要把中文注释复制进去，自己在文件里改就好）。即：

#if defined( _WINDLL)
	//原本为#define PLAYM4_API  extern "C"__declspec(dllexport) 
    #define PLAYM4_API  extern "C" __declspec(dllexport) 
#else 
	//原本为#define PLAYM4_API  extern "C"__declspec(dllexport) 
    #define PLAYM4_API  extern "C" __declspec(dllimport) 
#endif

3.使用VS2017编译生成动态链接库dll文件

文件->新建项目->Windows桌面向导，新建项目名称HKIPcamera。（建议一致）

应用程序类型选动态链接库(.dll)，勾选空项目。

在属性管理器，Release|x64右键，属性，C/C++，常规，SDL检查改为否。


其中，VC++目录添加如下路径：（请根据实际安装位置补全其全路径名称，我这边省去了安装路径名了~）
包含目录：

Anaconda3\include
Anaconda3\Lib\site-packages\numpy\core\include
HicVision_python_SDK\boost_1_76_0
CH-HCNetSDKV6.1.6.45_build20210302_win64\include

库目录：

Anaconda3\libs
HicVision_python_SDK\boost_1_76_0\libs
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib\HCNetSDKCom

…………………………………………分割线……………………………………
补充说明：

如果没安装并配置过opencv，请自己找教程将opencv的包含目录、库目录和附加依赖项添加好，例如：
包含目录：

库目录：

附加依赖项：（如果你是exe安装，可能只有release用的opencv_world346.lib，和debug用的opencv_world346d.lib）

…………………………………………分割线……………………………………
预处理器：

WIN32
NDEBUG
_CONSULE
_CRT_SECURE_NO_WARNINGS

且在通用属性->常规->字符集中选择使用多字节字符集（这个依据实际错误情况来修改，我是遇到这方面的问题，此处仅做补充）

C/C++，代码生成，运行库选的是多线程DLL（/MD）

完成以上步骤后，右键工程项目名选择生成，之后会在工程x64文件夹下的Release文件夹下生成.dll和.lib文件如下（红色）：

复制一份 HKIPcamera.dll 文件并重命名为 _HKIPcamera.pyd 到该目录下，并将海康SDK中的 HCNetSDKCom 文件夹拷贝过来==（这个步骤很重要！！！！）==，以及将上文中用swig生成的 HKIPcamera.py 也复制过来（如上图蓝色）

最后编写了个test.py也放在上图目录下，其内容如下（主要用来检测是否编译成功了）：

import HKIPcamera
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2
 
 
ip = str('10.167.93.111')  # 摄像头IP地址，要和本机IP在同一局域网
name = str('admin')       # 管理员用户名
pw = str('abcd1234')        # 管理员密码
HKIPcamera.init(ip, name, pw)
# HKIPcamera.getfram()
#for i in range(100):
while(True):
    t = time.time()
    fram = HKIPcamera.getframe()
    t2 = time.time()
    cv2.imshow('123', np.array(fram))
    cv2.waitKey(1)
    print(t2-t)
    time.sleep(0.1)
HKIPcamera.release()
time.sleep(5)
HKIPcamera.init(ip, name, pw)

网上资料都是到这里就告诉你可以用了，但此时你可能会惊奇地发现根本用不了，可能会import _HKIPcamera失败，告诉你找不到dll。

此时你需要将CH-HCNetSDKV6.1.6.45_build20210302_win64\lib下的18个dll文件全部放到python工程的根目录下，也就是和之前的_HKIPcamera.pyd 等文件放在同一个目录下。

然后就可以成功加载dll运行了，至此，python调用海康SDK控制相机的操作流程结束。

四、踩坑经历

为什么这个lib目录已经添加到了环境变量也还是找不到这些dll，我看网上资料说python会优先加载Scripts下的dll，然后是环境变量和项目根目录下的dll，我也使用sys.path.append()将上图lib文件夹添加到环境变量中也依旧报错找不到dll，最后也没整明白为什么不行。

在将18个dll放进根目录之前，我首先用VS2017创建一个新的控制台项目，按编译dll时的项目属性，将包含目录、库目录等设置好，将HKIPcamera.h和hkipcamera.cpp添加进来，再创建一个main.cpp，main.cpp内容如下：（使用时将ip，用户名，密码改为自己相机的）

#include 
#include 
#include "Windows.h"
#include "HCNetSDK.h"
#include 
using namespace std;


void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser);


void main() {

	//---------------------------------------
	// 初始化
	NET_DVR_Init();
	//设置连接时间与重连时间
	NET_DVR_SetConnectTime(2000, 1);
	NET_DVR_SetReconnect(10000, true);

	//---------------------------------------
	//设置异常消息回调函数
	NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);



	//---------------------------------------
	// 注册设备
	LONG lUserID;

	//登录参数，包括设备地址、登录用户、密码等
	NET_DVR_USER_LOGIN_INFO struLoginInfo = { 0 };
	struLoginInfo.bUseAsynLogin = 0; //同步登录方式
	strcpy(struLoginInfo.sDeviceAddress, "192.168.1.64"); //设备IP地址
	struLoginInfo.wPort = 8000; //设备服务端口
	strcpy(struLoginInfo.sUserName, "admin"); //设备登录用户名
	strcpy(struLoginInfo.sPassword, "12345"); //设备登录密码

	//设备信息, 输出参数
	NET_DVR_DEVICEINFO_V40 struDeviceInfoV40 = { 0 };

	lUserID = NET_DVR_Login_V40(&struLoginInfo, &struDeviceInfoV40);
	if (lUserID < 0)
	{
		printf("Login failed, error code: %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return;
	}

	//---------------------------------------
	//启动预览并设置回调数据流
	LONG lRealPlayHandle;

	NET_DVR_PREVIEWINFO struPlayInfo = { 0 };

	struPlayInfo.lChannel = 1;       //预览通道号
	struPlayInfo.dwStreamType = 0;       //0-主码流，1-子码流，2-码流3，3-码流4，以此类推
	struPlayInfo.dwLinkMode = 0;       //0- TCP方式，1- UDP方式，2- 多播方式，3- RTP方式，4-RTP/RTSP，5-RSTP/HTTP
	struPlayInfo.bBlocked = 1;       //0- 非阻塞取流，1- 阻塞取流

	lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);
	if (lRealPlayHandle < 0)
	{
		printf("NET_DVR_RealPlay_V40 error\n");
		NET_DVR_Logout(lUserID);
		NET_DVR_Cleanup();
		return;
	}

	Sleep(10000);
	//---------------------------------------
	//关闭预览
	NET_DVR_StopRealPlay(lRealPlayHandle);
	//注销用户
	NET_DVR_Logout(lUserID);
	//释放SDK资源
	NET_DVR_Cleanup();

	return;
}

运行后会报错Login error，29，如果你打开HKIPcamera.cpp，结合海康SDK里的设备网络SDK使用手册.chm，查询NET_DVR_GetLastError返回的错误号29是提示操作设备失败。

bool OpenCamera(char* ip, char* usr, char* password)
{
	lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);
	if (lUserID == 0)
	{
		cout << "Log in success!" << endl;
		return TRUE;
	}
	else
	{
		printf("Login error, %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return FALSE;
	}
}

此时从开始配置这个SDK调用环境已经三天过去了，从环境变量到文件名反复核对校验都没法解决这个代号29的操作失败问题。海康的客服打电话让我从官网沟通技术专家，然而排队一下午都没个人工接待，最后一心烦就把SDK所有dll文件放在一起，发现就可以用了……

最后感谢一下以下文章作者分享经验！

https://www.ryannn.com/archives/hikvision
https://blog.csdn.net/c20081052/article/details/95082377
https://blog.csdn.net/GottaYiWanLiu/article/details/106187962