Python调用海康威视网络相机_调用海康SDK

运行环境:

Win10系统,64位,Anaconda3
python 3.7.4(基于anaconda环境)
opencv 3.4.6
Visual Studio 2017
硬件:DS-2CD3T86FWDV2-I5S
相机SDK:CH-HCNetSDKV6.1.6.45_build20210302_win64

一、前言

首先,海康网络相机的读取和工业相机不是同一个SDK包,工业相机的SDK包去海康机器人下载,网络相机的SDK包去海康威视下载。工业相机控制软件MVS目录下有python SDK包使用示例,非常方便,但是网络相机的SDK就只给了C++之类的了(吐槽)。
Python调用海康威视网络相机_调用海康SDK_第1张图片
python调用海康威视视频画面主要有两种方式,一种是使用rtsp流,看网上资料说rtsp取流会比较延迟卡顿,如果对实时性要求较高(与网页预览效果相当),可以采用在python中调用HikVision的SDK读取IP相机的方式试验,帧率和网页预览效果相当。

import cv2

url = "rtsp://[username]:[password]@[ip]/Streaming/Channels/2"
# 示例 "rtsp://admin:[email protected]/Streaming/Channels/2"
# rtsp默认端口为554,可缺省,若更改过需要将[ip]部分加上端口号,例如192.168.1.64:554
cap = cv2.VideoCapture(url)
ret, frame = cap.read()
while ret:
    ret, frame = cap.read()
    cv2.imshow("frame", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cv2.destroyAllWindows()
cap.release()

但我自己将网页预览效果、rtsp取流效果和SDK调取视频流三种方式同时进行,观察视频画面延时情况却发现网页预览效果最快,延迟约2秒,rtsp比网页约慢1秒不到,但竟然比SDK调取要快一点点点点???(gif图帧率有限)可能是我的打开姿势不太对,但暂时不打算深究优化了,使用rtsp只能取流而已,但是用SDK可以根据手册进行各种二次开发,因此使用SDK还是必要的。如果只是需要视频流做视觉项目的试验的话,rtsp足矣。

本文整理了网上仅有的几位大佬的资料,结合了自身踩坑经验,将python调用海康SDK进行相机取流的流程重新整理了一份,有错漏可以评论区留言一下。

二、准备工作

1.海康SDK下载

下载地址:https://open.hikvision.com/download

选硬件产品,选择自己对应的系统平台版本,我这边选的是设备网络SDK_Win64 (CH-HCNetSDKV6.1.6.45_build20210302_win64.zip文件) ; 解压后得到 CH-HCNetSDKV6.1.6.45_build20210302_win64 文件夹;

该文件夹下主要是头文件和库文件,很扯的是文件夹竟然用中文命名的,所以要把文件夹名字分别改为include和lib。(我习惯如此命名)

2.安装OpenCV

我自己用的是github上的opencv3.4.6版本,扩展包l另搜opencv_contrib,用cmake编译即可,教程自己找。

3.安装Swig

Swig全称为Simplified Wrapper and Interface Generator,简化包装器和接口生成器,作用就是向脚本语言(tcl,perl,python等)提供了C和C++的接口,简而言之就是用来封装库的。
下载链接:http://www.swig.org/download.html
Python调用海康威视网络相机_调用海康SDK_第2张图片
将解压后的文件夹路径添加到系统环境变量PATH中。

4.下载boost库

下载地址:https://www.boost.org/users/download/
待会儿需要将其解压到工程目录下即可,后续会贴图说明。

5.下载OpenCV-swig接口文件

下载地址:https://github.com/renatoGarcia/opencv-swig
后续需要将lib目录下的opencv文件夹和opencv.i接口文件复制到工程目录下。
Python调用海康威视网络相机_调用海康SDK_第3张图片

三、操作步骤

1.使用swig编译生成python和C++数据交换需要的.py和.cxx文件

创建三个文件,分别为HKIPcamera.h,HKIPcamera.cpp和HKIPcamera.i,内容分别为:
HKIPcamera.h

#include 
using namespace cv;
 
void init(char* ip, char* usr, char* password);
Mat getframe();
void release();

HKIPcamera.cpp

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include "HCNetSDK.h"
#include "plaympeg4.h"
 
#define USECOLOR 1
 
using namespace cv;
using namespace std;
 
//--------------------------------------------
int iPicNum = 0;//Set channel NO.
LONG nPort = -1;
HWND hWnd = NULL;
CRITICAL_SECTION g_cs_frameList;
list<Mat> g_frameList;
LONG lUserID;
NET_DVR_DEVICEINFO_V30 struDeviceInfo;
HANDLE hThread;
LONG lRealPlayHandle = -1;
 
void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{
	int col, row;
	unsigned int Y, U, V;
	int tmp;
	int idx;
	for (row = 0; row < height; row++)
	{
		idx = row * widthStep;
		int rowptr = row * width;
 
		for (col = 0; col < width; col++)
		{
			tmp = (row / 2)*(width / 2) + (col / 2);
	
			Y = (unsigned int)inYv12[row*width + col];
			U = (unsigned int)inYv12[width*height + width * height / 4 + tmp];
			V = (unsigned int)inYv12[width*height + tmp];
 
			outYuv[idx + col * 3] = Y;
			outYuv[idx + col * 3 + 1] = U;
			outYuv[idx + col * 3 + 2] = V;
		}
	}
}
 
//解码回调 视频为YUV数据(YV12),音频为PCM数据
void CALLBACK DecCBFun(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{
	long lFrameType = pFrameInfo->nType;
 
	if (lFrameType == T_YV12)
	{
#if USECOLOR
		//int start = clock();
		static IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量  
		yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);
		cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);
		//int end = clock();
#else
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);
		memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endif
 
		EnterCriticalSection(&g_cs_frameList);
		//g_frameList.push_back(pImg);
		g_frameList.push_back(cv::cvarrToMat(pImg));
		LeaveCriticalSection(&g_cs_frameList);
}
 
 
///实时流回调
void CALLBACK fRealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{
	DWORD dRet;
	switch (dwDataType)
	{
	case NET_DVR_SYSHEAD:    //系统头
		if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号
		{
			break;
		}
		if (dwBufSize > 0)
		{
			if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//设置解码回调函数 只解码不显示
			if (!PlayM4_SetDecCallBack(nPort, DecCBFun))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//打开视频解码
			if (!PlayM4_Play(nPort, hWnd))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
		}
		break;
 
	case NET_DVR_STREAMDATA:   //码流数据
		if (dwBufSize > 0 && nPort != -1)
		{
			BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
			while (!inData)
			{
				Sleep(10);
				inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
				OutputDebugString(L"PlayM4_InputData failed \n");
			}
		}
		break;
	}
}
 
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{
	char tempbuf[256] = { 0 };
	switch (dwType)
	{
	case EXCEPTION_RECONNECT:    //预览时重连
		printf("----------reconnect--------%d\n", time(NULL));
		break;
	default:
		break;
	}
}
 
bool OpenCamera(char* ip, char* usr, char* password)
{
	lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);
	if (lUserID == 0)
	{
		cout << "Log in success!" << endl;
		return TRUE;
	}
	else
	{
		printf("Login error, %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return FALSE;
	}
}
DWORD WINAPI ReadCamera(LPVOID IpParameter)
{
	//---------------------------------------
	//设置异常消息回调函数
	NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);
 
	//cvNamedWindow("Mywindow", 0);
	//cvNamedWindow("IPCamera", 0);
 
	//HWND  h = (HWND)cvGetWindowHandle("Mywindow");
	//h = cvNamedWindow("IPCamera");
	//---------------------------------------
	//启动预览并设置回调数据流 
	NET_DVR_CLIENTINFO ClientInfo;
	ClientInfo.lChannel = 1;        //Channel number 设备通道号
	ClientInfo.hPlayWnd = NULL;     //窗口为空,设备SDK不解码只取流
	ClientInfo.lLinkMode = 1;       //Main Stream
	ClientInfo.sMultiCastIP = NULL;
 
	LONG lRealPlayHandle;
	lRealPlayHandle = NET_DVR_RealPlay_V30(lUserID, &ClientInfo, fRealDataCallBack, NULL, TRUE);
	if (lRealPlayHandle < 0)
	{
		printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n", NET_DVR_GetLastError());
		return -1;
	}
	else
		cout << "码流回调成功!" << endl;
	Sleep(-1);
	if (!NET_DVR_StopRealPlay(lRealPlayHandle))
	{
		printf("NET_DVR_StopRealPlay error! Error number: %d\n", NET_DVR_GetLastError());
		return 0;
	}
	NET_DVR_Logout(lUserID);
	NET_DVR_Cleanup();
	return 0;
}
 
 
void init(char* ip, char* usr, char* password) {
	//HANDLE hThread;
	//LPDWORD threadID;
	//---------------------------------------
	// 初始化
	NET_DVR_Init();
	//设置连接时间与重连时间
	NET_DVR_SetConnectTime(2000, 1);
	NET_DVR_SetReconnect(10000, true);
	OpenCamera(ip, usr, password);
	InitializeCriticalSection(&g_cs_frameList);
	hThread = ::CreateThread(NULL, 0, ReadCamera, NULL, 0, 0);
}
 
Mat getframe() {
	Mat frame1;
	EnterCriticalSection(&g_cs_frameList);
	while (!g_frameList.size()) {
		LeaveCriticalSection(&g_cs_frameList);
		EnterCriticalSection(&g_cs_frameList);
	}
	list<Mat>::iterator it;
	it = g_frameList.end();
	it--;
	Mat dbgframe = (*(it));
	(*g_frameList.begin()).copyTo(frame1);
	frame1 = dbgframe;
	g_frameList.pop_front();
	//imshow("camera", frame1);
	//waitKey(1);
 
	g_frameList.clear();   // 丢掉旧的帧
	LeaveCriticalSection(&g_cs_frameList);
	return(frame1);
}
 
void release() {
	::CloseHandle(hThread);
	NET_DVR_StopRealPlay(lRealPlayHandle);
	//关闭预览
	NET_DVR_Logout(lUserID);
	//注销用户
	NET_DVR_Cleanup();
}

HKIPcamera.i

/*  Example of wrapping a C function that takes a C double array as input using
 *  numpy typemaps for SWIG. */
%module HKIPcamera
%include <opencv/mat.i>
%cv_mat__instantiate_defaults
%header %{
    /*  Includes the header in the wrapper code */
    #include "HKIPcamera.h"
%}
 
%include "HKIPcamera.h"

新建一个文件夹,命名为 HicVision_python_SDK(可任意命名),将上述3个文件与上面提及的opencv-swig-master\lib下的opencv文件夹和opencv.i 这两个文件复制到 HicVision_python_SDK文件夹下,然后将解压的boost_1_76_0文件夹也一并拷贝到这个目录下。
Python调用海康威视网络相机_调用海康SDK_第4张图片
打开cmd,进入到刚才创建的HicVision_python_SDK文件夹下,将D:\Tools\opencv\build\include替换为你的OpenCV的include路径(用exe安装的和cmake来build出来的路径好像稍微有点区别),使用如下命令会生成蓝色箭头所指的HKIPcamera_wrap.cxxHKIPcamera.py两个文件 (下文用到);

E:\HicVision_python_SDK>swig -ID:\Tools\opencv\build\include -python -c++ HKIPcamera.i

2.修改海康SDK下的plaympeg4.h文件

该文件在CH-HCNetSDKV6.1.6.45_build20210302_win64\include目录下:
Python调用海康威视网络相机_调用海康SDK_第5张图片
用NotePad++打开(别的也行),在下述语句的"C"和__之间需要增加空格,否则会导致编译报错(不要把中文注释复制进去,自己在文件里改就好)。即:

#if defined( _WINDLL)
	//原本为#define PLAYM4_API  extern "C"__declspec(dllexport) 
    #define PLAYM4_API  extern "C" __declspec(dllexport) 
#else 
	//原本为#define PLAYM4_API  extern "C"__declspec(dllexport) 
    #define PLAYM4_API  extern "C" __declspec(dllimport) 
#endif

3.使用VS2017编译生成动态链接库dll文件

文件->新建项目->Windows桌面向导,新建项目名称HKIPcamera。(建议一致)
Python调用海康威视网络相机_调用海康SDK_第6张图片
应用程序类型选动态链接库(.dll),勾选空项目
Python调用海康威视网络相机_调用海康SDK_第7张图片
在属性管理器,Release|x64右键,属性,C/C++,常规,SDL检查改为否。
Python调用海康威视网络相机_调用海康SDK_第8张图片
Python调用海康威视网络相机_调用海康SDK_第9张图片
其中,VC++目录添加如下路径:(请根据实际安装位置补全其全路径名称,我这边省去了安装路径名了~)
包含目录

Anaconda3\include
Anaconda3\Lib\site-packages\numpy\core\include
HicVision_python_SDK\boost_1_76_0
CH-HCNetSDKV6.1.6.45_build20210302_win64\include

库目录

Anaconda3\libs
HicVision_python_SDK\boost_1_76_0\libs
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib\HCNetSDKCom

…………………………………………分割线……………………………………
补充说明:

如果没安装并配置过opencv,请自己找教程将opencv的包含目录、库目录和附加依赖项添加好,例如:
包含目录:
在这里插入图片描述
库目录:
在这里插入图片描述
附加依赖项:(如果你是exe安装,可能只有release用的opencv_world346.lib,和debug用的opencv_world346d.lib)
Python调用海康威视网络相机_调用海康SDK_第10张图片
…………………………………………分割线……………………………………
预处理器

WIN32
NDEBUG
_CONSULE
_CRT_SECURE_NO_WARNINGS

且在通用属性->常规->字符集中选择使用多字节字符集(这个依据实际错误情况来修改,我是遇到这方面的问题,此处仅做补充)

C/C++,代码生成,运行库选的是多线程DLL(/MD)

完成以上步骤后,右键工程项目名选择生成,之后会在工程x64文件夹下的Release文件夹下生成.dll和.lib文件如下(红色):
Python调用海康威视网络相机_调用海康SDK_第11张图片
复制一份 HKIPcamera.dll 文件并重命名为 _HKIPcamera.pyd 到该目录下,并将海康SDK中的 HCNetSDKCom 文件夹拷贝过来==(这个步骤很重要!!!!)==,以及将上文中用swig生成的 HKIPcamera.py 也复制过来(如上图蓝色)

最后编写了个test.py也放在上图目录下,其内容如下(主要用来检测是否编译成功了):

import HKIPcamera
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2
 
 
ip = str('10.167.93.111')  # 摄像头IP地址,要和本机IP在同一局域网
name = str('admin')       # 管理员用户名
pw = str('abcd1234')        # 管理员密码
HKIPcamera.init(ip, name, pw)
# HKIPcamera.getfram()
#for i in range(100):
while(True):
    t = time.time()
    fram = HKIPcamera.getframe()
    t2 = time.time()
    cv2.imshow('123', np.array(fram))
    cv2.waitKey(1)
    print(t2-t)
    time.sleep(0.1)
HKIPcamera.release()
time.sleep(5)
HKIPcamera.init(ip, name, pw)

网上资料都是到这里就告诉你可以用了,但此时你可能会惊奇地发现根本用不了,可能会import _HKIPcamera失败,告诉你找不到dll
Python调用海康威视网络相机_调用海康SDK_第12张图片
此时你需要将CH-HCNetSDKV6.1.6.45_build20210302_win64\lib下的18个dll文件全部放到python工程的根目录下,也就是和之前的_HKIPcamera.pyd 等文件放在同一个目录下。
Python调用海康威视网络相机_调用海康SDK_第13张图片
然后就可以成功加载dll运行了,至此,python调用海康SDK控制相机的操作流程结束。

四、踩坑经历

为什么这个lib目录已经添加到了环境变量也还是找不到这些dll,我看网上资料说python会优先加载Scripts下的dll,然后是环境变量和项目根目录下的dll,我也使用sys.path.append()将上图lib文件夹添加到环境变量中也依旧报错找不到dll,最后也没整明白为什么不行。

在将18个dll放进根目录之前,我首先用VS2017创建一个新的控制台项目,按编译dll时的项目属性,将包含目录、库目录等设置好,将HKIPcamera.hhkipcamera.cpp添加进来,再创建一个main.cppmain.cpp内容如下:(使用时将ip,用户名,密码改为自己相机的)

#include 
#include 
#include "Windows.h"
#include "HCNetSDK.h"
#include 
using namespace std;


void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser);


void main() {

	//---------------------------------------
	// 初始化
	NET_DVR_Init();
	//设置连接时间与重连时间
	NET_DVR_SetConnectTime(2000, 1);
	NET_DVR_SetReconnect(10000, true);

	//---------------------------------------
	//设置异常消息回调函数
	NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);



	//---------------------------------------
	// 注册设备
	LONG lUserID;

	//登录参数,包括设备地址、登录用户、密码等
	NET_DVR_USER_LOGIN_INFO struLoginInfo = { 0 };
	struLoginInfo.bUseAsynLogin = 0; //同步登录方式
	strcpy(struLoginInfo.sDeviceAddress, "192.168.1.64"); //设备IP地址
	struLoginInfo.wPort = 8000; //设备服务端口
	strcpy(struLoginInfo.sUserName, "admin"); //设备登录用户名
	strcpy(struLoginInfo.sPassword, "12345"); //设备登录密码

	//设备信息, 输出参数
	NET_DVR_DEVICEINFO_V40 struDeviceInfoV40 = { 0 };

	lUserID = NET_DVR_Login_V40(&struLoginInfo, &struDeviceInfoV40);
	if (lUserID < 0)
	{
		printf("Login failed, error code: %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return;
	}

	//---------------------------------------
	//启动预览并设置回调数据流
	LONG lRealPlayHandle;

	NET_DVR_PREVIEWINFO struPlayInfo = { 0 };

	struPlayInfo.lChannel = 1;       //预览通道号
	struPlayInfo.dwStreamType = 0;       //0-主码流,1-子码流,2-码流3,3-码流4,以此类推
	struPlayInfo.dwLinkMode = 0;       //0- TCP方式,1- UDP方式,2- 多播方式,3- RTP方式,4-RTP/RTSP,5-RSTP/HTTP
	struPlayInfo.bBlocked = 1;       //0- 非阻塞取流,1- 阻塞取流

	lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);
	if (lRealPlayHandle < 0)
	{
		printf("NET_DVR_RealPlay_V40 error\n");
		NET_DVR_Logout(lUserID);
		NET_DVR_Cleanup();
		return;
	}

	Sleep(10000);
	//---------------------------------------
	//关闭预览
	NET_DVR_StopRealPlay(lRealPlayHandle);
	//注销用户
	NET_DVR_Logout(lUserID);
	//释放SDK资源
	NET_DVR_Cleanup();

	return;
}

运行后会报错Login error,29,如果你打开HKIPcamera.cpp,结合海康SDK里的设备网络SDK使用手册.chm,查询NET_DVR_GetLastError返回的错误号29是提示操作设备失败。

bool OpenCamera(char* ip, char* usr, char* password)
{
	lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);
	if (lUserID == 0)
	{
		cout << "Log in success!" << endl;
		return TRUE;
	}
	else
	{
		printf("Login error, %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return FALSE;
	}
}

此时从开始配置这个SDK调用环境已经三天过去了,从环境变量到文件名反复核对校验都没法解决这个代号29的操作失败问题。海康的客服打电话让我从官网沟通技术专家,然而排队一下午都没个人工接待,最后一心烦就把SDK所有dll文件放在一起,发现就可以用了……

最后感谢一下以下文章作者分享经验!

https://www.ryannn.com/archives/hikvision
https://blog.csdn.net/c20081052/article/details/95082377
https://blog.csdn.net/GottaYiWanLiu/article/details/106187962

你可能感兴趣的:(相机相关,python,计算机视觉)