LPR车牌识别系统搭建

       在写这篇文章之前,我需要好好感谢一下,今天帮了我一个下午的同事。小姐姐经验丰富,完全惊到我了。一个错误去请教,2分钟解决。

       今天主要是把lpr系统导入vs2017中,配置环境,并且调用写好的识别算法。我的项目主要分为三个部分:摄像头视频拍摄并且截取有效车牌;lpr系统处理车牌并通过串口发送到单片机;单片机接受串口信号并作出相应动作。

        在开始之前,分享一下需要用到的资源:

       lpr源代码:(github是个好东西。虽然我也不太会用,英文不好)

            https://github.com/zeusees/HyperLPR.git

       lpr简介(1-8):

            http://www.cnblogs.com/silence-hust/p/4191655.html

       opencv3.3下载:(还有其他版本,自己去官网下吧)

            https://sourceforge.net/projects/opencvlibrary/files/opencv-win/3.3.0/opencv-3.3.0-vc14.exe/download

       第一部分是摄像头视频拍摄:摄像头视频拍摄是调用VideoCapture函数打开摄像头,使用read(cv::Mat)函数读出图像。在这里呢,我们预想是用激光测距来响应车辆来往,但是东西还没到,我就手动用控制台写了一个信号触发。加了一个线程,阻塞在输入函数这里。当输入0时触发响应,主线程的函数截取当前视频保存在本地目录下。在这里我犯了第一个错误:

    错误一:

     错误描述:我是想共用一个cv::Mat对象,主线程不停地通过cap.read(image)(VideoCapture声明出来的对象)不停地输出视频。然后当线程2输入触发信号后,对image对象加锁,在线程2中读取线程。

     错误说明:在多线程时,一个读,一个写是安全的,不需要加锁。并且用flag作为触发标志,当触发时,直接在主线程中截取就可以避免一个读一个写的乱序问题。顺便吐槽一下,windows底下的函数是真的难用。附上解决代码:(这段代码只需要配一下opencv环境就可以使用了。至于vs下opencv环境如何配置明天也可以写一下,我自己也经常忘,哈哈,说不定这个教程是写给我自己以后看的。)

     错误二:

     错误描述:cv::VideoCapture cap(1)这个函数,参数:-1为自己选择(会有一个错误四的小坑),0为自带摄像头,1-n是usb摄像头选择。

     错误说明:我每次都不知道这个参数是几,从1一路试过来。哈哈,你也自己这么玩去吧。

#include 
#include 
#include 
#include 
#include 
#include 
DWORD WINAPI myfun(LPVOID lpParameter);
bool flag = false;

int main(int argc, char** argv)
{
	HANDLE hThread;
	cv::Mat image;
	int option = 0;
	hThread = CreateThread(NULL, 0, myfun, NULL, 0, NULL);	//开始摄像
	while (true) {
		std::cout << "请选择是否截图(1:是,else:否)" << std::endl;
		std::cin >> option;
		switch (option) {
		case 1:
			flag = true;
			std::cout << "截图成功!" << std::endl;
			break;
		default:break;
		}
	}
	return 0;
}

DWORD WINAPI myfun(LPVOID lpParameter) {
	static int num = 0;
	cv::VideoCapture cap(1);
	cv::Mat frame;
	char imageAddress[30] = "F:\\image1.jpg";

	if (cap.isOpened())
		std::cout << "摄像头打开成功!" << std::endl;
	while (true) {
		cap.read(frame);
		if (flag) {
			sprintf_s(imageAddress, "%s%d%s", "F:\\image", num, ".jpg");
			cv::imwrite(imageAddress, frame);
			flag = false;
		}
		if (!frame.empty())
			cv::imshow("frame", frame);
		else
			std::cout << "error" << std::endl;
		cv::waitKey(100);
	}
}

       

 

    第二部分 是lpr系统识别已保存的车牌并将其通过串口传给单片机:

        我们本来的想法是通过网口传给板子(tcp连接),但是公司的嵌入式大神刚刚离职,进了我这样一个小渣渣。只能先用32将就将就了。并且32还没有网口模块,只能先用串口将就将就了,汗。lpr系统呢,主要分为图像采集,图像处理,数据库管理三个部分(见图1)。图像采集是我负责的,设备不足,就先用usb摄像头将就了(画质模糊,还没有补光灯),数据库管理也先不管(其实是我也不清楚)。图像处理呢分为五个部分预处理,车牌定位,倾斜校正,字符分割,字符识别。具体见图2,详细的我也不多说了,参考silcenceer大神的博客吧:http://www.cnblogs.com/silence-hust/p/4191655.html。恩恩大神分成了六个模块,可只写了五个模块。可能是我视力不好吧,有兴趣的同学可以去瞅瞅,他的图2.2上面一行,哈哈。

       LPR车牌识别系统搭建_第1张图片

 

       LPR车牌识别系统搭建_第2张图片

         以上的全是废话,请见谅。下面进入正题:如何把lpr导入vs中。

        1.下好lpr的源文件,包括这些东西:include,model,src,tests。include中全是头文件,src中是.cpp文件(.h的实现),tests文件中是例程。好了有人问还有model呢,恩,我不说当然是···我不知道啦(等周一去问小姐姐去)。

        2.把lpr的文件夹放在:文件名/工程名/lpr这里,lpr要是放错应该也会有影响的。然后新建vs的空项目,把头文件全部导入进来,.cpp文件也导入进来(tests中的.cpp就别导入进来捣乱了,多几个main,你让程序咋跑)。见图3,配置目录

LPR车牌识别系统搭建_第3张图片

        3.设置环境变量,这步是关键。项目->属性->链接器->输入->附加依赖项:opencv_world330.lib。在这里我被坑的很惨,我添加了opencv_world330d.lib和opencv_world330.lib,这两个产生混乱,无法识别。具体为啥我也不知道,小姐姐一眼看穿···。对了你的环境也得是相应的,比如我的环境变量是opencv3.3(怎么配置看我后面的更新吧)。到这里。基本配置就完成了,后面是怎么使用了。

        错误三:

        错误描述:使用cv::imshow()函数,能正常运行,但是不能显示图片,呈现灰色图像(见图4)。

        错误说明 :共有两种可能导致:1.没有cv::waitKey(1),opencv需要等待一下;2.由于导入两个lib,导致opencv混乱,无法正确读入图片。其中第二种,坑了我一下午。

         4.调用lpr,这是别人的代码,我没法共享,不过函数中要导入下面这段代码··········。具体如何使用,见我分享的github项目中的“HyperLPR/Prj-Win/lpr/tests/test_pipeline.cpp”这个文件。参照着写吧。

    pr::PipelinePR prc("../lpr/model/cascade.xml",
                      "../lpr/model/HorizonalFinemapping.prototxt","../lpr/model/HorizonalFinemapping.caffemodel",
                      "../lpr/model/Segmentation.prototxt","../lpr/model/Segmentation.caffemodel",
                      "../lpr/model/CharacterRecognization.prototxt","../lpr/model/CharacterRecognization.caffemodel"
                    );

          5. 写串口,配置波特率等。std::string TEST_IMAGE(std::string imgname) 是她的识别函数,我调用了这个函数,识别返回的代码,然后打开串口,输出出去。这里有个小坑:

           错误四:

           错误描述:串口不能打开,并且第一部分的摄像头打开后显示不出来

           错误说明:串口和usb摄像头在电脑识别,都是串口,当你拔下来,并且没有按照原来次序插的时候,打开摄像头却打开了串口,所以显示不出来这样当你在用cv::VideoCapture cap(-1)时,可能会打开的是串口转TTL的那个串口,导致出现灰色画面。并且,第二部分的程序会因为串口被占用而闪退。这就是传说中的,我昨天还能好好跑的,怎么今天一试全是问题了。

            附上我第二部分主函数的代码(识别部分不是我写的,就不贴出来了。并且串口部分也荡的网的):

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include "lpr\include\Pipeline.h"               //这个会根据你的lpr的地址改变,这个是一个大坑,我会在错误5中提到

HANDLE Serial_open(LPCWSTR, int);		//串口开启函数
int Serial_read(HANDLE, void*, int);		//串口读
int Serial_write(HANDLE, const void*, int);	//串口写
void Serial_close(HANDLE);			//串口关
void clear_buf(unsigned char*, int);		//清空字符串数组

std::string getStringFromFloat(float f)
{    /*****算法部分*****/
}
std::string TEST_IMAGE(std::string imgname) {

	pr::PipelinePR prc("F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/cascade.xml",
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/HorizonalFinemapping.prototxt", 
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/HorizonalFinemapping.caffemodel",
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/Segmentation.prototxt",
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/Segmentation.caffemodel",
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/CharacterRecognization.prototxt",
		"F:/work/opencv/readSerial/readSerial/readSerial/lpr/model/CharacterRecognization.caffemodel"
	);

      /****算法部分***/
}

/**
open serial
@param COMx: eg:_T("COM1")
@param BaudRate:
return 0 success ,return Negative is haed err
*/
HANDLE Serial_open(LPCSTR COMx, int BaudRate) {
	HANDLE hCom;//串口设备句柄
	DCB dcb = { 0 };
	hCom = CreateFile(COMx,
		GENERIC_READ | GENERIC_WRITE,
		0,
		0,
		OPEN_EXISTING,
		0,//FILE_FLAG_OVERLAPPED,   //同步方式 或 重叠方式   
		0
	);

	if (hCom == INVALID_HANDLE_VALUE)
	{
		DWORD dwError = GetLastError();
		printf("Sorry, failed to open the serial\n");
		//return -1;  
		printf("The program will terminate in 3 seconds\n");
		Sleep(3000);
		exit(0);
	}
	else
		printf("The serial is successfully opened in a Baudrate %d!\n", BaudRate);

	dcb.DCBlength = sizeof(DCB);

	if (!GetCommState(hCom, &dcb))
	{
		DWORD dwError = GetLastError();
		return(HANDLE)(-1);
	}

	dcb.BaudRate = BaudRate;   //波特率   
	dcb.ByteSize = 8;          //位数   
	dcb.Parity = NOPARITY;     //奇偶检验   
	dcb.StopBits = ONESTOPBIT;  //停止位数   

	if (!SetCommState(hCom, &dcb))
	{
		DWORD dwError = GetLastError();
		return(HANDLE)(-1);
	}
	if (!PurgeComm(hCom, PURGE_RXCLEAR))   return(HANDLE)(-1);

	SetupComm(hCom, 1024, 1024);
	return hCom;
}

/**
serial read
@param Buf:data buf
@param size:
@return The len of read
*/
int Serial_read(HANDLE hCom, void* OutBuf, int size) {
	DWORD cnt = 0;
	ReadFile(hCom, OutBuf, size, &cnt, 0);
	return cnt;
}

/**
serial write
@param Buf:data buf
@param size:bytes of Buf
@return The len of writen
*/
int Serial_write(HANDLE hCom, const void* Buf, int size) {
	DWORD dw;
	WriteFile(hCom, Buf, size, &dw, NULL);
	return dw;
}

/**
serial close
*/
void Serial_close(HANDLE hCom) {
	CloseHandle(hCom);
}

/**
clear buf
*/
void clear_buf(unsigned char* buf, int N) {
	int i = 0;
	for (i = 0; i < N; i++) 
		buf[i] = 0;
	buf[i] = '\0';
}

/* main.cpp */
HANDLE hCom;
int main() {

	int len = 0;
	int i = 0;
	std::vector vec;
	std::string strs;
	std::string strCur;
	std::string strPre;
	std::string pattern = ";";
	size_t begin = 0;
	size_t end = 0;
	char data[2];
	std::string strroad = "F:/image0.jpg";

	while (1) {
		cv::Mat img=cv::imread(strroad);
		if (img.empty()) {
			Sleep(1000);
			continue;
		}
		cv::imshow("image", img);
		cv::waitKey(30);

		strCur =TEST_IMAGE(strroad);
		if ((!strCur.empty()) &&  abs(strcmp(strCur.c_str(),strPre.c_str()))) {//&&(!strCur.compare(strPre)
			//切割字符串
			begin = end = 0;
			strs = strCur + pattern;
			end = strs.find(pattern);
			std::string lisPlate = strs.substr(begin, end);
			begin = end + 1;
			end = strs.find(pattern);
			std::string trust = strs.substr(begin, end);
			std::cout << lisPlate << std::endl;
			std::cout << trust << std::endl;
			//将string为float型
			float trustFloat = std::atof(trust.c_str());
			data[0] = trustFloat * 100;
			
			//发串口
			if (data[0] > 80) {
				hCom = Serial_open(_T("COM6"), 115200);
				Serial_write(hCom, data, 1);
				memset(data, 0, sizeof(data) / sizeof(char));
				Sleep(2000);
				Serial_close(hCom);
			}
		}
	}


	return 0;
}



    6.当你全部写好后,是不是很开心。那编译一下试试,编译一下你就知道,你丫的开心早了。我下午1点就到这一步了,一直到下午5点才全部搞定(还是在指导下进行的)。

    错误五:

    错误类型:满眼的error和warning。是不是跟我下面一样的···(这是我把路径改错给你们看到,感不感动。要是我改不回去,你们丫的也别开心,这篇文章你们也别想见到了,全给你删了。)

    错误说明:跟你说,这时候就要耐心,一个一个error点下去,点了十几个你看不懂的error后,你就会发现一个你能看得懂的error,找不到文件名。然后你就文件路径改掉,发现少掉一排warning和error。这时候,你可能机智的想到,会不会之前导进来的所有.cpp的库都是这样的错误,恩恩不错。当你全改掉后,开心啊,终于能编译通过了。你丫的能不能别开心这么早啊,前面就跟你说过了,别开心,坑还多着呢。

1>------ 已启动全部重新生成: 项目: readSerial, 配置: Debug x64 ------
1>main.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\cnnrecognizer.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\recognizer.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\fastdeskew.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\finemapping.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\main.cpp(195): warning C4244: “初始化”: 从“double”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\main.cpp(196): warning C4244: “=”: 从“float”转换到“char”,可能丢失数据
1>Recognizer.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\recognizer.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\recognizer.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>PlateSegmentation.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\platesegmentation.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\niblackthreshold.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>PlateDetection.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\platedetection.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\util.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\util.h(39): warning C4244: “参数”: 从“float”转换到“int”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\util.h(71): warning C4244: “return”: 从“double”转换到“float”,可能丢失数据
1>Pipeline.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\pipeline.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\pipeline.cpp : warning C4335: 检测到 Mac 文件格式: 请将源文件转换为 DOS 格式或 UNIX 格式
1>FineMapping.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\finemapping.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\finemapping.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\finemapping.cpp(182): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\finemapping.cpp(183): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\finemapping.cpp(184): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\finemapping.cpp(185): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>FastDeskew.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\include\fastdeskew.h : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(19): warning C4244: “return”: 从“double”转换到“int”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(38): warning C4267: “参数”: 从“size_t”转换到“int”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(70): warning C4244: “初始化”: 从“double”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(73): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(75): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(76): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(83): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(84): warning C4244: “参数”: 从“int”转换到“float”,可能丢失数据
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\fastdeskew.cpp(121): warning C4244: “初始化”: 从“__int64”转换到“int”,可能丢失数据
1>CNNRecognizer.cpp
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\cnnrecognizer.cpp : warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失
1>f:\work\opencv\readserial\readserial\readserial\lpr\src\cnnrecognizer.cpp(4): fatal error C1083: 无法打开包括文件: “include/CNNRecognizer.h”: No such file or directory
1>正在生成代码...
1>已完成生成项目“readSerial.vcxproj”的操作 - 失败。
========== 全部重新生成: 成功 0 个,失败 1 个,跳过 0 个 ==========

        错误六:你丫的,累似我了,你说我咋这么能遇到坑呢。

        错误描述:你们在完成前面工作后,会开心的发现,哇塞,warning和error的个数还是和没改之前差不多哎。附上我的报错,吓吓你。

        错误说明:由于函数模板max与Visual C++中的全局的宏max冲突。

        哎呀,没办法取消了,我也不会改回错误的形式了,就不展示了吧。 第二部分的错误差不多了。

 

        第三部分单片机接受串口信号并作出相应动作:

        下面我们开始讲讲这里的错误···巴拉巴拉一大堆,好啦,这里的错误很多,希望大家注意。我们下次再见。

        其实是我累了,敲了两个小时了,不想敲了。想继续看下去的,留言给我(虽然我不一定会看,我昨天看的留言还是,前年人家给我提问的)祝你好运。前面一篇有我QQ自己去找吧。

你可能感兴趣的:(计算机)