使用opencv提取单据轮廓并旋转后生成图片

最近做图像识别方面的工作，需要对图片中的票据进行提取、识别，票据可能并不是正着放进去的，所以还需要进行旋转，还涉及到一些坐标转换的问题。

这就要用到opencv的轮廓提取、旋转变换等接口知识了。

首先，看看要识别的图片，这里我随便找了一张单据的图片

这里要把图片中的单据提取出来，扶正，并且单据要充满整个图片。（其实还需要识别单据左上方的条形码，并获取其坐标，有点复杂，这里就不说了）

这里说说我的思路：首先，灰度化、二值化，根据亮度的不同，把单据部分的轮廓提取出来，然后填充单据部分，将其作为mask把单据部分拿出来，然后旋转扶正，再次识别，去除边框外的部分，剩下部分生成图片保存。这个过程其实就是这么简单，下面直接上代码：

void GetContoursPic(const char* pSrcFileName, const char* pDstFileName)
{
	IplImage* pSrcImg = NULL;  
    IplImage* pFirstFindImg = NULL;  
    IplImage* pRoiSrcImg = NULL;  
	IplImage* pRatationedImg = NULL;
	IplImage* pSecondFindImg = NULL;
	IplImage* pDstImg = NULL;
  
    CvSeq* pFirstSeq = NULL; 
	CvSeq* pSecondSeq = NULL; 

	CvMemStorage* storage = cvCreateMemStorage(0);
  
    pSrcImg = cvLoadImage(pSrcFileName, 1);  
    pFirstFindImg = cvCreateImage(cvGetSize(pSrcImg), IPL_DEPTH_8U, 1); 
  
	//检索外围轮廓
    cvCvtColor(pSrcImg, pFirstFindImg, CV_BGR2GRAY);  //灰度化
    cvThreshold(pFirstFindImg, pFirstFindImg, 100, 200, CV_THRESH_BINARY);  //设置阈值，二值化
	//注意第5个参数为CV_RETR_EXTERNAL，只检索外框
    int nCount = cvFindContours(pFirstFindImg, storage, &pFirstSeq, sizeof(CvContour), CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);  

	//显示看一下
	cvNamedWindow ("pSrcImg", 1);  
	cvShowImage("pSrcImg", pSrcImg); 
  
    for (;pFirstSeq != NULL; pFirstSeq = pFirstSeq->h_next)  
    {  
		if (pFirstSeq->total < 600) //太小的不考虑,这个要考虑图片分辨率大小
		{
			continue;
		}

		//需要获取的坐标
		CvPoint2D32f rectpoint[4]; 
		CvBox2D End_Rage2D = cvMinAreaRect2(pFirstSeq); //寻找包围矩形，获取角度

		cvBoxPoints(End_Rage2D, rectpoint); //获取4个顶点坐标
		//与水平线的角度
		float angle = End_Rage2D.angle;

		CString strFort = _T("");
		strFort.Format(_T("\n angle:%f \n"), angle);
		OutputDebugString(strFort);

		//如果角度超过5度，就需要做旋转，否则不需要
		if (angle > 5 || angle < -5)
		{
			//计算两条边的长度
			int line1 = sqrt((rectpoint[1].y-rectpoint[0].y)*(rectpoint[1].y-rectpoint[0].y)+(rectpoint[1].x-rectpoint[0].x)*(rectpoint[1].x-rectpoint[0].x));
			int line2 = sqrt((rectpoint[3].y-rectpoint[0].y)*(rectpoint[3].y-rectpoint[0].y)+(rectpoint[3].x-rectpoint[0].x)*(rectpoint[3].x-rectpoint[0].x));
		
			//为了让正方形横着放，所以旋转角度是不一样的
			if (line1 > line2) //
			{
				angle = 90 + angle;
			}

			//新建一个感兴趣的区域图，大小跟原图一样大
			pRoiSrcImg = cvCreateImage(cvGetSize(pSrcImg), pSrcImg->depth, pSrcImg->nChannels); 
			cvSet(pRoiSrcImg, CV_RGB(0,0,0));  //颜色都设置为黑色
			//对得到的轮廓填充一下
			cvDrawContours(pFirstFindImg, pFirstSeq, CV_RGB(255, 255, 255), CV_RGB(255, 255, 255), -1, CV_FILLED, 8);
			//把pFirstFindImg这个填充的区域从pSrcImg中抠出来放到pRoiSrcImg上
			cvCopy(pSrcImg, pRoiSrcImg, pFirstFindImg);

			//再显示一下看看，除了感兴趣的区域，其他部分都是黑色的了
			cvNamedWindow ("pRoiSrcImg", 1);  
			cvShowImage("pRoiSrcImg", pRoiSrcImg);

			//创建一个旋转后的图像
			pRatationedImg = cvCreateImage(cvGetSize(pRoiSrcImg), pRoiSrcImg->depth, pRoiSrcImg->nChannels); 

			//对pRoiSrcImg进行旋转
			CvPoint2D32f center = End_Rage2D.center;  //中心点
			double map[6];
			CvMat map_matrix = cvMat(2, 3, CV_64FC1, map);
			cv2DRotationMatrix(center, angle, 1.0, &map_matrix);
			cvWarpAffine(pRoiSrcImg, pRatationedImg, &map_matrix, CV_INTER_LINEAR | CV_WARP_FILL_OUTLIERS, cvScalarAll(0));

			//显示一下旋转后的图像
			cvNamedWindow ("pRatationedImg", 1);  
			cvShowImage ("pRatationedImg", pRatationedImg); 

			//对旋转后的图片进行轮廓提取
			pSecondFindImg = cvCreateImage(cvGetSize(pRatationedImg), IPL_DEPTH_8U, 1);
			cvCvtColor(pRatationedImg, pSecondFindImg, CV_BGR2GRAY);  //灰度化
			cvThreshold(pSecondFindImg, pSecondFindImg, 80, 200, CV_THRESH_BINARY); 
			nCount = cvFindContours(pSecondFindImg, storage, &pSecondSeq, sizeof(CvContour), CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);  
			for (;pSecondSeq != NULL; pSecondSeq = pSecondSeq->h_next)  
			{  
				if (pSecondSeq->total < 600) //太小的不考虑
				{
					continue;
				}
				//这时候其实就是一个长方形了，所以获取rect
				CvRect rect = cvBoundingRect(pSecondSeq); 
				cvSetImageROI(pRatationedImg, rect);  

				CvSize dstSize;
				dstSize.width = rect.width;
				dstSize.height = rect.height;
				pDstImg = cvCreateImage(dstSize, pRatationedImg->depth, pRatationedImg->nChannels);  

				cvCopy(pRatationedImg, pDstImg, 0);  
				cvResetImageROI(pRatationedImg);  
				//保存成图片
				cvSaveImage(pDstFileName, pDstImg);
			}
		}
		else
		{
			//角度比较小，本来就是正放着的，所以获取矩形
			CvRect rect = cvBoundingRect(pFirstSeq); 
			//把这个矩形区域设置为感兴趣的区域
			cvSetImageROI(pSrcImg, rect);  

			CvSize dstSize;
			dstSize.width = rect.width;
			dstSize.height = rect.height;
			pDstImg = cvCreateImage(dstSize, pSrcImg->depth, pSrcImg->nChannels);  
			//拷贝过来
			cvCopy(pSrcImg, pDstImg, 0);  
			cvResetImageROI(pSrcImg);  
			//保存
			cvSaveImage(pDstFileName, pDstImg);
		}
	}  
	//显示一下最后的结果
    cvNamedWindow ("Contour", 1);  
    cvShowImage("Contour", pDstImg);  
  
    cvWaitKey(0);  
  
	//释放所有
    cvReleaseMemStorage(&storage);  
	if (pRoiSrcImg)
	{
		cvReleaseImage(&pRoiSrcImg);
	}
	if (pRatationedImg)
	{
		cvReleaseImage(&pRatationedImg); 
	}
	if (pSecondFindImg)
	{
		cvReleaseImage(&pSecondFindImg); 
	}
	cvReleaseImage(&pDstImg);
    cvReleaseImage(&pFirstFindImg);  
	cvReleaseImage(&pSrcImg); 
}

调用的时候直接使用类似这样既可：

GetContoursPic("D:\\clip\\IMG_1431.JPG", "D:\\clip\\IMG_1431_ratation.JPG");  

这个过程中，其实最重要的部分就是设置提取的阈值、提取和旋转，首先看设置阈值

cvThreshold(pFirstFindImg, pFirstFindImg, 100, 200, CV_THRESH_BINARY);  //设置阈值，二值化

这里第三、第四和第五个参数很重要，在第五个参数为CV_THRESH_BINARY的时候，只要图片中的亮度超过100的，就显示200的亮度以便于提取，这样检索外框的接口就可以提取了

int nCount = cvFindContours(pFirstFindImg, storage, &pFirstSeq, sizeof(CvContour), CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);  

这里第三和第五个参数很重要，CV_RETR_EXTERNAL表示只检索外框，pFirstSeq是检索后获取到的外框链表，可从中筛选出需要的外框。

cv2DRotationMatrix(center, angle, 1.0, &map_matrix);
cvWarpAffine(pRoiSrcImg, pRatationedImg, &map_matrix, CV_INTER_LINEAR | CV_WARP_FILL_OUTLIERS, cvScalarAll(0));

这两个接口主要是用来旋转变换的，上方的是获取旋转矩阵，下方是旋转变换

可以根据下方的图片看到程序处理的过程

完整的工程，可以到这里下载：工程下载