opencv视频读写+手写数字视频的预处理



 
 在进行视频流手写数字识别时，需要先对视频进行预处理，并提取出数字所在的帧。
 用手机简短的拍了一个手写数字的小视频。但是发现视频的大小和拍摄方向不是很合适。
 于是读入视频后对每帧画面进行了旋转，并将画面大小调整为240*320.
 

opencv读入视频用的是VideoCapture,写视频用的是VideoWriter   

值得注意的是VideoWriter 的用法

C++: VideoWriter::VideoWriter(const string& filename, int fourcc, double fps, Size frameSize, bool isColor=true)

各个参数为：文件的名称，格式，帧率，帧大小，是否彩色。

                     帧大小和是否彩色一定要确保正确，否则会出现得到的视频是6KB或者0KB的结果

以下是程序：

#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/ml/ml.hpp>
#include <vector>
 
using namespace std;
using namespace cv;
 

Mat yuchuli(Mat& src,int new_width,int new_hight,int erzhithreshold) // 预处理,得到清晰的黑底白字
{
	Mat pic,out;
	resize(src,pic,Size(new_width,new_hight)); //化为统一的大小
 	if (pic.channels()==3)                //处理成单通道
		cvtColor(pic,out,COLOR_BGR2GRAY);
	else
		out=pic.clone();
	//adaptiveThreshold(out,out,255, CV_ADAPTIVE_THRESH_MEAN_C, CV_THRESH_BINARY, 3, 5);  
	 threshold(out,out, erzhithreshold, 255, CV_THRESH_BINARY_INV);//二值化
		//由于轮廓检测算法需要从黑色的背景中搜索白色的轮廓，所有此处的threshold最后一项参数为cv.CV_THRESH_BINARY_INV，即反转黑白色。
	 medianBlur(out,out,5);//中值滤波,二值化图还有一些小的白点需要去除

	 while(out.cols>700||out.rows>700)
	  resize(out,out,Size(out.cols/2,out.rows/2)); //若图像过大
	
	return out;
}

void getroi(Mat& src,Mat& dst)  //寻找包围数字的最小矩形，并切割出来，采用的是黑底白字
{
	int left,right,top,bottom;
	left=src.cols;
	right=0;
	top=src.rows;
	bottom=0;
	for (int i=0;i<src.rows;i++)
	{
		for (int j=0;j<src.cols;j++)
		{
			if (src.at<uchar>(i,j)>0)
			{
				if (j<left) left=j;
				if (j>right) right=j;
				if (i<top) top=i;
				if (i>bottom) bottom=i;
			}
		}
	}
	int width=right-left;
	int height=bottom-top;
	Rect dstrect(left,top,width,height);
	dst=dst(dstrect);
	 resize(dst,dst,Size(228,228));
	 
}
Mat newpreprocess(Mat& src, int size1,int size2) //寻找包围数字的最小矩形，并切割出来，采用的是白底黑字
{
	int left,right,top,bottom;
	left=src.cols;
	right=0;
	top=src.rows;
	bottom=0;
	for (int i=0;i<src.rows;i++)
	{
		for (int j=0;j<src.cols;j++)
		{
			if (src.at<uchar>(i,j)<1)
			{
				if (j<left) left=j;
				if (j>right) right=j;
				if (i<top) top=i;
				if (i>bottom) bottom=i;
			}
		}
	}
	int width=right-left;
	int height=bottom-top;
	Rect dstrect(left,top,width,height);
	Mat dst=src(dstrect);
	resize(dst,dst,Size(size1,size2));
	return dst;
}

Mat setmidle(Mat& pic,int new_width,int new_height)  //将数字放在图片中间,并缩放图片
{
	Mat src=pic.clone();
	int size=(src.rows>src.cols)?src.rows:src.cols;
	Mat dst(Size(size,size),src.type(),Scalar(255,255,255));//黑底
	int x =(int)floor((float)(size-src.cols)/2.0f);
	int y =(int)floor((float)(size-src.rows)/2.0f);
	Rect r(x,y,src.cols,src.rows);
	Mat dstroi=dst(r);
	addWeighted(dstroi,0,src,1,0,dstroi); 
	resize(dst,dst,Size(new_width,new_width));
	return dst;
}
 
int main()
{
	 
	VideoCapture capture("1.mp4");  
	 
	if (!capture.isOpened())
	{
		cout<<"can not find"<<endl;
		return 1;
	}

	double rate=capture.get(CV_CAP_PROP_FPS); // 获取帧率
	bool stop(false); // 是否停止播放视频
	Mat frame;        // 用来保存当前帧
	int delay= 1000/rate;  // 每一帧的延迟，用100 很快，1000正常速度  10000 很慢

	
		/************************视频写入 ******************/
	#if 1
	
		Size videoSize(capture.get(CV_CAP_PROP_FRAME_WIDTH),capture.get(CV_CAP_PROP_FRAME_HEIGHT));
		VideoWriter writer;
		writer.open("预处理.avi",CV_FOURCC('M','J','P','G'),rate,Size(240,360),0);//由于对frame进行了大小调整，这里的size要与调整之后的一致
	    VideoWriter writer1("调整.avi",CV_FOURCC('M','J','P','G'),rate,Size(240,360),1);
   #endif
	// 按帧播放视频
	while(!stop)
	{
		 capture>>frame;
		if(!capture.read(frame))   
			break;
		imshow("原视频",frame); 
		flip(frame,frame,0);
		transpose(frame,frame);
		//while(frame.cols>700||frame.rows>700)   //若图像过大，将图像压缩
	   // resize(frame,frame,Size(frame.cols/2,frame.rows/2));  
		resize(frame,frame,Size(240,360)); 
		 imshow("视频大小角度调整",frame);
    	 writer1<<frame;

	 	Mat result=frame.clone();//用于在图上画出轮廓

	 	/**********************************对每一帧图像进行预处理***************************************/
		Mat pic1 = yuchuli(frame,frame.cols,frame.rows,38);//对于所选的视频文件阈值为38比较合适
	    imshow("预处理",pic1);
	    writer<<pic1;
	   Mat picroi=pic1.clone();

#if 1

		/*************************************画出轮廓*****************************************/
		 
		vector<vector<Point>>contours;
	    findContours(pic1,contours, RETR_EXTERNAL,CHAIN_APPROX_SIMPLE); //查找所有外轮廓，输入图像必须为二值图
		drawContours(result,contours,-1,Scalar(0,0,255),1);// 画出轮廓
		imshow("轮廓",result);
		 
       /******************************画出数字最小包围矩形***********************************************/
    	for (int i=0;i<contours.size();i++)
			{
				Rect r =boundingRect(Mat(contours[i]));
				rectangle(frame,r,Scalar(0,255,0),1);
				imshow("矩形框定位置",frame);
			}
		/******切割数字最小包围矩形********/
		if ( contours.size()>0)
		{
			 getroi(picroi,picroi);
			 imshow("getroi",picroi); 
		}

#endif
		
	///////退出视频的方法///////
		if(waitKey(delay)>=0)   //播放的是已经存在视频文件用这个
			stop=true;          //当调用摄像头需要注销这个退出方法，不然摄像头视频一直停在第一帧

		if (waitKey(1) == 27)   // 按下Esc退出程序
			break;
    //************退出视频**************///
	 

	}
 
	capture.release();   
 
	return 0;
}

程序运行效果如下：

可以看到原视频方向是横着的