【海思】利用opencv给海思抓拍图像加OSD

上一篇博文【海思图像视频OSD准备——移植freetype、SDL、SDL_ttf到开发板】已能利用freetype+SDL+SDL_ttf的方式生成字串位图了。现在以抓拍为例，介绍一种OSD的方法。可以明确的是：我们可以通过海思的region区域管理来实现OSD的叠加，也可以通过opencv的方式实现OSD的叠加。由于海思已有现成的sample_region来实现OSD了，那我就通过另一种方式——opencv叠加OSD。

1、图像叠加

摄像头拍照后，将编码数据赋值给opencv的Mat图像处理类，然后读入生成的字符串BMP位图。先利用Rect函数指定需要叠加的区域，再利用copyTo函数实现叠加。简略代码如下。

int api_putText(char *picsrc,int picsize,char *path,char *timestr,char *chnstr)
{
	Mat image;
    Mat OSD_region;
    Mat OSD_time;
    _InputArray picarray(picsrc,picsize);           //将图片数据赋值到输入数组
    image = imdecode(picarray,CV_LOAD_IMAGE_COLOR); //将图片数据赋值到Mat类

    string_to_bmp(timestr,TIME_BMP_PATH);           //调用字符串转位图函数，第一个参数为时间字符串，第二个参数为时间BMP位图的存储路径
    OSD_time = imread(TIME_BMP_PATH);               //读出上一步保存的位图
    OSD_region = image(Rect(20,20,OSD_time.cols,OSD_time.rows));    //设置叠加区域
    OSD_time.copyTo(OSD_region);                    //将位图叠加到叠加区域中
    imwrite(path,image);                            //保存打上OSD的图像

    ...
    ...
    ...
}

查看保存的图片如下

可以看到，时间虽然打上了，但是背景色不是透明的，多多少少有点丑啊。这是因为我们调用SDL生成字符串位图时，调用的是TTF_RenderUTF8_Solid函数，我们看其函数说明

/* Create an 8-bit palettized surface and render the given text at
   fast quality with the given font and color.  The 0 pixel is the
   colorkey, giving a transparent background, and the 1 pixel is set
   to the text color.
   This function returns the new surface, or NULL if there was an error.
*/
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderText_Solid(TTF_Font *font,
				const char *text, SDL_Color fg);
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderUTF8_Solid(TTF_Font *font,
				const char *text, SDL_Color fg);
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderUNICODE_Solid(TTF_Font *font,
				const Uint16 *text, SDL_Color fg);

可以看出，默认的背景色是透明的。之所以叠加上是黑色，是因为以BMP位图保存图像时无法保存透明色，常接触PS的朋友应该也知道这一点。还好opencv另有方法来解决这个问题。

2、让黑色背景透明

在上一步我们使用了Mat::copyTo这个方法，这是个重载函数，上边的OSD_time.copyTo(OSD_region);其实还可以添加第二个参数——蒙版。
当我们将这句话改为OSD_time.copyTo(OSD_region，OSD_time)之后，意味着OSD_time以自己为蒙版，自己作为自己的蒙版，那么必定处处重叠。那么这时重叠、且像素为0(即为黑色)的部分将会被置为透明色，其余部分不变。
通过修改后，添加了“地点”位图，并设置背景透明。最终得到下图，以纪念一下神作马里奥·奥德赛。

到现在为止，仍然不够完美，因为OSD字体是白色的，当下方区域颜色相近时，将会很难辨认。这可以考虑通过对每个字符下的区域进行平均灰度值分析，然后将字的颜色设为反色来解决。