福州大学《嵌入式系统综合设计》实验五：图像裁剪及尺寸变换

一、实验目的

在深度学习中，往往需要从一张大图中裁剪出一张张小图，以便适应网络输入图像的尺寸，这可以通过bmcv_image_crop函数实现。 实践中，经常需要对输入图像的尺寸进行调整，以适用于网络输入图片尺寸，这可以通过bmcv提供的resize函数实现。目标检测时需要将检测到的目标位置用矩形框出来，这可以通过bmcv_image_draw_rectangle函数实现。本实验的目的是掌握算能的BMCV函数bmcv_image_crop, bmcv_image_resize，bmcv_image_draw_rectangle的使用方法。

二、实验内容

编写bmcv代码，调用bmcv_image_crop, bmcv_image_resize函数实现图片裁剪及尺寸的变换，调用bmcv_image_draw_rectangle函数来在指定的位置上画矩形框。

三、开发环境

开发主机：Ubuntu 22.04 LTS

硬件：算能SE5

本地如果有SE5硬件，则可以PC机作为客户端，SE5作为服务器端。本地如果没有SE5硬件，只有云空间，则可以直接将客户端和服务器端都通过云空间实现，机在云空间的SE5模拟环境中实现。

四、实验器材

开发主机 + 云平台

五、实验过程与结论

本实验涉及的程序框架与实验4的图4-1一致，仅需根据具体调用的API函数配置相关参数即可，因此接下来重点介绍API函数的参数及其调用方法。

BMCV关键函数介绍-bmcv_image_crop

算能BMCV提供了bmcv_image_crop，方便根据需要裁剪所需数量、大小的图，具体函数形式如下：

bm_status_t bmcv_image_crop(bm_handle_t handle,  //句柄
    int crop_num,
    bmcv_rect_t* rects,
    bm_image input,
    bm_image* output)

函数的接口中，crop_num为需要裁剪出的小图数量，input 指针指向输入图像，即 bm_image 对象；output指向输出图像，rects指针指向bmcv_rect_t的结构体，表示裁剪相关的信息，包括起始坐标、crop 宽高。该指针指向了若干个crop 框的信息，框的个数由crop_num 决定。

返回值bm_status_t为BM_SUCCESS则表示裁剪成功，否则为失败。

bmcv_rect_t结构体的格式如下所示： 

Typedef struct bmcv_rect{
    int start_x;    // 起始横坐标
    int start_y;    // 起始纵坐标
    int crop_x;     // 输出图像宽度
    int crop_y;     // 输出图像高度
} bmcv_rect_t;

代码调用方式如下：

//配置crop矩形的相关信息
bmcv_rect_t crop_attr;
crop_attr.start_x = 0;
crop_attr.start_y = 0;
crop_attr.crop_w = 600;
crop_attr.crop_h = 600;
bm_image input, output;
//input， output的创建代码省略
//代码主要框架参考实验4
bmcv_image_crop(handle,1,&crop_attr,input,&output)

BMCV关键函数介绍bmcv_image_resize

算能BMCV提供了bmcv_image_resize，方便对输入的若干张图片进行尺寸调整，或者在一张大图上进行抠图并进行尺寸调整，具体函数形式如下：

bm_status_t bmcv_image_resize(
    bm_handle_t handle,   // bm_handle句柄
    int input_num,
    bmcv_resize_image resize_attr[4],
    bm_image* input,
    bm_image* output)

函数参数中，返回值为BM_SUCCESS表明尺寸调整成功，否则为失败；

在调用bmcv_image_resize() 之前必须确保输入的image 内存已经申请。支持最大尺寸为2048*2048，最小尺寸为16*16，最大缩放比为32。

input 和output参数为指向输入/输出 bm_image 对象的指针。每个bm_image 需要外部调用bmcv_image_create 创建。image内存可以使用bm_image_alloc_dev_ mem 或者bm_image_copy_host_to_device 来开辟新的内存，或者使用bmcv_ image_attach 来attach 已有的内存，在输出时如无分配将在api 内部自行分配。

image_num 表示输入待调整尺寸的图片数，最多支持4张，如果input_num > 1, 那么多个输入图像必须是连续存储的（可以使用bm_image_alloc_contiguous_mem 给多张图申请连续空间）；resize_attr[4]为每张图片对应的 resize 参数, 最多支持 4 张图片，其类型为bmcv_resize_image结构体。

bmcv_resize_image描述了一张图中resize 配置信息，其具体格式如下：

typedef struct bmcv_resize_image_s{
    bmcv_resize_t *resize_img_attr;
    int roi_num;
    unsigned char stretch_fit;
    unsigned char padding_b;
    unsigned char padding_g;
    unsigned char padding_r;
    unsigned int interpolation;
}bmcv_resize_image;

其中，roi_num 描述了一副图中需要进行resize 的子图总个数；stretch_fit 表示是否按照原图比例对图片进行缩放，1 表示无需按照原图比例进行缩放，0表示按照原图比例进行缩放，当采用这种方式的时候，结果图片中未进行缩放的地方将会被填充成特定值；padding_r，padding_g, padding_b 表示当stretch_fit 设成0的情况下，rgb通道上被填充的值; interpolation 表示缩图所使用的算法, 设为BMCV_INTER_NEAREST 表示最近邻算法，设为BMCV_INTER_LINEAR 表示线性插值算法。

resize_img_attr为bmcv_resize_t结构体类型的指针，其具体内容如下所示：

typedef struct bmcv_resize_s{
    int start_x;
    int start_y;
    int in_width;
    int in_height;
    int out_width;
    int out_height;
}bmcv_resize_t;

其中，start_x 描述了resize 起始横坐标(相对于原图)，常用于抠图功能， start_y 描述了resize 起始纵坐标(相对于原图)，常用于抠图功能；in_width, in_height描述了crop 图像的宽和高。out_width 和out_height描述了输出图像的宽和高。

函数调用方式如下：

int image_num = 1;
int crop_w = 400, crop_h = 400;
int resize_w = 400, resize_h = 400;
int image_w = 1000, image_h = 1000;
int img_size_i = image_w * image_h * 3;
int img_size_o = resize_w * resize_h * 3;

bmcv_resize_image resize_attr[image_num];
bmcv_resize_t resize_img_attr[image_num];

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    resize_img_attr[img_idx].start_x = 0;            //抠图的起始横坐标
    resize_img_attr[img_idx].start_y = 0;            //抠图的起始纵坐标
    resize_img_attr[img_idx].in_width = crop_w;      //抠图的宽
    resize_img_attr[img_idx].in_height = crop_h;     //抠图的高
    resize_img_attr[img_idx].out_width = resize_w;   //输出的宽
    resize_img_attr[img_idx].out_height = resize_h;  //输出的高
}

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    resize_attr[img_idx].resize_img_attr = &resize_img_attr[img_idx];
    resize_attr[img_idx].roi_num = 1;
    resize_attr[img_idx].stretch_fit = 1;
    resize_attr[img_idx].interpolation = BMCV_INTER_NEAREST;
}

bm_image input[image_num];
bm_image output[image_num];

cv::Mat Input,Out;
Input = cv::imread(argv[1], 0);

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    //创建输入输出图像对象，并分配空间，转化为BMI格式
    bmcv_image_resize(handle, image_num, resize_attr, input, output);
}

BMCV关键函数介绍-bmcv_image_draw_rectangle

算能BMCV提供了bmcv_image_draw_rectangle，以便用矩形框出感兴趣区域。具体函数形式如下：

bm_status_t bmcv_image_draw_rectangle(bm_handle_t handle,
    bm_image image,
    int rect_num,
    * rects,
    int line_width,
    unsigned char r,
    unsigned char g,
    unsigned char b)

其中，handle为bm_handle 句柄；image是需要在其上画矩形框的bm_image 对象；rect_num为绘制矩形数量，指rects 指针中所包含的bmcv_rect_t 对象个数；rects为指向bmcv_rect_t对象（参考bm_image_resize函数参数说明）的指针，用以表示各个框所绘制的矩形数据（宽高等）；line_width表示线宽；r，g，b为所绘制线条三原色的值。

在代码中调用方式如下：

bm_image src;
//创建图像
bmcv_rect_t rect;
rect.start_x = 100;
rect.start_y = 100;
rect.crop_w = 200;
rect.crop_h = 300;

//在src对应的图像对象上，画1个框，框的信息在rect对象里描述。矩形线宽为3，颜色为红色。
bmcv_image_draw_rectangle(handle,src,1,&rect,3,255,0,0);

OpenCV函数介绍 

在OpenCV中，可以直接通过对图像长、宽维度进行操作，以实现图像剪裁的效果，如下所示

dst=src[200:2560,300:2062]

OpenCV提供resize函数，可以用于图像尺寸缩放，其函数接口如下所示

void resize (InputArray src,
    OutputArray dst,
    Size dsize,
    double fx=0, 
    double fy=0,
    int interpolation=INTER_LINEAR)

其中，src是原图，dst是输出结果图，fx表达横向的放缩倍数，fy表达纵向的放缩倍数，dsize表达放缩后的图像的横和纵向长度；interpolation为插值方式。

其调用方式如下图所示。

resize(src, dst, Size(), 0.5, 0.5, interpolation);

OpenCV提供rectangle函数，以实现在输入图像img上画出一个矩形，此时矩形通过左上角的点和右下角的点坐标pt1，pt2 表示。 函数参数含义与

void cv::rectangle(InputOutputArray img,
    Point 	pt1,                // 矩形框左上角点的坐标
    Point 	pt2,                // 矩形框右下角点的坐标
    const Scalar & 	color,      // 线的颜色
    int 	thickness = 1,      // 线的宽度
    int 	lineType = LINE_8,  // 线的类型
    int 	shift = 0           // 点坐标中小数位数。
)	

执行结果

bmcv_crop：

执行make后上传到云平台或者SOC盒子中，即可实现对图片的裁剪。

root@06416e512cb7:/tmp/crop# chmod 777 bmcv_crop
root@06416e512cb7:/tmp/crop# ./bmcv_crop cutecat.jpeg
open /dev/jpu successfully,device index = 0， jpu fd = 8,vpp fd = 9

效果如下：

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpe

bmcv_resize：

按照实验1、实验2步骤，生成可执行文件并上传到算能盒子，执行：

bmcv_resize文件夹内的文件如图所示

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls

Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpeg

 Greycat.jpeg如图所示

给可执行文件赋权限并执行

root@06416e512cb7:/tmp/crop# chmod 777 bmcv_resize
root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0,jpu fd = 8,vpp fd = 9

root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg opencv
Open /dev/jpu successfully,device index = 0,jpu fd = 4,vpp fd = 5

执行结果如下所示（生成out.jpg）

root@b3e319d8aoc8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpg 

bmcv_drawrect：

类似地，执行画矩形框的代码，可画出矩形框，具体如下：

root@06416e512cb7 : /tmp/crop# chmod 777 bmcv_ drawrect
root@06416e512cb7:/tmp/crop# ./bmcv_drawrect greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0, jpu fd = 4,vpp fd = 5

执行结果如下所示（生成out.jpg）

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect# ls
Makefile Readme.md bmcv_drawrect bmcv_drawrect.cpp bmcv_drawrect.o  common.h cutecat.jpeg greycat.jpeg out.jpg

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect# 

生成的结果out.jpg如上图所示。