使用Vivado HLS进行图像处理的一些个人总结

文章目录

前言

一、什么是HLS?

二、入门HLS

 1.如何学习HLS

2.如何编写HLS

三、用HLS处理图像

1.HLS主函数的编写

2.testbench编写

3.HLS优化

总结

---

---

前言

本人本科毕业设计是使用Xilinx公司的HLS对图像进行处理，在学习HLS和进行毕业设计途中发现，关于HLS的中文资料相对来说较少，所以准备对我使用途中的一些心得进行整理记录，希望可以帮助到一些人。本人对于这方面也是一个小白，如果一下内容有误，希望能评论进行指出，我会学习并对本篇内容进行更改，不胜感激。

---

一、什么是HLS?

HLS(High-Level Synthesis)高层综合，就是将 C/C++的功能用 RTL 来实现，将 FPGA 的组件在一个软件环境中来开发，这个模块的功能验证在软件环境中来实现，无缝的将硬件仿真环境集合在一起，使用软件为中心的工具、报告以及优化设计，很容易的在 FPGA 传统的设计工具中生成 IP。

二、入门HLS

 1.如何学习HLS

首先，HLS需要有一定的C/C++基础，如果之前学习过得话，那么能很快地入门HLS，这里推荐刚接触HLS的同学观看高亚军老师推出的HLS教程，这里讲解了一些HLS的基本语法和相应的一些约束操作。https://www.bilibili.com/video/BV1BQ4y1N78x?spm_id_from=333.999.0.0&vd_source=25f1274bb4288f427303344f27c3727e

如果想要对HLS有更深入的了解，可以查看XILINX的官方文档ug902和ug871，它们详细的介绍了HLS的相关知识。

2.如何编写HLS

XILINX为我们提供了一个专门的软件Vivado HLS来进行HLS的编写，但其功能不是非常完善，对于我们编写的语法错误不能具体指出，这相当影响我们的效率。笔者自己的经验是，如果是用C编写的非图像识别程序，可以使用一些C编译器来进行编写，目标完成后再将其移植到Vivado HLS软件中，而对于图像处理程序，Vivado HLS对其的限制很多，下面将详细说明。

三、用HLS处理图像

因为我们使用HLS编写代码的目的是生成ip核，最终会生成电路，虽然使用的语言是C/C++，但是我们在代码编写时需要遵守一定的电路规则，最明显的例子在Opencv中我们可以随意的读取一张图片任意一点的像素值，而在HLS中我们智能依次顺序读写。

对此Xilinx为HLS开发了一系列库函数，帮助我们处理图像，例如HLS视频库、hls opencv库等，在19年后将其更新为xfopencv库，这个能在xilinx官方的Github中找到。

1.HLS主函数的编写

对于HLS处理图像，我们需要对图片的格式进行处理才能处理图像。

---

 对应于HLS代码为：

     //将 AXI4 Stream 数据转换成 hls::mat 格式
	hls::AXIvideo2Mat(INPUT_STREAM,img_0);

	 //将 RGB888 格式的彩色数据转换成灰度数据
	hls::CvtColor(img_0,img_1);


	//(进行图像处理)

	hls::CvtColor(img_2,img_3);

	hls::Mat2AXIvideo(img_3,OUTPUT_STREAM);

根据这个模板就可以在中间进行图像处理，使用官方的函数或是自行编写。

题主当时需要自行编写图像处理程序，需要读取随机点的像素值，但HLS智能顺序读取，题主想到的办法是，先将整个图片的像素值放到一个二维矩阵中，这样就可以随机读取了，但是这样会消耗大量的逻辑资源。

for(int x0=0;x0>src_data;
				initial_buf[x0][y0] = src_data.val[0];
			}
		}

HLS读取就是这样第一次是读取第一行第一列，第二次读取第一行第二列，一次类推。

除此之外，其他方面都与使用Opencv处理图像类似。

2.testbench编写

对于使用HLS进行图像处理程序的testbench的编写，题主对其进行总结绘制流程图如下所示：

 对应于HLS代码为：

    //获取图像数据
	IplImage* src = cvLoadImage(INPUT_IMAGE);
	IplImage* dst = cvCreateImage(cvGetSize(src), src->depth, src->nChannels);

	//使用 HLS 库进行处理
	AXI_STREAM src_axi, dst_axi;
	IplImage2AXIvideo(src, src_axi);
	Image_correction(src_axi, dst_axi, src->height, src->width);
	AXIvideo2IplImage(dst_axi, dst);

	//保存图像
	cvSaveImage(OUTPUT_IMAGE,dst);

	//显示图像
	cvShowImage(INPUT_IMAGE,src);
	cvShowImage(OUTPUT_IMAGE,dst);

	//等待用户按下键盘上的任一按键
	cv::waitKey(0);

3.HLS优化

对于使用HLS设计ip核，优化对于减少资源占用和加快速度及其重要。

比较常用的优化有对循环进行优化、pipeline处理、数组优化三种。

对于HLS优化，高亚军老师在视频里有详细的介绍，这里不过多介绍，只阐述一下题主对于HLS优化的一些看法，以及对图像处理程序进行优化的经验。

对HLS进行优化无非就是想要提高速度以及减少资源占用，但是所有优化指令在提高一项指标的同时，往往会降低其他一些指标，所以我们能做的是在其中寻找一个可以接收的平衡点。

对于图像处理的优化，可以尝试将数组定义成stream格式，这样可以减少大量资源，对于是否有啥影响，题主暂未发现。

总结

以上就是本文要讲的内容，题主简单介绍了HLS对于图像处理程序的一些流程，希望能够给他人一点启发，如果有错误的地方欢迎指正，共同交流，共同进步。