玩转FPGA边缘视觉——4k视频图像抓取

随着现代图像及视频处理技术的不断发展，人们对图像处理提出了新的要求，最近几年，图像的分辨率和扫描频率都有了较大范围的提升，1080P分辨率的视频已经非常流行，2K甚至4K分辨率的图像也在火热发展中。

  

基于软件的图像处理方法存在着一些局限性，尤其是计算速度和算法效率方面。所以大家很自然的就想到了FPGA作为嵌入式图像应用的平台。许多图像处理本身就是并行计算的，并且FPGA的编程硬件，本质上也是并行的。 

 

FPGA（Field-Program mable Gate Array），即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。 

下面以米尔VECP边缘视觉套件作为图像处理的硬件平台，带你玩转FPGA之视频图像抓取。

FPGA功能描述图示：

MYD-CZU3EG-ISP 提供4K分辨率的摄像头功能，同时输出4K分辨率的图像显示到图像输出接口，下面带一起来体验FPGA的图像抓取和图像显示的操作和应用。 

一、前期准备工作
将产品资料光盘中的镜像文件和摄像头测试文件复制到TF卡中，并安装光盘中的工业相机采集软件OCT SDK工具，同时去cypress官网下载FX3 SDK工具进行固件烧录。（具体文件路径请看板卡配套资料） 

 

二、操作过程

（1）将开发板的启动模式switch 开关SW1 的1 拨到OFF，2 拨到ON，3拨到OFF，4 拨到ON，设置成TF 卡启动模式；

 
（2）插入已存入文件的TF 卡，连接串口，波特率设置为115200，开发板上电；
（3）开发板将引导进入Ramdisk 文件系统，进入Linux 命令行:

1 Welcome to myir board 
2 myir login: root 
3 [root@myir ~]# 

（4）打开OCT SDK 工具，如下图，选择“OCAM Technology”，点击右键选择Connect>Window:1:

光标移到右侧视屏区，点击右键，选择Start
（5）发送控制指令，设置Gige（网络接口）为输出接口的视频源为1，选择PS VDMA为输出的视频源；

1 [root@myir ~]# cd /mnt/mmcblk1p1/
2 [root@myir mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 02 ff

（6）抓取摄像头图像，输入如下命令，将会生成图像文件rgb888；

1 [root@myir mmcblk1p1]# ./ispcaptest

（7）显示抓取摄像头图像；

1 [root@myir mmcblk1p1]# cat rgb888 >/dev/fb0

（8）OCT 工具将会显示抓取的摄像头图像；

 

三、HDMI接口显示

如果要用hdmi 接口的4k 显示器显示摄像头图像，输入如下命令，将会显示如下图的摄像头图像。

1 [root@myir ~]# cd /mnt/mmcblk1p1/
2 [root@myir mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 01 ff
3 [root@myir mmcblk1p1]# ./ispcaptest
4 [root@myir mmcblk1p1]# cat rgb888 >/dev/fb0 

四、USB显示输出

如果要用usb 显示摄像头图像，按照“MYD-CZU3EG-ISP 功能描述和编译”的文档生成包含usb 显示图像的功能的BOOT.bin，替换TF 卡中的BOOT.bin文件，将会显示如下图的摄像头图像。

1 [root@myir ~]# cd /mnt/mmcblk1p1/
2 [root@myir mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 04 ff
3 [root@myir mmcblk1p1]# ./ispcaptest
4 [root@myir mmcblk1p1]# cat rgb888 >/dev/fb0 

五、HDMI 显示QT 界面

将开发板的启动模式switch开关SW1 的1 拨到OFF，2 拨到ON，3拨到OFF，4 拨到ON，设置成TF 卡启动模式；
插入已存入烧写文件的TF 卡，连接串口波特率为115200，开发板上电；
开发板将引导进入Ramdisk文件系统，进入Linux 命令行，输入命令开始更新：

1 Welcome to myir board
2 myir login: root
3 [root@myir ~]#/updatesys.sh /mnt/mmcblk1p1 

脚本将把BOOT.bin，devicetree.dtb，Image 烧写到QSPI-Flash，把rootfs.tar烧写到eMMC。
烧写完成之后，将开发板的启动模式switch 开关SW1的1拨到ON，2拨到OFF，3拨到ON，4拨到ON，
设置成Qspi flash 启动模式，重新上电，进入烧写的rootfs文件系统，输入如下命令。

1 Welcome to myir board
2 myir login: root
3 [root@myir ~]# /mnt/mmcblk1p1/setispcmd 81 01 12 00 01 00 01 ff
4 [root@myir ~]# /usr/lib/qt/examples/widgets/painting/deform/deform

六、选择视频源的指令说明

选择视频源的指令说明见下表，查看ISP 控制指令集，请参考《MYD-CZU3EG -ISP图像控制指令手册》文档。

ISP 视频源控制指令集
Command Set	Command	Command Packet	Comments
PL Output Port Video Source Select	PL Video Output Select	81 01 12 00 01 00 0Y ff	Y的bit0、1、2分别表示HDMI、Gige、U3V输出接口的视频源选择：0表示选择PL ISP输出的视频、1表示选择PS VDMA输出的视频。

 

VECP边缘视觉套件简介 

  

MYD-CZU3EG开发板由MYC-CZU3EG核心板加MYB-CZU3EG-C-ISP底板组成。核心板采用了Xilinx最新的基于16nm工艺的Zynq UltraScale+ All Programmable SoC平台，集成了四核Cortex™-A53 处理器，双核Cortex™-R5 实时处理单元以及Mali-400 MP2图形处理单元及16nm FinFET+可编程逻辑相结合的异构处理系统。 

底板搭载的接口包括PL端的HDMI输出，千兆网口，USB3.0 device接口，MIPI接口，高速扩展IO，以及PS端的USB3.0 HOST接口，千兆网口，TF卡接口，USB 转调试串口等，拥有超低延时4k图像处理技术，并且图像处理IP支持定制。