xilinx reVISION 入门指南(简介)

文章目录

  • 一 简介
    • 1 the reVISION single sensor design
    • 2 the reVISION 8-stream VCU + CNN design(not available)
  • 二 软件工具,环境搭建
    • 硬件
    • 软件

一 简介

Xilinx™ reVISION stack 包括一系列用于平台,算法和应用程序开发的开发资源。官方支持ZCU102,ZCU104开发板(价格比较贵)

reVISION stack 包含两个平台:

1 the reVISION single sensor design

capture piplines和output piplines为最基础的platform,并且这些常见的视频处理ip核,xilinx都由HLS实现,可见官方大力的推行HLS,HLS是未来生产力。m2m piplines 由SDSoC build。

  1. 3类视觉算法,硬件加速,PL端(HLS实现)
  • Filter 2D(卷积处理)
    卷积是一种常见的图像处理技术,它改变像素的强度以反映周围像素的强度。这被广泛用于图像滤波器,以实现流行的图像效果,如模糊,锐化和边缘检测。实现的算法使用具有可编程滤波器系数的3x3内核。
  • Stereo vision(视觉深度检测)
    该算法使用在同一时刻拍摄的来自立体相机的两个并排图像,并计算图像中每个像素位置处的相机的深度或距离。立体块匹配算法基于双目视差计算深度,类似于人眼感知深度的方式。深度图以伪色编码。远处的物体显得深蓝色。更近和更近的物体出现在彩虹连续的绿色,黄色,橙色,红色,紫色,最后是白色,最接近相机。
  • Optical Flow
    该算法及时使用两个连续图像,并计算图像中每个像素位置的运动方向和幅度。该计算是用于光流估计的Lucas-Kanade方法的简单实现。光流算法在每个像素位置返回两个带符号的数字,表示垂直方向上的上或下运动,以及水平方向上的左或右运动。假色输出的亮度,从黑色到亮色,表示运动的大小,颜色表示方向。
  • Triple
    同时在硬件中实现上面3个算法。 使用三个HW加速插件从三个独立视频源设置三个流水线到视频混合器的三个平面,以便在HDMI显示器上输出。
  1. 3类视频源
  • USB2/3 camera up to 1080p60 or stereo 1080p30
    ps端实现,使用标准linux驱动Universal Video Class

  • HDMI RX up to 4k60
    pl端实现

hdmi data stream
AXI4 stream,rgb,yuv444,yuv422
yuv422,目标分辨率
write YUV422 stream to memory as packed yuyv format
source
hdmi rx subsystem
video processing subsystem,scaler only,缩放
frame buffer write
ps,ddr
  • MIPI CSI using an optional FMC card up to 4k60(高清摄像头,使用FMC接口)
    pl端实现
data stream
AXI4 stream,raw
RGB
图像增强,提升暗部细节
颜色校正,rgb
yuv422
write YUV422 stream to memory as packed yuyv format
mipi csi ,fmc card
mipi csi2 subsystem
demosaic ip
gamma ip
VPSS,color correction
VPSS,scaler only
frame buffer write
ps,ddr
  1. 2种输出源
  • HDMI TX up to 4k60
    pl端实现
read one ARGB and two YUYV layers from memory
视频层组合并进行α混合成单个输出帧,axi4 stream
hdmi data stream
ps,ddr
video mixer
hdmi rx subsystem
sink
  • DP TX up to 4k30
    ps端实现

2 the reVISION 8-stream VCU + CNN design(not available)

该设计至今未开放,xilinx公司不是耍猴吗!我就是为他来的,因为这个设计才是revision的亮点,不过据说该设计正在通过最够后的法律审批,应该不久就公开了。
xilinx reVISION 入门指南(简介)_第1张图片
该设计执行H.264 / H.265文件的VCU解码,并将解码的流传递给DeePhi DNN处理单元(DPU)IP以进行机器学习。这里提供的示例用于交通检测,其中交通检测以及交通类型分类由围绕行人,汽车和自行车的不同颜色的框显示。VCU的解码输出是NV12,DPU IP的输入是BGR。 DNN的分辨率为640x480,可能与实际文件不同;插入VPSS子系统以执行色彩空间转换和缩小。

二 软件工具,环境搭建

参考reVISION官方文档

硬件

1 Single-Sensor Platform
Required:
ZCU104 Evaluation Board or ZCU102 Evaluation Board (rev 1.0 with production silicon for ZCU102)
Micro USB cable, connected to laptop or desktop computer for the terminal emulator
SD card (for ZCU102) or Micro SD card (for ZCU104)
Optional (required for live I/O examples):

Monitor with DisplayPort or HDMI input supporting one of the following resolutions:
3840x2160
1920x1080
1280x720
DisplayPort cable (DP certified) or HDMI cable
Leopard LI-IMX274MIPI-FMC
Stereolabs ZED USB stereo camera
e-con Systems See3CAM_CU30_CHL_TC USB camera
USB3 Micro B adapter
Adapter shipped with ZCU102 rev 1.0 and production silicon.
The adapter needs to be purchased separately from Whizz for ZCU102 rev 1.0 with ES2 silicon.
This adapter is not required for the ZCU104 board.
HDMI video source with output supporting one of the following resolutions:
3840x2160
1920x1080
1280x720

2 Stream VCU + CNN Platform
Required:
ZCU104 Evaluation Board
Micro USB cable, connected to laptop or desktop computer for the terminal emulator
Micro SD card
Monitor with HDMI input supporting one of the following resolutions:
1600x1200
1920x1080
HDMI cable

软件

Required:

Linux or Windows host machine with a minimum memory of 32GB for tool flow tutorials (see UG1238 for supported OS version).

SDSoC™ Development Environment version 2018.3 (see UG1238 for installation instructions).

Serial terminal emulator (for example, Tera Term)

7zip utility to extract the design .zip file (Windows only).(解压软件)

Design .zip files:

Single-sensor ZCU102 production silicon: zcu102-rv-ss-2018-3.zip
Single-sensor ZCU104 production silicon: zcu104-rv-ss-2018-3.zip
MIN ZCU102 production silicon: zcu102-rv-min-2018-3.zip
MIN ZCU104 production silicon: zcu104-rv-min-2018-3.zip
The design .zip file for the 8-stream VCU + CNN ZCU104 production silicon is not yet available.
and give the same path in the SDSoC license manager.

你可能感兴趣的:(FPGA)