RK3588+AI+FPGA图像处理硬件算法加速解决方案

RK3588是瑞芯微新一代旗舰级高端处理器,具有高算力、低功耗、超强多媒体、丰富数据接口等特点。搭载四核A76+四核A55的八核CPU和ARM G610MP4 GPU,内置6.0TOPs算力的NPU。

有五大技术优势

1. 内置多种功能强大的嵌入式硬件引擎,支持8K@60fps 的 H.265 和 VP9 解码器、8K@30fps 的 H.264 解码器和 4K@60fps 的 AV1 解码器;支持 8K30fps 的 H.264 和H.265 编码器,高质量的 JPEG 编码器/解码器,专门的图像预处理器和后处理器。

2. 内置 3D GPU,兼容 OpenGL ES1.1/2.0/3.2、OpenCL 2.2 和 Vulkan 1.2。带有 MMU 的特殊 2D 硬件引擎将最大限度地提高显示性能,并提供流畅的操作体验。

3. 内置瑞芯微自研的48M像素 ISP(图像信号处理器),支持实现众多算法加速器,如 HDR、 3A、LSC、3DNR、2DNR、锐化、去雾、鱼眼校正、伽马校正等。

4. 高算力 NPU 可支持 INT4/INT8/INT16/FP16 混合运算,其强大的兼容性,可以轻松转换基于TensorFlow / MXNet/PyTorch/Caffe 等一系列框架的网络模型。

5. 具有高性能的 4 通道外部存储器接口(LPDDR4/LPDDR4X/LPDDR5),能够支持苛刻的存储器带宽。

RK3588+AI+FPGA图像处理硬件算法加速解决方案_第1张图片

瑞芯微RK3399/RK3588+FPGA硬件加速设计方案。RK3399/RK3588通过PCIE实现与FPGA的对接。信迈科技拥有成熟的方案。

FPGA支持ZYNQ/A7/K7等,亦支持国产的安路、高云。

RK3588+AI+FPGA图像处理硬件算法加速解决方案_第2张图片

超强算力,性能与功耗的完美平衡

CPU方面,RK3588采用4核Cortex-A76和4核Cortex-A55的典型大小核架构,大核主频2.4GHz,小核主频1.8GHz,充分考虑了性能和功耗的平衡。1MB L2 Cache和3MB L3 Cache,提供更强的CPU运算能力。

GPU方面,RK3588集成ARM Mali-G610,至少支持2路4K UI,能流畅运行复杂的图形处理及游戏。

NPU方面,RK3588集成了瑞芯微第四代具有完全自主知识产权的人工智能运算引擎,在MAC运算单元的利用率及带宽的消耗上提升了30%。6.0TOPs的NPU算力,赋能各类AI场景,给复杂场景的本地离线AI计算、复杂视频流分析等应用提供了各种可能。

超强多媒体影像,带来极致体验

RK3588多媒体影像核心IP的多核架构,使之拥有强大的处理能力,给各位开发者、用户带来极致的视觉体验。多核架构,不仅支持当下的应用需求,而且很容易升级支持未来更高性能的扩展。

首先,RK3588采用瑞芯微最新的第四代编解码技术,真8K视频同编同解,图像更清晰、细节更丰富。可以支持多达40多路1080P高清视频的同时解码。除了通用的H265/H264之外,8K VP9/AV1解码的支持,可以很好兼容海外视频内容的播放。AI感知编码、多ROI、低延迟编码、智能码率控制等编码技术的升级,给特定场景比如安防等应用提供了更优化的性能。

其次,RK3588采用瑞芯微第三代影像视觉处理技术,集成4800万安防级别ISP、3F HDR 20bit、3D降噪、畸变矫正、宽动态对比度增强等技术,支持多摄像头接入、6目环视等,带来相当震撼的视觉体验。

此外,RK3588采用瑞芯微第五代显示后处理技术,高达20多个图层任意叠加,最高可实现真8K或双4K120Hz的显示能力,同样支持1080P高清图像的7屏异显,真正做到超高清、高帧率、多分辨率任意组合的多屏异显。

RK3588+AI+FPGA图像处理硬件算法加速解决方案_第3张图片

集成丰富接口,让产品定义有更大的空间

RK3588丰富的接口可以让用户在产品规划上有大胆的想象空间。影像接口包括2*HDMI TX/2*DP TX/2*eDP TX/2*MIPI DSI TX/1*HDMI IN/6*MIPI CSI RX,数据接口包括4*PCIe3.0/3*PCIe2.0/3*SATA3.0/3*USB3.1/4*USB2.0/2*TypeC/2*GMAC,针对大数据和人工智能不断升级所需要的算力平台,这些接口可以满足各种高速率传输的应用需求。在存储接口方面,RK3588支持行业领先的LPDDR5。除了接口类型和数量的丰富,在规格上同样支持比较领先的标准和较高的性能,比如LPDDR5的5500Mbps、MIPI CSI DPHY的4.5Gbps、2.5Gops的MIPI CSI CPHY、4K60fps的HDMI IN、8K60fps的HDMI2.1等。

可广泛应用多场景

可广泛应用于边缘计算、人工智能、工业控制、8K大屏、大数据分析、频采集、动环监测等领域。配套支持人脸识别、行为分析(包括闯入、聚众围观、逆行、非法逗留、值班离岗、吸烟、打电话、安全帽、车辆检测、跌倒、人体属性)等三十余种算法,并支持根据客户需求定制。

可提供DC MIPS Al视频分析系统支持,基于Al图像智能识别技术,以数字化、网络化视频监控为基础,识别指定区域内的人或车辆、同时识别目标行为是否符合用户所设定的规则,异常情况自动报警。

RK3588+AI+FPGA图像处理硬件算法加速解决方案_第4张图片

你可能感兴趣的:(瑞芯微,ARM+DSP+FPGA,人工智能,fpga开发)