海思HI35XX视频编码数据流向介绍
在海思HI3520DV300的设备上做拍照的功能，发现海思官方的SDK里面没有直接拍照的接口，如果要实现拍照功能，还需要自己设计一套接口。于是对海思的媒体数据流做了一个梳理。
这里介绍以NVP6134 ADC和HI3520DV300为基础的数据流走向。基本接口信息如下：
NVP6134
-
输入格式
4CH Video Input
:CVBS / COMET
:Universal 1M, 2M and 3/4/5M NRT
-
输出格式
Output in BT.656/BT.1120 4:2:2 byte interleave format with37.125/74.25/148.5/297MHz
Support Sync Separate BT.601 Format (CLK/ H,V-SYNC/ 8’bit DATA)
-
图像信号处理
-. Support Video Standard Auto-Detection up to 5M NRT for Each CH
-. Support 2*Video Output Port, Each Port Video Output FormatSelectable
-. On Chip Analog CLAMP/Anti-aliasing Filter and EQ Filter
-. Accepts CVBS,COMET, 720P@25p/30p/50p/60p,1080P@25p/30p, 1536P@18p, 1440@15p, [email protected]
-. Robust Sync detection for weak and unstable signals
-. High-performance adaptive comb filter and Notch Filter
-. Programmable H/V Peaking filter for Luminance
-. CTI (Chrominance Transient Improvement)
-. Color compensation for PAL
-. IF compensation filter
-. Robust No-video detection
-. Programmable Brightness, Contrast, Saturation and Hue
-. Programmable Picture Quality Control
-. Programmable Gamma Correction
HI3520DV300
-
视频输入接口：
− 支持 2 个 8bit 接口或 1 个 16bit 接口
− 每个 8bit 接口支持 108/144MHz 4 路 D1/960H,时分复用输入，共支持8xD1/8x960H 实时视频输入
− 每个 8bit 接口支持 144/148.5MHz2 路 720p 时分复用输入，共支持4x720p@30fps 实时视频输入
− 每个 8bit 接口支持通过 148.5MHz 双沿采样或 297MHz 单沿采样实现 4 路 720p时分复用输入，共支持 8x720p@30fps 实时视频输入
− 每个 8bit 接口支持通过 148.5MHz 双沿采样或 297MHz 单沿采样实现 2 路 1080p 时分复用输入，共支持 4x1080p@30fps 实时视频输入
− 每个 8bit 接口支持 148.5MHz BT.1120 Y/C 间插模式输入，共支持2x1080p@30fps 实时视频输入
− 16bit 接口支持 148.5MHz BT.1120 标准模式，支持 1x1080p@60fps 实时视频输入
-
视频输出接口
− 支持 HDMI 1.4+VGA +CVBS 多视频输出；
− HDMI 与 VGA 同源输出
− HDMI/VGA 最高分辨率支持 1080p@60fps
− 提供一个高清图形层和一个标清图形层，格式为 ARGB1555、ARGB8888 可配置
− 提供一层硬件鼠标层，格式为 ARGB1555、ARGB8888 可配置，最大分辨率为128x128
− 支持视频层、图形层、鼠标层 Alpha 叠加
-
海思SDK中MPP
输入视频捕获、H.264/MJPEG/JPEG/MPEG4 编码、H264/H.265/VC1/MPEG4/MPEG2/AVS 解码、视频输出显示、视频图像前处理（包括去噪、增强、锐化、Deinterlace）、编码码流叠加 OSD、视频侦测分析、智能分析、音频捕获及输出、音频编解码等功能。
数据流走向分析
基本数据流示意图如下：
(1)从摄像头到ADC
对应上图①。这里使用的AHD(Analog High Definition 模拟高清分辨率)摄像头。AHD摄像头的优势在于：
第一，长距离高清信号传输，而且图像还原性好，清晰度更高。
第二，零延时。前端数据未经过编码压缩，直接传输到后端，保证全实时、高保真传输效果。
第三，兼容性好，物美价廉。
模式摄像头与数字摄像头的区别并不是通过感光器件来区分。其实不管你选择CCD还是CMOS，只要你输出的信号是数字的，就称为数字摄像头；输出的是标准模拟信号的，就是模拟摄像头，或多称为模拟摄像机。
这里传输的是复合视频信号：指在一个信号中包含了亮度信号、色度信号与同步信号（包括场同步、行同步信号及行场消隐信号） 。又称为CVBS，表示Color，Video，Blanking，Sync，或者composite video baseband signal。复合视频信号把亮度、色度与同步信号复合在一个信号通道上传输，也就是在传输前需要把色度信号与亮度信号“合成”在一个信号里，在传输后再将色度信号与亮度信号“分离”开来，送到显示电路处理，这里我们是先发送到ADC中去进行一个模拟信号到数据信号的转换。
(2)从ADC到海思的输入
对应上图的②。这里ADC转换后出来的是BT.656数据格式。直接接入到海思的一个8bit的视频输入接口。这里采用了时分多路复用的方式，将4路AHD摄像头转换后的数据根据不同时间都通过这8bit的接口传输到海思的hi3520DV300芯片上。示意图如下：
关于分时复用可以参考博客《网络传输：时分多路复用的原理》
(3)海思输入VI到输出VO
对应上图的③。海思官方有提供SDK,里面有个媒体处理软件平台(Media Process Platform,简称 MPP)，它可以完成输入视频捕获、H.264/MJPEG/JPEG/MPEG4 编码、H264/H.265/VC1/MPEG4/MPEG2/AVS 解码、视频输出显示、视频图像前处理（包括去噪、增强、锐化、Deinterlace）、编码码流叠加 OSD、视频侦测分析、智能分析、音频捕获及输出、音频编解码等功能。其中分很多模块，可以参考《HiMPP V3.0 媒体处理软件开发参考.pdf》。
这里是直接将VI输入的数据经过转换后直接输出，这里不会涉及到编码，所以这里是没有延时的。可以通过HDMI，VGA，或是CVBS接口将数据发送到显示屏中。
(4)从海思输入到编码输出
对应上图的④。这里就编码输出了。编码是在这里进行的，OSD视频水印的叠加也是在这里处理。这里主要输出的是编码压缩过后的数据，Hi3520DV300支持H.264/MJPEG/JPEG/MPEG4 编码输出。编码输出的数据流就可以用来做实时视频流，也可以用来做视频的存储。