MIPI CSI-2协议 FPGA应用详解
一,前言
本文主要阐述mipi phy layer 到csi2 lane managenment layer 到low level protocol layer的数据接收过程,更高层的byte to pixel以及医用层可按照csi2协议解包.
本文主要参考文献:
1.mipi D PHY specification version 1.2
2.mipi CSI-2 specification version 2.1
二,正文
1.mipi csi-2结构简介
mipi csi-2的结构类似于以太网的分层结构,如下图所示:
phy layer为物理层,通过控制时钟以及数据通道信号的电平值,实现低速模式(low power,或者说低功耗模式)与高速模式(high speed)的切换.
lane management layer 负责检测各通道(lane)低速模式到高速模式的跳变,并检测高速数据的同步头(HS ...00011101...序列),进一步将各通道的同步头对齐到字节,最终各通道的同步头实现对齐.
low level protocol layer,按照csi2协议,解析出帧起始(Frame Start,FS)短包,视频数据长包,以及帧结束(Frame End,FE)短包.输出图像数据,帧有效,数据有效.
byte to pixel unpack format层负责将基于字节的数据,按照协议,还原成各颜色空间/格式的像素数据,比如rgb565,raw10等格式.
2.csi-2采集整体结构
整体结构图如下:
首先运行摄像头配置模块,通过iic总线配置摄像头,是摄像头输出指定格式的视频流.
sensor输出视频流后,phy层接收模块会接收到4通道(或者2通道,可配置)串行双沿差分数据以及一个通道的差分时钟信号.phy层接收模块会调用fpga厂家提供的源语,对输入信号做串并转换以及差分到单端的转换.输出每个通道的两根差分线可输出l0,l1两bit低速信号(4通道就是l0[3:0]以及l1[3:0]),或者输出四路高速视频数据,rx_byte_clk的时钟频率是rx_clk_p/n的四分之一,内部源语的解串比是4:1,再双沿转单沿后,四个通道的数据共32bit数据输出给字节对齐模块.(四个字节之间还没对齐)
字节对齐模块检测各个通道低速模式到高速模式的跳变,并检测高速数据的同步头,先将各个通道的同步头对齐到字节,再将各个通道的同步头也对齐.
解包模块解析出帧起始短包,数据长包,以及帧结束短包.输出图像,后续按照协议将包数据恢复成各种格式的像素.
3.phy层设计
phy层接收模块示意图如下:
GTP_IOBUF_RX_MIPI源语完成差分转单端,逻辑电平转换(不完成双沿转单沿,iserdes以4:1的时钟比,将串行双沿数据转换成8bit单沿并行数据).高低电平转换指示为高时,该源语工作于高速模式,电压摆幅200mv,有利于高速传输数据.指示为低时,源语工作于低速模式,此时源语输出两根低速单端信号.
根据csi-2协议,低速信号LP11->LP01->LP00序列标志着主设备(摄像头)从低速模式进入高速模式.从设备(fpga)可设置一个状态机,先让源语工作在低速模式,实时监测LP11->LP01->LP00序列.监测到该序列后,向GTP_IOBUF_RX_MIPI源语发出转换到高速模式的指示.进入高速模式后,监测各个通道的rx_data_hs是否出现同步头(...00011101...),低位先传,即监测0xB8序列.
4.字节对齐模块设计
序列00011101有可能分布在两拍rx_data_hs[7:0]上,因此需将各个通道的同步头做相应的移位,使得B8位于一个字节之内,然后再对齐各个通道的B8,使得各通道的B8位于同一拍时钟之内.简单代码如下:
assign data_2byte = {rx_data_hs,rx_data_hs_d1};
for(i=0;i<8;i=i+1)
{
always@(*)
begin
if(c_state==LP00)
begin
if(data_2byte[(i+8):i]==8'hb8 && data_2byte[i:0]==8'b0)
lane0[i]=1'b1
else
lane0[i]=1'b0;
end
end
}
always@(posedge rx_byte_clk)
begin
if(lane0 != 8'b0 && sot_flag0==1'b0)
begin
case(lane0)
8'd1:reg <= 3'd0;
8'd2:reg <= 3'd1;
8'd4:reg <= 3'd2;
...
8'd128 <= reg <= 3'd7;
endcase
end
end
always@(posedge rx_byte_clk)
begin
if(c_state==IDLE)
sot_flag0 <=0;
else if(lane0 != 0)
sot_flag0<= 1;
end
always@(*)
begin
case(reg)
3'd0:lane_byte = date_2byte_d1[8:1];
3'd1:lane_byte = date_2byte_d1[9:2];
...
3'd7:ane_byte = date_2byte_d1[15:8];
endcase
end
lane_byte就是某一通道对齐到字节的同步头.
一般各通道对齐后的同步头,会位于同一时钟周期内.四个通道的b8下一拍就是数据包的内容,可以按照csi2协议解包
5.解包模块
mipi的数据包分为长包和短包两大类.长包用于传输视频数据,一个长包传输一行视频数据.短包用于传输帧头帧尾,行头行尾(可选)
长包格式如下图:
上图中SOT即前文所述的B8同步头.SOT后的首字节为包类型信息
CS后,LP信息由LP00跳转到LP11,表明lane由高速转入低速模式.
解包模块的接口信号如下:
input rx_byte_clk,
input rst_n,
input dpckt_en,
input [31:0] shift_data,
output [31:0] csi_data,
output csi_fv,
output csi_data_vld
解包模块的整体思路是,在字节对齐模块对齐B8后,拉高depkt_en,以状态机检测帧起始短包,检测到短包以后拉高帧有效信号csi_fv,检测到长包以后拉高csi_data_vld.输出数据csi_data,则是将shift_data延迟若干拍.该输出数据信号尚未对齐到像素.
将对齐到字节的数据转换成各种格式的视频像素(raw10,rgb565,yuv422等),可按照协议进一步解析.难度不大.