YUV格式详细解释与FFMPEG的关系

YUV主要的采样格式

主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比较常用，其含义为：每个点保存一个 8bit 的亮度值(也就是Y值), 每 2x2 个点保存一个 Cr 和Cb 值, 图像在肉眼中的感觉不会起太大的变化。所以, 原来用 RGB(R,G,B 都是 8bit unsigned) 模型, 4 个点需要 8x3=24 bites（如下图第一个图）. 而现在仅需要 8+(8/4)+(8/4)=12bites, 平均每个点占12bites(如下图第二个图)。这样就把图像的数据压缩了一半。

    上边仅给出了理论上的示例，在实际数据存储中是有可能是不同的，下面给出几种具体的存储形式：

（1）    YUV 4:4:4

YUV三个信道的抽样率相同，因此在生成的图像里，每个象素的三个分量信息完整（每个分量通常8比特），经过8比特量化之后，未经压缩的每个像素占用3个字节。

下面的四个像素为: [Y₀ U₀ V₀] [Y₁ U₁ V₁] [Y₂ U₂ V₂] [Y₃ U₃ V₃]

存放的码流为: Y₀ U₀ V₀ Y₁ U₁ V₁ Y₂ U₂ V₂ Y₃ U₃ V₃

（2）   YUV 4:2:2

      每个色差信道的抽样率是亮度信道的一半，所以水平方向的色度抽样率只是4:4:4的一半。对非压缩的8比特量化的图像来说，每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存。

下面的四个像素为: [Y₀ U₀ V₀] [Y₁ U₁ V₁] [Y₂ U₂ V₂] [Y₃ U₃ V₃]

存放的码流为: Y₀ U₀ Y₁ V₁ Y₂ U₂ Y₃ V₃

映射出像素点为：[Y₀ U₀ V₁] [Y₁ U₀ V₁] [Y₂ U₂ V₃] [Y₃ U₂ V₃]

（3）   YUV 4:1:1

4:1:1的色度抽样，是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍然是可以接受的。对非压缩的8比特量化的视频来说，每个由4个水平方向相邻的像素组成的宏像素需要占用6字节内存

下面的四个像素为: [Y₀ U₀ V₀] [Y₁ U₁ V₁] [Y₂ U₂ V₂] [Y₃ U₃ V₃]

存放的码流为: Y₀ U₀ Y₁ Y₂ V₂ Y₃

映射出像素点为：[Y₀ U₀ V₂] [Y₁ U₀ V₂] [Y₂ U₀ V₂] [Y₃ U₀ V₂]

（4）YUV4:2:0

     4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。进行隔行扫描，相邻的扫描行存储不同的色度分量，也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。对每个色度分量来说，水平方向和竖直方向的抽样率都是2:1，所以可以说色度的抽样率是4:1。对非压缩的8比特量化的视频来说，每个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存。

下面八个像素为：[Y₀ U₀ V₀] [Y₁ U₁ V₁] [Y₂ U₂ V₂] [Y₃ U₃ V₃]

                [Y₅ U₅ V₅] [Y₆ U₆ V₆] [Y₇U₇ V₇] [Y₈ U₈ V₈]

存放的码流为：Y₀ U₀ Y₁ Y₂ U₂ Y₃

                     Y₅ V₅ Y₆ Y₇ V₇ Y₈

映射出的像素点为：[Y₀ U₀ V₅] [Y₁ U₀ V₅] [Y₂ U₂ V₇] [Y₃ U₂ V₇]

                  [Y₅ U₀ V₅] [Y₆ U₀ V₅] [Y₇U₂ V₇] [Y₈ U₂ V₇] 

对应AVPicture里面有data[4]和linesize[4]其中data是一个指向指针的指针（二级、二维指针），也就是指向视频数据缓冲区的首地址，而data[0]~data[3]是一级指针，可以用如下的图来表示：

data -->xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
        ^                ^              ^
        |                |              |
         data[0]      data[1]         data[2]

比如说，当pix_fmt=PIX_FMT_YUV420P时，data中的数据是按照YUV的格式存储的，也就是：

data -->YYYYYYYYYYYYYYUUUUUUUUUUUUUVVVVVVVVVVVV
^             ^            ^
|             |            |
data[0]    data[1]      data[2]

linesize是指对应于每一行的大小，为什么需要这个变量，是因为在YUV格式和RGB格式时，每行的大小不一定等于图像的宽度，对于RGB格式输出时,只有一个通道(bgrbgrbgr......)可用，即linesize[0],和data[0],so RGB24 : data[0] = packet rgb//bgrbgrbgr......

linesize[0] = width*3

其他的如data[1][2][3]与linesize[1][2][3]无任何意义.

而对于ＹＵＶ格式输出时，有三个通道可用，即data[0][1][2],与linesize[0][1][2]，而yuv格式对于运动估计时，需要填充padding(right, bottom),故：

linesize=width+padding size(16+16).
///////////////////////////////////////////////////////////////////////////////////////

   case PIX_FMT_YUV420P:
   case PIX_FMT_YUVJ420P:
   case PIX_FMT_RGB555:
    if (PIC_DIRECTION_0 == m_dwFilpPicDirection)
    {
     m_pYuvFrame->data [0] += m_pYuvFrame->linesize[0] *  m_pVCodecContext->height;
     //因为是隔行扫描U与V只有高度的一半
     m_pYuvFrame->data [1] += m_pYuvFrame->linesize[1] *  m_pVCodecContext->height/2;
     m_pYuvFrame->data [2] += m_pYuvFrame->linesize[2] *  m_pVCodecContext->height/2;
     m_pYuvFrame->linesize[0] = -m_pYuvFrame->linesize[0];
     m_pYuvFrame->linesize[1] = -m_pYuvFrame->linesize[1];
     m_pYuvFrame->linesize[2] = -m_pYuvFrame->linesize[2];
    }
    
    break;
   case PIX_FMT_YUVJ422P:
   case PIX_FMT_YUV422P:
   case PIX_FMT_YUYVJ422:
   case PIX_FMT_YUV411P:
   case PIX_FMT_YUYV422:  
    if (PIC_DIRECTION_0 == m_dwFilpPicDirection)
    {
     m_pYuvFrame->data [0] += m_pYuvFrame->linesize[0] *  m_pVCodecContext->height;
     m_pYuvFrame->data [1] += m_pYuvFrame->linesize[1] *  m_pVCodecContext->height;
     m_pYuvFrame->data [2] += m_pYuvFrame->linesize[2] *  m_pVCodecContext->height;
     m_pYuvFrame->linesize[0] = -m_pYuvFrame->linesize[0];
     m_pYuvFrame->linesize[1] = -m_pYuvFrame->linesize[1];
     m_pYuvFrame->linesize[2] = -m_pYuvFrame->linesize[2];
    }
    break;
   }
在FFMPEG中转换RGB时顺便颠倒图像的方向算法