从零开始学习音视频编程技术(十五) YUV420P转RGB32

原文地址:http://blog.yundiantech.com/?log=blog&id=19

上一节讲解了YUV420P格式的内容。

我说过,我们不是为了做研究。 平白无故讲了YUV420P的理论知识,要是不做点什么总说不过去吧。 那么,我们就练练刀,写个播放YUV420P的程序吧,将前面保存的YUV420P图像用自己写的播放器播放出来。


这里我们还是一样使用Qt来显示图像。


之前做播放器的时候,是将YUV420P转换成RGB32,然后放到QImage里面显示出来。

由于Qt不支持直接显示YUV的图像。

同样,这里我们也是先将YUV420P转成RGB32。

不过,这次不是用FFMPEG来转,毕竟我们的根本目的不是为了写播放器,只是为了更加了解yuv420p,然后顺带写下这个播放器。 


同样一件事,目的不同,做法也就不同。

因此,我们通过自己写代码来实现YUV420P转RGB32。


YUV420P已经了解了,现在还差RGB32,那就先看看RGB32吧:


R代表red、G代表green、B代表blue。 他们的取值都是0~255。

所以每一个分量刚好又可以用一个字节来记录了。


这里还需要介绍下ARGB32,RGB就是代表RGB了,A代表的是Alpha(透明度)。

因此一个ARGB32就是有4个分量:A R G B。刚好就是4x8=32位了。


可能是为了兼容性,RGB32的存储方式和ARGB32是一样的,只是RGB32的A分量不存数据,

换句话说就是: ARGB32就是带Alpha通道的RGB32。


下面是我百度到的RGB32的介绍:

    RGB32使用32位来表示一个像素,RGB分量各用去8位,剩下的8位用作Alpha通道或者不用。(ARGB32就是带Alpha通道的RGB32。)注意在内存中RGB各分量的排列顺序为:BGRA BGRA BGRA…。通常可以使用RGBQUAD数据结构来操作一个像素,它的定义为:

typedef struct tagRGBQUAD {
  BYTE    rgbBlue;      // 蓝色分量
  BYTE    rgbGreen;     // 绿色分量
  BYTE    rgbRed;       // 红色分量
  BYTE    rgbReserved;  // 保留字节(用作Alpha通道或忽略)
} RGBQUAD;


这里需要注意的就是:他的排列顺序是  B G R A。


YUV转RGB有一个公式,如下:

YUV(256 级别) 可以从8位 RGB 直接计算:

Y = 0.299 R + 0.587 G + 0.114 B

U = - 0.1687 R - 0.3313 G + 0.5 B + 128

V = 0.5 R - 0.4187 G - 0.0813 B + 128

反过来,RGB 也可以直接从YUV (256级别) 计算:

R = Y + 1.402 (V-128)

G = Y - 0.34414 (U-128) - 0.71414 (V-128)

B = Y + 1.772 (U-128)


当然,百度一下会发现YUV转RGB的公式还有好多,至于这些公式是怎么得出来的,本人也是没有头绪,经过测试,上面这个公式效果相对好一些。

现在已经掌握了YUV420P的存储方式和RGB32的存储方式,同时也知道了YUV转RGB的公式,要转换也就不难了。


先来回顾下YUV420P的格式:


好了,现在对照这个图,应该很容易就能写出来转换的代码了:

1.为了更加方便的写代码,我们把RGB定义成一个结构体:

1
2
3
4
5
6
7
8
typedef  unsigned  char  BYTE ;
 
typedef  struct  RGB32 {
   BYTE     rgbBlue;       // 蓝色分量
   BYTE     rgbGreen;      // 绿色分量
   BYTE     rgbRed;        // 红色分量
   BYTE     rgbReserved;   // 保留字节(用作Alpha通道或忽略)
} RGB32;


2.转换思路也很清晰了,只需要读取出每一个YUV的像素,然后转换成RGB就行了,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
void  Yuv2Rgb::Yuv420p2Rgb32( const  BYTE  *yuvBuffer_in, const  BYTE  *rgbBuffer_out, int  width, int  height)
{
     BYTE  *yuvBuffer = ( BYTE  *)yuvBuffer_in;
     RGB32 *rgb32Buffer = (RGB32 *)rgbBuffer_out;
 
     for  ( int  y = 0; y < height; y++)
     {
         for  ( int  x = 0; x < width; x++)
         {
             int  index = y * width + x;
 
             int  indexY = y * width + x;
             int  indexU = width * height + y / 2 * width / 2 + x / 2;
             int  indexV = width * height + width * height / 4 + y / 2 * width / 2 + x / 2;
 
             BYTE  Y = yuvBuffer[indexY];
             BYTE  U = yuvBuffer[indexU];
             BYTE  V = yuvBuffer[indexV];
 
             RGB32 *rgbNode = &rgb32Buffer[index];
 
             ///这转换的公式 百度有好多 下面这个效果相对好一些
 
             rgbNode->rgbRed = Y + 1.402 * (V-128);
             rgbNode->rgbGreen = Y - 0.34413 * (U-128) - 0.71414*(V-128);
             rgbNode->rgbBlue = Y + 1.772*(U-128);
         }
     }
}


注:上述代码仅仅是为了实现功能,并没有考虑任何效率问题。

同时为了提高可读性,将各种Index都分开计算了。



main函数中如下调用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
#include #include 
#include 
#include 
#include 
using  namespace  std;
 
#include "yuv2rgb.h"
 
int  main()
{
     cout <<  "Hello World!"  << endl;
 
 
     FILE  *fp_yuv =  fopen ( "in.yuv" , "rb" );
     FILE  *fp_rgb =  fopen ( "out.rgb32" , "wb" );
 
     int  width = 1920;
     int  height = 1080;
 
     int  yuvSize = width * height * 3 /2;
     int  rgbSize = width * height *  sizeof (RGB32);
 
     BYTE  *yuvBuffer = ( BYTE  *) malloc (yuvSize);
     BYTE  *rgbBuffer = ( BYTE  *) malloc (rgbSize);
 
     Yuv2Rgb yuv2Rgb;
 
     DWORD  start = GetTickCount();
 
     for ( int  i=0;;i++)
     {
         if  ( feof (fp_yuv))  break ;
 
         int  readedsize =  fread (yuvBuffer,1,yuvSize,fp_yuv);
 
         DWORD  t1 = GetTickCount();
         yuv2Rgb.Yuv420p2Rgb32(yuvBuffer,rgbBuffer,width,height);
         DWORD  t2 = GetTickCount();
 
         fprintf (stderr,"%d use  time  = %ld ms
",i,t2-t1);
 
         fwrite (rgbBuffer,1,rgbSize,fp_rgb);
 
     }
 
     DWORD  end = GetTickCount();
 
     fprintf (stderr,"Finished! use  time  = %ld ms
",end-start);
 
     return  0;
}


稍等片刻,转换就能结束。

将生成的out.rgb32用yuvplayer打开:

yuvplayer下载地址:http://download.csdn.net/detail/qq214517703/9637191


注:记得在选择文件的时候,将右下角的类型改成所有格式,否则会看不到这个文件:


文件打开之后,如下设置:


发现可以正常播放了,说明转换成功了。



还别高兴的太早,再仔细看下我们的代码,上面加了打印转换每张图片耗费的时间,我的电脑执行后得到如下结果:


可以看出,每张图片都发了大概三四十毫秒的时间,100张图片总共发了5秒钟!

这个速度也太慢了,如果后面再加上编码,那还了得。

显然这个速度必须要优化下。



回过头看下我们转换部分的代码:

发现嵌套了2个循环,因为需要读取每一个像素然后转换成RGB,所以这个循环优化的空间就不大了。

再看看循环里面的内容:

1
2
3
rgbNode->rgbRed = Y + 1.402 * (V-128);            
rgbNode->rgbGreen = Y - 0.34413 * (U-128) - 0.71414*(V-128);
rgbNode->rgbBlue = Y + 1.772*(U-128);

全是乘法运算,还是浮点数。看来这个就是罪魁祸首了!

虽然一次乘法运算对于电脑的CPU根本不算什么,但是这里是1920x1080次,这个就相当可怕了!看来积少成多还是有点道理的。


自古以来,就流行牺牲空间换取时间的传统,这里当然也不例外。

前面说过Y U V每个分量的取值都是0~255。那么他们与某个小数相乘之后的结果也就只有256种结果。既然乘法操作是非常耗时的,那么我们就把相乘的结果先计算好,放入一个表中,要用的时候从这个表里面去取,这样就可以快很多了。


首先定义一个数组,用来存放计算好的结果:

1
2
3
unsigned  short  R_Y[COLORSIZE],R_U[COLORSIZE],R_V[COLORSIZE];    
unsigned  short  G_Y[COLORSIZE],G_U[COLORSIZE],G_V[COLORSIZE];
unsigned  short  B_Y[COLORSIZE],B_U[COLORSIZE],B_V[COLORSIZE];


然后在写一个初始化的函数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
//表的初始化
void  Yuv2Rgb::table_init()
{
     int  i;
     for (i = 0; i < COLORSIZE; i++)
     {
         ///R = Y + 1.402 * (V-128);
         //R_Y[i] = 0; //没有
         //R_U[i] = 0; //没有
         R_V[i] = 1.402 * (i-128);
 
         ///G = Y - 0.34413 * (U-128) - 0.71414*(V-128);
         //G_Y[i] = 0;
         G_U[i] = 0.34413 * (i-128);
         G_V[i] = 0.71414 * (i-128);
 
         /// = Y + 1.772*(U-128);
         //B_Y[i] = 0;
         B_U[i] = 1.772 * (i-128);
         //B_V[i] = 0;
     }
}


这里采用代码的方式来初始化表,而不是直接将最终的结果写入。是因为:

  1. 这样就几句代码,可读性强。

  2. 初始化函数我们只需要执行一次,因此这个时间是可以接受的。

  3. 后期要修改转换的算法也简单方便。


转换函数如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
///这个是优化的版本
void  Yuv2Rgb::Yuv420p2Rgb32( const  BYTE  *yuvBuffer_in, const  BYTE  *rgbBuffer_out, int  width, int  height)
{
     BYTE  *yuvBuffer = ( BYTE  *)yuvBuffer_in;
     RGB32 *rgb32Buffer = (RGB32 *)rgbBuffer_out;
 
     int  w_h = width * height; //width * height的值
     int  w_h_4 = width * height / 4; //width * height / 4 的值
 
     for  ( int  y = 0; y < height; y++)
     {
         int  y_width = y * width;  //y乘以width的值
         int  y_width_2_2 = y / 2 * width / 2;  //y / 2 * width / 2
 
         for  ( int  x = 0; x < width; x++)
         {
             int  index = y_width + x;
 
             int  x_2 = x/2;
 
             int  indexU = w_h + y_width_2_2 + x_2;
             int  indexV = w_h + w_h_4 + y_width_2_2 + x_2;
 
             BYTE  Y = yuvBuffer[index];
             BYTE  U = yuvBuffer[indexU];
             BYTE  V = yuvBuffer[indexV];
 
             RGB32 *rgbNode = &rgb32Buffer[index];
 
             ///这转换的公式 百度有好多 下面这个效果相对好一些
 
             rgbNode->rgbRed = Y + R_V[V];
             rgbNode->rgbGreen = Y - G_U[U] - G_V[V];
             rgbNode->rgbBlue = Y + B_U[U];
 
         }
     }
}



调用的方式和之前一样,但别忘了初始化表:

1
2
Yuv2Rgb yuv2Rgb;    
yuv2Rgb.table_init();  //执行一次表的初始化


这样优化后的效果比直接稍微快了一些(100张图片大概快了一秒多一点),虽然还不是很理想,不过仔细一想1000张就能快10秒了,勉强有点用。

目前我只能想到这样的优化方法了,如果要效率高些,可以直接使用ffmpeg来转换,我们实际中基本上也是直接使用ffmpeg来操作的。


FFMPEG转换的代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
     int  yuvSize = width * height * 3 /2;    
     BYTE  *yuvBuffer = ( BYTE  *) malloc (yuvSize);
 
     AVFrame *pFrame = av_frame_alloc();
     AVFrame *pFrameRGB = av_frame_alloc();
     int  numBytes = avpicture_get_size(PIX_FMT_RGB32, width,height);
 
     uint8_t * rgbBuffer = (uint8_t *) av_malloc(numBytes *  sizeof (uint8_t));
     avpicture_fill((AVPicture *) pFrameRGB, rgbBuffer, PIX_FMT_RGB32,width, height);
 
     avpicture_fill((AVPicture *) pFrame, yuvBuffer, AV_PIX_FMT_YUV420P, width, height);
 
     SwsContext *img_convert_ctx = sws_getContext(width, height, AV_PIX_FMT_YUV420P, width, height, PIX_FMT_RGB32, SWS_BICUBIC, NULL, NULL, NULL);
 
     int  rgbSize = numBytes;
     
     
     for ( int  i=0;;i++)
     {
         if  ( feof (fp_yuv))  break ;
 
         int  readedsize =  fread (yuvBuffer,1,yuvSize,fp_yuv);
 
         DWORD  t1 = GetTickCount();
 
         sws_scale(img_convert_ctx,
                 (uint8_t  const  const  *) pFrame->data,
                 pFrame->linesize, 0, height, pFrameRGB->data,
                 pFrameRGB->linesize);
 
 
         DWORD  t2 = GetTickCount();
 
         fprintf (stderr,"%d use  time  = %ld ms
",i,t2-t1);
 
         fwrite (rgbBuffer,1,rgbSize,fp_rgb);
     }


会发现FFMPEG速度快好多,并且转换后的效果也好很多。。哈哈。。果然还是FFMPEG好用。

本文的目的主要是为了加深对YUV420P的认识,因此我们自己的代码就不去完善它了。


yuv420p转rgb完整工程:http://download.csdn.net/detail/qq214517703/9642041


加上了Qt显示功能的完整工程(Qt播放YUV420P文件):

http://download.csdn.net/detail/qq214517703/9642365


你可能感兴趣的:(从零开始学习音视频编程技术)