ffmpeg中关于sws_sacale函数的研究
问题：
1. sws_scale函数进行YUV420转RGB32的时候效率很低，不知是不是ffmpeg程序实
现的问题
2. 进行.mp4文件封装存储的时候，加在视频帧和音频帧后面的时间戳不起作用，
还会导致程序异常，让ffmpeg自己来管理时间戳的话程序就是正常的，但是视频和音频
总是存在不同步的情况
3. h264转码的效果不好，在windows平台下的vlc播放器（转码也是调用的是
ffmpeg）进行h264的转码，相同的码率，图像分辨率等参数下，windows下转码后的文
件就比linux调用ffmpeg开发出来的软件清晰的多，不知道是不是h264转码设置的参数
有区别。
解答：
1．
我查看了ffmpeg0.5的源代码，看了sws_scale函数，它位于libavcodec/imgresample.c中定义，它的作用主要是进行转码功能，包括分辨率的转换以及颜色空间与格式的转换。
在sws_scale函数中通过调用img_convert函数完成格式的转换。img_convert函数在libavcodec/convert.c中定义，它根据输入文件格式与输出文件格式来决定选取具体的转码函数，比如将YUV420转成RGB32，在img_convert函数中会调用yuv420p_to_rgb32这个函数来转换。
yuv420p_to_rgb32函数在libavcodec/imgconvert_template.c中定义。yuv420p_to_rgb32主要调用了两个宏YUV_TO_RGB1 与YUV_TO_RGB2。这两个宏的定义如下表：
| #define YUV_TO_RGB1(cb1, cr1)/ {/ cb = (cb1) - 128;/ cr = (cr1) - 128;/ r_add = FIX(1.40200) * cr + ONE_HALF;/ g_add = - FIX(0.34414) * cb - FIX(0.71414) * cr + ONE_HALF;/ b_add = FIX(1.77200) * cb + ONE_HALF;/ }
#define YUV_TO_RGB2(r, g, b, y1)/ {/ y = (y1) << SCALEBITS;/ r = cm[(y + r_add) >> SCALEBITS];/ g = cm[(y + g_add) >> SCALEBITS];/ b = cm[(y + b_add) >> SCALEBITS];/ } |
这两个宏是颜色空间转换的核心。能够发现从YUV转换成RGB，ffmpeg只是简单地进行了优化：将转换系数通过移位变成整数来避免浮点数的运算； 在将计算出的RGB值限幅到[0,255]时，通过查表来避免分支判断的开销。cm表的初始化通过调用libavcodec/dsputil.c/dsputil_static_init（）函数来实现。
由此可见，ffmpeg中将YUV转换成RGB只是进行了很简单的优化，我们在此基础上还可以进一步优化，比如，进一步查表来避免诸如FIX(1.40200) * cr之类的乘法； 另外可以通过使用MMX/SSE指令集来显著加速转换速度。当然，利用具有并行计算能力的GPU架构来并行处理转换过程，则转换速度可以大大提高！
2．
.MP4文件封装中，Movie Header Box中有一个字段time scale来指示文件媒体在1秒时间内的刻度值。封装.mp4时在视频流和音频流中已包含DTS（解码时间戳）和PTS（显示时间戳）。若播放.MP4文件发现音视频不同步，可能是编码时音频流和视频流中的时间戳设置不正确。
3．
原因有可能是VLC对FFMPEG中转码中关键算法（如视频重抽样）。H264中重抽样的核心函数是component_resample函数，它位于libavcodec/imgsample.c中。具体的实现我还没有来得及看。