Stagefright音视频同步问题

之前在调试stagefright的时候,遇到了这样一个问题,当视频的解码性能达不到要求时,会一直执行seek操作。后来发现是音视频同步的问题。

音视频同步处理在AwesomePlayer的onVideoEvent()中实现。

如果视频的解码性能达不到要求,就会导致视频落后于音频,影响音视频同步。AwesomePlayer采用的机制是根据音频的时间执行seek操作。

if (mExtractorFlags & MediaExtractor::CAN_SEEK) {
         mSeeking = SEEK_VIDEO_ONLY;
         mSeekTimeUs = mediaTimeUs;
 }

如上面代码所示,设置seek类型和seek时间,在下一次运行onVideoEvent()的时候,执行seek。

mExtractorFlags标识了Extractor支持的功能,在AwesomePlayer的setDataSource_l()中,

mExtractorFlags = extractor->flags();

而flags()的实现在MediaExtractor类中:

uint32_t MediaExtractor::flags() const {
        return CAN_SEEK_BACKWARD | CAN_SEEK_FORWARD | CAN_PAUSE | CAN_SEEK;
}


当解码性能达不到要求时,采用这种处理方式,可能得到的效果就是一直执行seek操作。

如果不采用这样处理方式,采用常规的方式,就是drop frame的方式,可能就会一直黑屏。

其实,当解码性能达不到要求时,无论采用什么样的处理方式,都不会得到满意的效果。

你可能感兴趣的:(stagefright,音视频同步)