stagefright框架（七）-Audio和Video的同步

stagefright框架（七）-Audio和Video的同步

講完了 audio 和 video 的處理流程，接下來要看的是 audio 和 video 同步化 (synchronization) 的問題。 OpenCORE 的做法是設置一個主 clock ，而 audio 和 video 就分 別 以此作為輸出的依據。而在 Stagefright 中， audio 的輸出是透過 callback 函式來驅動， video 則根據 audio 的 timestamp 來做同步。以下是詳細的 說 明： (1) 當 callback 函式驅動 AudioPlayer 讀取解碼後的資料時， AudioPlayer 會取得兩個時間戳 -- mPositionTimeMediaUs 和 mPositionTimeRealUs size_t AudioPlayer: : fillBuffer( data, size) {   . . .   mSource- > read ( & mInputBuffer, . . . ) ;   mInputBuffer- > meta_data( ) - > findInt64( kKeyTime, & mPositionTimeMediaUs) ;   mPositionTimeRealUs = ( ( mNumFramesPlayed + size_done / mFrameSize) * 1000000) / mSampleRate;   . . . } mPositionTimeMediaUs 是資料裡面所載明的時間戳 (timestamp) ； mPositionTimeRealUs 則是播放此資料的實際時間 ( 依據 frame number 及 sample rate 得出 ) 。 (2) Stagefright 中的 video 便依據從 AudioPlayer 得出來之兩個時間戳的差值，作為播放的依據 void AwesomePlayer: : onVideoEvent( ) {   . . .   mVideoSource- > read ( & mVideoBuffer, . . . ) ;   mVideoBuffer- > meta_data( ) - > findInt64( kKeyTime, & timeUs) ;   mAudioPlayer- > getMediaTimeMapping( & realTimeUs, & mediaTimeUs) ;   mTimeSourceDeltaUs = realTimeUs - mediaTimeUs;   nowUs = ts- > getRealTimeUs( ) - mTimeSourceDeltaUs;   latenessUs = nowUs - timeUs;   . . . } AwesomePlayer 從 AudioPlayer 取得 realTimeUs( 即 mPositionTimeRealUs) 和 mediaTimeUs( 即 mPositionTimeMediaUs) ，並算出其差值 mTimeSourceDeltaUs 。 (3) 最後我們將該 video 資料做排程 void AwesomePlayer: : onVideoEvent( ) {   . . .   if ( latenessUs > 40000)   {     mVideoBuffer- > release( ) ;     mVideoBuffer = NULL ;     postVideoEvent_l( ) ;     return ;   }   if ( latenessUs < - 10000)   {     postVideoEvent_l( 10000) ;     return ;   }   mVideoRenderer- > render( mVideoBuffer) ;   . . . }