Directshow中的时钟(Time and Clocks in Dshow)

Directshow中的时钟(Time and Clocks in Dshow

智慧的鱼(aoosang

摘要:本篇文档简单介绍了DirectShow中用来标记数据同步的时钟。

 

Filter Graph中,数据流就是依靠时钟来进行同步的,数据流中的每一个sample上都会标记一个时间戳,Video RendererAudio Renderer就根据sample上的时间戳来控制sample所携带的数据流的提交。如果到达Renderersample的时间比它携带的时间戳晚,则加快sample的播放,或者丢弃这个sample里的内容,如果sample上的时间戳的时间还未到,则sample要等待,一直等到sample时间戳的开始时间再开始播放。

下面我们先看看参考时钟。

1参考时钟

参考时钟是Filter用来同步Filter 图表管理器中的所有的Filter的。

任何一个引出IReferenceClock 接口的对象都可以作为参考时钟。参考时钟可以是Filter提供(例如声卡就可以提供一个硬件的时钟),当然,可靠的时钟就是采用系统的时间。

名义上,参考时钟的精确度在100纳秒,但实际上,没有那么精确。调用IReferenceClock::GetTime可以获取时钟的当前时间。

尽管时钟的精确性还有所变动,但是GetTime方法返回的保证时间是增加的。也就是说,时钟不会倒退回去,比如,对硬件时钟进行了调整,GetTime方法就返回上次的时间。

 如果Filter Graph中有多个对象实现了IReferenceClock接口,Filter Graph Manager是如何做出选择的呢?默认的算法如下:

 Graph运行的时候,Filter图表管理器会自动选择一个参考时钟的,选择时钟的法则如下

1 如果应用程序选择了时钟,就采用应用程序选择的时钟

2 如果Graph包含一个活动的源FilterLive Source),并且这个filterIReferenceClock接口,那么就用这个时钟。

3 如果Graph中不含有任何活动的源Filter,就选用graph中任何暴露IReferenceClock接口的Filter,选择的方法是从Renderers逆流向上,连接的filter优先,没有连接的filter次之。

4如果没有任何filter符合条件,就采用系统参考时钟System Reference Clock

设置参考时钟

如果你想为graph设置新的时钟,应用程序可以调用图表管理器的接口IMediaFilter::SetSyncSource方法来选择一个参考时钟。

 如果你给SetSyncSource传递的参数为NULLGraph就不设置任何的参考时钟了。如果想恢复缺省的时钟,调用IFilterGraph::SetDefaultSyncSource方法。

graph的参考时钟改变时,Graph通过the reference clock changes, the Filter Graph Manager notifies each filter by calling its IMediaFilter::SetSyncSource通知所有的Filter

2 Clock Times

Directshow定义了两个相关的时间,参考时间Reference time 数据流时间Stream time

前者是从参考时钟返回的绝对时间(IReferenceClock::GetTime),数值本身的意义取决于参考时钟的内部实现,利用价值不大;后者是两次从参考时钟读取的数值的差值,实际应用于Filter Graph内部的同步

 Filter graph正在运行,流时间的值为当前参考时钟时间减去Filter Graph启动的时间,也就是一个差值,当Filter graph暂停,流时间就等于它暂停时的stream时间,当Filter graph停止时,流时间不确定。

当一个sample具有时间戳t,就意味着这个sample应该在流时间t播放,因此,流时间也叫播放时间。

当应用程序通过IMediaControl::Run来运行graph时,在graph内部也调用了IMediaFilter::Run

3时间戳

时间戳采用的是流时间,它在sample标上开始和结束时间。时间戳也叫播放时间,通过后面的知识你会了解到,并不是所有格式的数据流都采用同一种样式的时间戳。

 renderer Filter接收到sample,它会根据sample的时间戳进行排序,等到该sample的播放时间到了,就开始播放该sample,从到达到开始播放的时间,可以通过IReferenceClock::AdviseTime获得。如果sample来晚了,或者sample没有时间戳,filter就立即播放sample如果Sample来得早了,则通过调用参考时钟的IReferenceClock::AdviseTime等待Sample的开始时间到达后再将这个Sample播放。Sample上的时间戳一般由Source FilterParser Filter来设置,设置的方法有如下几种情况:

 

1 文件回放

第一个sample的时间戳为0,随后的时间戳根据sample的大小和播放的速率来确定。这都由分解文件的Filter来计算和确定,例如AVI Splitter

2 视频和音频的捕捉

 所有的sample在捕捉的时候就被打上时间戳了,时间等于流时间

3混和Filter

根据输出数据流的格式,混和filter也许需要时间戳,也许不需要,

可以通过调用IMediaSample::SetTime来给sample设置时间

4活动的源 Live Source

活动的源Filter,就是推模式的源,实时的接收数据。视频捕捉和网络广播就是例子,活动得源无法控制数据流得速率。

下面的Filter通常被认为是活动的源filter

Filter调用IAMFilterMiscFlags::GetMiscFlags方法时返回

AM_FILTER_MISC_FLAGS_IS_SOURCE,并且至少有一个输出pin暴露了IAMPushSource接口

2 Filter暴露IKsPropertySet接口,并且有个捕捉pinPIN_CATEGORY_CAPTURE

如果活动的源能够提供参考时钟,那么Graph首先采用。

反应时间(Latency

过滤器(filter)的反应时间就是Filter处理sample所花费的时间。对于活动的源filter,反应时间由容纳sample的内存大小决定。例如,假设一个filter有一个视频源具有33ms的反应时间,一个音频源有500ms的反应时间,每一个视频祯(video frame)比相应的音频sample要早470ms,除非graph进行补偿,否则视频和音频是不同步的。

活动的源可以通过IAMPushSource接口来进行同步。除非应用程序调用IAMGraphStreams::SyncUsingStreamOffset方法对源进行同步,一般来说Filter图表管理器是不会对源进行同步的。图表管理器对源进行同步时,向各个源filter查询IAMPushSource 接口,如果filter支持IAMPushSource  ,图表管理器就会通过IAMLatency::GetLatency来得到filter期望的反应时间。注:IAMPushSource继承与 IAMLatency。通过组合这些反应值,filter图表管理器Graph最大反应时间,然后调用IAMPushSource::SetStreamOffset给每个源filter设置一个数据流偏移时间,当filter给它产生的sample打时间戳的时候,要加上偏移时间的。

现在,VFW Capture filter Audio Capture filter.都支持IAMPushSource接口。

速率匹配(Rate Matching

renderer Filter利用参考时钟安排播放顺序的时候,如果源filter采用另一种时钟,在重放的时候就会发生故障。播放的速度大于源产生的速度,就会产生间隙停顿,或者播放速度小于源的产生速度,就会形成数据的堆积,造成内存出错。源一般来说是无法控制数据的产生速度的,因此,播放速度要随着源的速度改变而改变。

现在,只有在音频播放filter才能进行速率匹配,因为音频中的glitches比视频中的更容易捕捉到。为了匹配音频播放速率,要注意下列事情。

1 如果graph没有使用参考时钟,没法进行速率匹配。

2 上游要有一个活动的源

3 filter的输出pin要支持IAMPushSource接口,当请求IAMPushSource::GetPushSourceFlags.要返回下面的值

AM_PUSHSOURCECAPS_INTERNAL_RM

AM_PUSHSOURCECAPS_NOT_LIVE

AM_PUSHSOURCECAPS_PRIVATE_CLOCK

4 如果GetPushSourceFlags返回0,播放filter就根据graph时钟和sample的时间戳来自己决定播放速率

摘要:本篇文档简单介绍了DirectShow中用来标记数据同步的时钟。

 

Filter Graph中,数据流就是依靠时钟来进行同步的,数据流中的每一个sample上都会标记一个时间戳,Video RendererAudio Renderer就根据sample上的时间戳来控制sample所携带的数据流的提交。如果到达Renderersample的时间比它携带的时间戳晚,则加快sample的播放,或者丢弃这个sample里的内容,如果sample上的时间戳的时间还未到,则sample要等待,一直等到sample时间戳的开始时间再开始播放。

下面我们先看看参考时钟。

1参考时钟

参考时钟是Filter用来同步Filter 图表管理器中的所有的Filter的。

任何一个引出IReferenceClock 接口的对象都可以作为参考时钟。参考时钟可以是Filter提供(例如声卡就可以提供一个硬件的时钟),当然,可靠的时钟就是采用系统的时间。

名义上,参考时钟的精确度在100纳秒,但实际上,没有那么精确。调用IReferenceClock::GetTime可以获取时钟的当前时间。

尽管时钟的精确性还有所变动,但是GetTime方法返回的保证时间是增加的。也就是说,时钟不会倒退回去,比如,对硬件时钟进行了调整,GetTime方法就返回上次的时间。

 如果Filter Graph中有多个对象实现了IReferenceClock接口,Filter Graph Manager是如何做出选择的呢?默认的算法如下:

 Graph运行的时候,Filter图表管理器会自动选择一个参考时钟的,选择时钟的法则如下

1 如果应用程序选择了时钟,就采用应用程序选择的时钟

2 如果Graph包含一个活动的源FilterLive Source),并且这个filterIReferenceClock接口,那么就用这个时钟。

3 如果Graph中不含有任何活动的源Filter,就选用graph中任何暴露IReferenceClock接口的Filter,选择的方法是从Renderers逆流向上,连接的filter优先,没有连接的filter次之。

4如果没有任何filter符合条件,就采用系统参考时钟System Reference Clock

设置参考时钟

如果你想为graph设置新的时钟,应用程序可以调用图表管理器的接口IMediaFilter::SetSyncSource方法来选择一个参考时钟。

 如果你给SetSyncSource传递的参数为NULLGraph就不设置任何的参考时钟了。如果想恢复缺省的时钟,调用IFilterGraph::SetDefaultSyncSource方法。

graph的参考时钟改变时,Graph通过the reference clock changes, the Filter Graph Manager notifies each filter by calling its IMediaFilter::SetSyncSource通知所有的Filter

2 Clock Times

Directshow定义了两个相关的时间,参考时间Reference time 数据流时间Stream time

前者是从参考时钟返回的绝对时间(IReferenceClock::GetTime),数值本身的意义取决于参考时钟的内部实现,利用价值不大;后者是两次从参考时钟读取的数值的差值,实际应用于Filter Graph内部的同步

 Filter graph正在运行,流时间的值为当前参考时钟时间减去Filter Graph启动的时间,也就是一个差值,当Filter graph暂停,流时间就等于它暂停时的stream时间,当Filter graph停止时,流时间不确定。

当一个sample具有时间戳t,就意味着这个sample应该在流时间t播放,因此,流时间也叫播放时间。

当应用程序通过IMediaControl::Run来运行graph时,在graph内部也调用了IMediaFilter::Run

3时间戳

时间戳采用的是流时间,它在sample标上开始和结束时间。时间戳也叫播放时间,通过后面的知识你会了解到,并不是所有格式的数据流都采用同一种样式的时间戳。

 renderer Filter接收到sample,它会根据sample的时间戳进行排序,等到该sample的播放时间到了,就开始播放该sample,从到达到开始播放的时间,可以通过IReferenceClock::AdviseTime获得。如果sample来晚了,或者sample没有时间戳,filter就立即播放sample如果Sample来得早了,则通过调用参考时钟的IReferenceClock::AdviseTime等待Sample的开始时间到达后再将这个Sample播放。Sample上的时间戳一般由Source FilterParser Filter来设置,设置的方法有如下几种情况:

 

1 文件回放

第一个sample的时间戳为0,随后的时间戳根据sample的大小和播放的速率来确定。这都由分解文件的Filter来计算和确定,例如AVI Splitter

2 视频和音频的捕捉

 所有的sample在捕捉的时候就被打上时间戳了,时间等于流时间

3混和Filter

根据输出数据流的格式,混和filter也许需要时间戳,也许不需要,

可以通过调用IMediaSample::SetTime来给sample设置时间

4活动的源 Live Source

活动的源Filter,就是推模式的源,实时的接收数据。视频捕捉和网络广播就是例子,活动得源无法控制数据流得速率。

下面的Filter通常被认为是活动的源filter

Filter调用IAMFilterMiscFlags::GetMiscFlags方法时返回

AM_FILTER_MISC_FLAGS_IS_SOURCE,并且至少有一个输出pin暴露了IAMPushSource接口

2 Filter暴露IKsPropertySet接口,并且有个捕捉pinPIN_CATEGORY_CAPTURE

如果活动的源能够提供参考时钟,那么Graph首先采用。

反应时间(Latency

过滤器(filter)的反应时间就是Filter处理sample所花费的时间。对于活动的源filter,反应时间由容纳sample的内存大小决定。例如,假设一个filter有一个视频源具有33ms的反应时间,一个音频源有500ms的反应时间,每一个视频祯(video frame)比相应的音频sample要早470ms,除非graph进行补偿,否则视频和音频是不同步的。

活动的源可以通过IAMPushSource接口来进行同步。除非应用程序调用IAMGraphStreams::SyncUsingStreamOffset方法对源进行同步,一般来说Filter图表管理器是不会对源进行同步的。图表管理器对源进行同步时,向各个源filter查询IAMPushSource 接口,如果filter支持IAMPushSource  ,图表管理器就会通过IAMLatency::GetLatency来得到filter期望的反应时间。注:IAMPushSource继承与 IAMLatency。通过组合这些反应值,filter图表管理器Graph最大反应时间,然后调用IAMPushSource::SetStreamOffset给每个源filter设置一个数据流偏移时间,当filter给它产生的sample打时间戳的时候,要加上偏移时间的。

现在,VFW Capture filter Audio Capture filter.都支持IAMPushSource接口。

速率匹配(Rate Matching

renderer Filter利用参考时钟安排播放顺序的时候,如果源filter采用另一种时钟,在重放的时候就会发生故障。播放的速度大于源产生的速度,就会产生间隙停顿,或者播放速度小于源的产生速度,就会形成数据的堆积,造成内存出错。源一般来说是无法控制数据的产生速度的,因此,播放速度要随着源的速度改变而改变。

现在,只有在音频播放filter才能进行速率匹配,因为音频中的glitches比视频中的更容易捕捉到。为了匹配音频播放速率,要注意下列事情。

1 如果graph没有使用参考时钟,没法进行速率匹配。

2 上游要有一个活动的源

3 filter的输出pin要支持IAMPushSource接口,当请求IAMPushSource::GetPushSourceFlags.要返回下面的值

AM_PUSHSOURCECAPS_INTERNAL_RM

AM_PUSHSOURCECAPS_NOT_LIVE

AM_PUSHSOURCECAPS_PRIVATE_CLOCK

4 如果GetPushSourceFlags返回0,播放filter就根据graph时钟和sample的时间戳来自己决定播放速率

你可能感兴趣的:(directshow开发)