OBS源码阅读笔记(四)--视频采集显示

下面来看看OBS如何进行初始化视频采集的:

首先,在OBS的初始化程序中,会调用ResetVideo==>AttemptToResetVideo==>obs_reset_video==>obs_init_video==>video_output_open==>if (pthread_create(&out->thread, NULL, video_thread, out) != 0)

最后创建了video_thread,我们看看video_thread线程的处理流程:

在video_thread中,一直等待update_semaphore后,这个信号应该是采集到视频图像后post出来的;

obs_video_thread==>output_frame==>output_video_data==>video_output_unlock_frame==>update_semaphore;

可以看到在obs_video_thread线程中,通知video_thread线程对采集的数据编码推流;


后面再分析具体分析下obs_video_thread线程,先看看win-dshow如何采集视频的:

首先在win-dshow.cpp中主要实现音视频采集功能:

通过UpdateVideoConfig中注册OnVideoData函数,UpdateVideoConfig在

device.cpp中,用dshow接口会调用HDevice::Receive接口将获取的音视频回调,


在device.cpp中,SetupVideoCapture,而在这个函数中会调用:

videoCapture = new CaptureFilter(info);

初始化一个采集过滤器,videoCapture对象中包含了一个pin的成员对象,该成员对象实现了Receive函数:

STDMETHODIMP CapturePin::Receive(IMediaSample *pSample)
{
if (flushing)
return S_FALSE;
if (pSample)
captureInfo.callback(pSample);
return S_OK;
}

在SetupVideoCapture中会调用下面语句注册接收回调:

info.callback          = [this] (IMediaSample *s) {Receive(true, s);};

在device的Receive处理函数中,首先通过GetPointer获取到数据指针,然后调用GetTime获取数据的时间,再调用SendToCallback传到device的videoConfig.callback中处理,而videoConfig.callback是在UpdateVideoConfig中被注册的,后面再详细看这个接口如何被调用的;

好了,现在已经大概了解了流程了:

device.cpp中通过SetupVideoCapture注册回调,然后Receive回调中通过SendToCallback将采集的数据发送到videoConfig.callback中处理;

videoConfig.callback注册的其实是一个叫OnVideoData的回调函数:

在OnVideoData中调用obs_source_output_video(source, &frame);将采集的数据传到DShowInput的source的async_cache和async_frames中;

然后source->async_active = true;将异步队列置为活跃状态;


好了,数据已经采集,并放到队列里面了,下面怎么送去显示,编码呢?

obs-source.c中,有两个关键函数:

get_closest_frame

obs_source_get_frame

及一个关键变量:

cur_async_frame


在win-dshow中将采集到的音视频数据存入source的async_frames中后,通过obs_video_thread线程,每隔一段时间调用get_closest_frame从source的

async_frames中获取到最近的帧,然后放到source的cur_async_frame指针中,obs_source_get_frame函数就是获取cur_async_frame返回;


obs_source_get_frame被obs_source_update_async_video调用;

在obs_source_update_async_video中,会先给帧加上滤镜特效(filter_async_video),然后

set_async_texture_size函数好像是执行绘画系统的初始化,接着update_async_texture中调用update_async_texrender进行图像绘制,

update_async_texrender会调用upload_raw_frame和gs_texture_set_image设置好绘制的图像信息,后面的绘制详细过程,需要了解d3d11及opengl,这里后面再研究吧;


通过查看update_async_texture调用的位置可以发现,其实source结构中还包含了绘制结构描述,async_texture和async_texrender;


我们回过头来看obs_source_update_async_video函数,它是在render_video中被调用的,而render_video的参数只有一个source,该函数应该就是负责数据源的绘制的;


而render_video在output_frame中被调用,如上面分析output_frame也在obs_video_thread中被调用;


现在再回头捋一捋obs_video_thread的流程:

1、调用tick_sources获取捕获的视频帧cur_async_frame;

2、调用render_display进行绘制,通过一系列回调(通过obs_display_add_draw_callback加入display中),最终绘制时在render_video函数中执行;

3、调用output_frame,通过output_video_data告知video_thread新数据到来;


video_thread线程中:

1、等到数据到来,最终调用receive_video函数进行编码,receive_video中调用do_encode对数据进行编码,然后在do_encode中还调用send_packet对数据执行发送;



你可能感兴趣的:(OBS)