大家好,欢迎来到停止重构的频道。
本期我们介绍音视频处理的基础框架。
包括FFmpeg、GStreamer、OpenCV、OpenGL 。
我们按这样的分类介绍 :
1、编解码处理:FFmpeg、GStreamer
2、图像分析:OpenCV
3、复杂图像生成:OpenGL
首先是编解码处理的基础框架,这类基础框架的应用场景是最为广泛的。
因为在绝大数情况下,如视频高清/标清转换、视频文件轮播、视频流多合一处理、导播信号源切换、视频播放等等,实际上都可以归类为编解码处理。
对于编解码处理的基础框架,比较流行且可靠的是FFmpeg和GStreamer ,比较出名的直播工具OBS和很多播放器都是基于FFmpeg开发的。
对于这两个框架的选择,我们更推荐FFmpeg,虽然GStreamer是一种模块化的框架,理论上只要加入模块就可以扩展更多的场景,如AI处理等。但是这种方式也会加大代码理解的难度,各种异步通信、线程交互会让人头昏脑胀。
而FFmpeg的设计更专注于编解码处理,代码结构根据封装、编解码、filter处理等步骤而设计 代码理解上相对更加容易。
这里我们的关注点放在代码理解上,你可能会奇怪,基础框架不就是使用API调用就可以了吗 ,再不行就翻翻文档、或网上搜索一下不就好了吗?
但是,由于从事音视频处理的工程师实际并不多,而且由于视频编解码处理的过程本身就很复杂,所以难免会出现很多特殊问题,网上很难找到相似问题的答案。
很多时候你只能看框架源码,甚至一些时候还需要在框架源码上追加log以追查问题,所以我们更推荐源码更容易理解的FFmpeg ,FFmpeg的编译安装、API使用我们在后续内容会详细介绍。
FFmpeg的源码是c编写的 ,如果自身程序不是c/c++ 如Java、Python等也有调用方案。
这里需要特别说明的是FFmpeg是提供命令行方式调用的 ,官网有很详细的说明 ,如果是简单的处理 ,确实是可以通过程序生成命令行就可以实现功能。
但是以命令行的方式使用FFmpeg实际上并不好,很多复杂的功能就很难实现,而且一旦发生错误的话,通过捕捉报错log也很难定位问题。
所以要是想开发一个稳定可靠的音视频处理软件的话,还是调用库函数的方式比较好。
接下来是图像分析的基础框架,一些高级功能,如对视频流中的人物头像分析提取、轨迹跟踪等,都是需要用到这类基础框架的。
OpenCV是这类框架中比较流行且可靠的,OpenCV一般也称作机器视觉框架,总的来说 ,OpenCV主要的应用场景是图像分析, 更直接的说,就是从图像中提取数据,如人脸识别、轨迹跟踪等。
至于要实现一些AI处理、AI训练的话,需要结合其他AI框架,或者OpenCV的AI特别版本。
但我们还是推荐结合其他AI框架,这样虽然意味着软件结构更加复杂,但是长远来看,对于后续持续升级、功能扩展,专业的框架做专业的事更为合理。
需要特别说明的是:OpenCV的一些API是依赖FFmpeg的,因为图像处理一般是基于视频文件、视频流的,OpenCV需要FFmpeg帮忙解码视频。
另外,OpenCV也可以生成一些较为简单的二维图像,我们就曾经使用OpenCV生成二维实时地图,然后使用FFmpeg将实时地图合成到视频流中。
最后是复杂图像生成的基础框架,OpenGL是这类基础框架中较为可靠的,OpenGL比OpenCV能生成更为复杂的图像,OpenGL甚至可以生成3维模型。
虽然我们对FFmpeg、OpenCV、OpenGL是分类介绍的,但是在实际项目当中,并不是非此即彼的选择,很多时候 根据具体场景,是需要同时结合多个框架的。
这里我们想啰嗦一下,也是我们一直坚持的观点:技术或工具都是为了解决某个具体问题而生的,在实际工作中,并不存在一招鲜吃遍天的情况,除非是十年如一日的职位。
但也不需要恐惧一些没使用过的技术,毕竟很多时候,其实并不需要花过多的时间完全掌握某个技术或工具,只需要按我们的需要合理的使用它们的一部分功能就可以了。