Moviepy+OpenCV-python 结合进行音视频剪辑处理的一种建议模式
一、引言
如今短视频和自媒体大行其道，不会点视频剪辑技能都不好说自己会玩自媒体，音视频剪辑工具大受欢迎，作为万能的编程语言 Python，也早就有了自己的音视频剪辑库 Moviepy。
MoviePy 能处理的视频是 ffmpeg 格式的，支持的文件类型包括：*.mp4 *.wmv *.rm *.avi *.flv *.webm *.wav *.rmvb 等 ，可用于进行视频的剪切、拼接、标题插入、视频合成、视频处理或创建高级效果，同时更适合批量进行视频剪辑处理。
OpenCV 是一个基于 Apache2.0 许可（开源）发行的跨平台计算机视觉和机器学习软件开源库，可以运行在 Linux、Windows、Android 和 Mac OS 操作系统上。 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV-Python 是 OpenCV 适配 Python 的一个图像处理和计算机视觉处理库。
二、一些 Moviepy 无法支持可由 OpenCV 完成的视频处理场景
我们知道视频是一帧帧图像和音频构成的，在进行视频处理时，当 Moviepy 无法完成的一些处理，就可以借用 OpenCV 来完成，二者的结合可以制作一些复杂的高级特效。
下面老猿列举一些 Moviepy 无法支持可借由 OpenCV 完成的特效：
- 对图像进行灰度变换，例如直方图均衡，以调整视频的对比度以及均衡图像的背景色
- 在视频内容的任意位置增加特定文字或几何图形，如形成弹幕效果
- 对视频内容进行特定的透视变换
- 对彩色视频三色进行分离
- 修复视频背景的噪点
- 进行复杂的背景处理，如增加雪花飘落效果
- 将灰度视频转成彩色视频
- …
只要是图像处理中能用的技术在视频中都可以使用，而不是简单的视频合成。
\
三、Moviepy 结合 OpenCV-Python 的音视频剪辑开发模式
要实现 Moviepy 结合 OpenCV-Python 的音视频剪辑处理，可以按照构建单独图像处理函数、调用 fl_image 进行剪辑的帧图像处理、输出剪辑内容三个步骤来实现。
3.1、图像处理函数
图像处理函数是用于真正对剪辑的每帧图像进行剪辑加工的函数，当每帧图像的处理模式统一时，可以使用单一的函数来进行图像处理。
图像处理函数的名字只要符合 Python 的函数命名要求就行，但该函数只能带一个参数和输出一个结果，输入参数就是要处理图像对应的 numpy 矩阵，输出结果就是加工处理后的结果图像，也是 numpy 矩阵。
下面是一个给图像加入雪花特效的函数示例：
def addSnowEffectToImg(img):
"""
将所有snowObjects中的雪花对象融合放到图像img中，融合时y坐标随机下移一定高度，x坐标左右随机小范围内移动
"""
global snowShapesList,snowObjects
horizontalMaxDistance,verticalMaxDistance = 5,10 #水平方向左右漂移最大值和竖直方向下落最大值
rows,cols = img.shape[:2]
maxObjsPerRow = int(cols/100)
snowObjects += generateOneRowSnows(cols, random.randint(0, maxObjsPerRow))
snowObjectCount = len(snowObjects)
rows,cols = img.shape[0:2]
imgResult = np.array(img)
for index in range(snowObjectCount-1,-1,-1):
imgObj = snowObjects[index] #每个元素为(imgId,x,y)
if imgObj[2]>rows: #如果雪花的起始纵坐标已经超出背景图像的高度（即到达背景图像底部），则该雪花对象需进行失效处理
del(snowObjects[index])
else:
imgSnow = snowShapesList[imgObj[0]]
x,y = imgObj[1:] #取该雪花上次的位置
x = x+random.randint(-1*horizontalMaxDistance,horizontalMaxDistance) #横坐标随机左右移动一定范围
y = y+random.randint(1,verticalMaxDistance) #纵坐标随机下落一定范围
snowObjects[index] = (imgObj[0],x,y) #更新雪花对象信息
imgResult = addImgToLargeImg(imgSnow,imgResult,(x,y),180) #将所有雪花对象图像按照其位置融合到背景图像中
return imgResult
3.2、调用图像处理函数加工剪辑的每帧图像并输出目标剪辑
moviepy 音视频剪辑模块的视频剪辑基类 VideoClip 的 fl_image 方法用于进行对剪辑帧数据进行变换。
-
调用语法：
fl_image(self, image_func, apply_to=None)。
-
参数说明：
- image_func：参数 image_func 是对剪辑帧进行图像变换的函数，带一个参数，参数就是要处理的帧图像 numpy 矩阵，image_func 函数的返回值为经过变换后的帧
- apply_to：apply_to 表示变换是否需要同时作用于剪辑的音频和遮罩，其值可以为’mask’、‘audio’、[‘mask’,‘audio’]
在实现剪辑加工处理时，只需要将上面的图像函数作为参数传递给 fl_image，就可以对整个剪辑进行帧图像的变换处理。如下面的示例代码就是调用上面给图像加雪花特效的函数 addSnowEffectToImg：
def addVideoSnowEffect(videoFileName,resultFileName):
clip = VideoFileClip(videoFileName)
newclip = clip.fl_image(addSnowEffectToImg, apply_to=['mask'])
newclip.write_videofile(resultFileName)
上述代码中，videoFileName 是要处理的视频剪辑文件名，clip 是将该视频文件加载到内存准备剪辑，newclip 就是经过变换后的目标剪辑，resultFileName 是输出的结果视频文件。
3.3、对同一个剪辑应用多种不同图像处理
前面 2 个步骤介绍的是对一个视频进行统一方式的处理，如果需要针对同一个视频的不同时间段进行不同的视频特效处理，如片头加上文字标题、中间加上弹幕特效、结尾加上鸣谢文字等，则需要区分剪辑的时间位置调用多个图像处理函数，这有多种方法来实现，但是为了模式统一，建议使用 Moviepy 的 subclip 函数将不同时段剪辑单独截取成不同的子剪辑，然后分别对每个子剪辑设置对应的图像处理函数，再针对每个剪辑调用 fl_image 来处理，各个子剪辑处理完成后再拼接成一个剪辑输出即可。
四、小结
本文简单介绍了 Moviepy 库和 OpenCV-python 库，并讨论了 Moviepy 结合 OpenCV-python 进行视频剪辑的适用的一些场景，同时给出了这种剪辑处理模式的推荐实现方案，对使用 Python 进行视频剪辑处理感兴趣的同仁可以按照该模式去进行尝试。
参考资料：
Moviepy音视频剪辑：视频添加雪花飘落特效
更多图像处理请参考专栏*《OpenCV-Python图形图像处理》及《图像处理基础知识》的介绍。
对于缺乏Python基础的同仁，可以通过老猿的免费专栏《 专栏：Python基础教程目录》从零开始学习Python。
如对文章内容存在疑问，可在博客评论区留言，或关注：老猿Python 微信公号发消息咨询：
也可以扫描博客左边栏目的微信公号二维码咨询。
写博不易，敬请支持：
如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！
关于老猿的付费专栏
- 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
- 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
- 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
- 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。
前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。
对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。
如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。