wav2lip:Accurately Lip-syncing Videos In The Wild

飞桨AI Studio - 人工智能学习与实训社区集开放数据、开源算法、免费算力三位一体,为开发者提供高效学习和开发环境、高价值高奖金竞赛项目,支撑高校老师轻松实现AI教学,并助力开发者学习交流,加速落地AI业务场景https://aistudio.baidu.com/aistudio/education/group/info/16651

wav2lip,主要是通过音频以及和音频同步的图片以及不同步的图片作为输入,构造了encoder-deocder结构,其中损失模块包括了三个部分,第一是重建损失,第二是同步损失,其中提前预训练了一个同步模型,第三增加了gan架构,用来提升生成的质量。但是wav2lip开源版本不够高清,生成出来的唇形仍然比较模糊,有两种做法,一个是训练高清版本的,另一个就是接fpgan这种增强的方式,但是后者速度很慢。

1.安装

python37 cuda 10.1 

sudo yum install libsndfile

pip install -r requirements

在face_detection/detection/sfd/sfd_detector.py中把s3fd.pth的路径换一下就好。

2.推理

wav2lip:Accurately Lip-syncing Videos In The Wild_第1张图片

实际上还是一个跨模态的模型,输入是一段音频特征和图像对,其中音频特征以及处理成mel频谱,这也是很常见音频处理,图像特征是一段长视频进行随机的切割,产生的两段,其中第一段橙色和第二段粉色的,将两段图像进行拼接之后,将橙色段的唇形部位全部mask掉,输入一个encoder和decode的结构,在解码时,产生了音频对应的唇形图,将唇形图和gt进行loss计算,gt即是被mask掉的橙色块,这里输入mask橙色块的时候拼了粉色块,我觉得主要还是让模型只学习唇形这一块,因为是基于gan的模型,不然很容易学飞了,粉色图片序列其实就是减少模型的复杂度,给了一块先验,要学的只是mask掉区域。

wav2lip:Accurately Lip-syncing Videos In The Wild_第2张图片

原作者开源出来的不是高清版本的,人脸是96x96的。

wav2lip:Accurately Lip-syncing Videos In The Wild_第3张图片

音频每块是16,一个视频对应的音频,偏移量是80/fps,fps=25,每次偏移大概3。

wav2lip:Accurately Lip-syncing Videos In The Wild_第4张图片

3.训练

wav2lip:Accurately Lip-syncing Videos In The Wild_第5张图片

wav2lip:Accurately Lip-syncing Videos In The Wild_第6张图片音频和视频同步判断器要提前训练好,即右下角模块,右上角是标准的gan结构,不用gan结构就是l2损失。

wav2lip:Accurately Lip-syncing Videos In The Wild_第7张图片

随机帧是和音频不同步,是根据音频和mask的图形生成真实的唇形,参考帧的意义我自己感觉是减少模型复杂度,但是也有解释,在前向推理时,其实输入的一定是和音频不同步的视频帧,此时不仅对唇形区域做mask,也会把原始的图像拼接起来concat,这样其实训练和推理时就保持一致了。上面的loss是重建损失,后面还有同步损失。

wav2lip:Accurately Lip-syncing Videos In The Wild_第8张图片

l1主要是重建损失,虽然生成了唇形,但是不足以保证同步,提前训练好一个sync判别器。 下面是syncnet网络。

wav2lip:Accurately Lip-syncing Videos In The Wild_第9张图片

上面两部分主要考虑的是唇形生成和同步的监督,但是还要考虑唇形生成质量问题,为了提升质量,在生成器后面加了一个gan结构,主要是判别器。

wav2lip:Accurately Lip-syncing Videos In The Wild_第10张图片

 预测:

wav2lip:Accurately Lip-syncing Videos In The Wild_第11张图片

你可能感兴趣的:(视觉应用算法,python,数字人,人工智能)