克隆你的声音，可能只需要5秒钟：MockingBird实现AI拟声 (详解)
克隆你的声音，可能只需要5秒钟：MockingBird实现AI拟声
- 0. 引
- 1. 背景
- 2. 环境搭建
-
- 2.1 安装pytorch
- 2.2 安装ffmpeg
- 2.3 下载MockingBird源码
- 2.4 安装requirements
- 2.5. 下载预训练模型
- 3. 运行MockingBrid
-
- 3.1 运行Web版
- 3.2 运行Toolbox版
- 4. 录音->合成语音
- 5. 效果优化
- 6. 结论：
- 博主热门文章推荐：
0. 引
老铁们好，今天Howie介绍一个AI语音克隆算法项目MockingBird，号称仅需要你的一段声音，仅需5秒钟，就可以根据任意文字，克隆出你新的声音，听起来，就像你在说这段文字一样？。还让人真假难辨？
那岂不是， 一个骗子不看话术，改看兵法了?
虽然听起来恐怖如斯， 但真实情况是什么样的？AI拟声真的可以以假乱真，并且实现方式简单至极？
（注：因为CSDN blog不支持上传语音内容，有兴趣听AI拟音结果声音的小伙伴，请关注微信公众号内同名文章）
试想一下，在夜深人静的夜晚，你接到一通电话。说了几句以为是骗子就直接挂断了，心里暗骂就这还能骗到本大爷？？然而，之后一段时间，以你的声音发出的借钱/诈骗电话，却传遍了你的朋友圈。。 细思极恐~
这不是演习，无论微信语音/电话，还是视频中的声音，只要骗子得到了你的一段声音；就可以通过AI算法，学习并模拟你的声音，然后合成任意一段话术，比如“借钱”，转发给你的亲友，实施诈骗。。
那么问题来了，有一天你收到电话，虽然只有只言片语，但听起来声音却和老板或亲友“一模一样”，声称情况紧急要打钱？
到底该不该相信？
到底要不要打钱?
切入正题，下面我们来真正实践下AI拟声项目，来看看上面的情况是否属实？。。
1. 背景
继“AI换脸”，“眼见不实” 刷屏之后，AI换声/拟声技术也受到大量关注。
AI换声/拟声技术，是指利用AI模型学习声音特征，比如（一个人的声音音色，音调，语速）等特征，通过语音合成技术，重新生成新的声音。
就类似于大家熟知的变声器，只不过变的是某人的真人声音，达到"以假乱真"。
MockingBird是基于Github项目： Real-Time-Voice-Cloning 修改的中文语音支持版本，号称能在5秒内克隆语音以实时生成任意语音，地址
- GitHub：https://github.com/babysor/MockingBird
- GitCode：https://gitcode.net/mirrors/babysor/MockingBird/
项目实现的核心论文是基于：SV2TTS (Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis)
论文地址：https://arxiv.org/pdf/1806.04558.pdf
实现上主要分为三个模块（三个单独的pt模型）：
- Encoder：负责提取声音的音色
Encoder 会提取的输入声音的音色向量，是确保输出声音相似度的关键所在
- Synthesizer：Sequence-to-sequence synthesizer，将Text文本转换成mel-spectrogram梅尔频谱图
Encoder模块提取的说话人音色向量，会作为speaker embedding，融合入Synthesizer Encoder的输出结果（concat），然后基于Attention，将目标文本转换成mel-spectrogram
- Vocoder: 使用WaveNet vocoder, 将mel-spectrogram转换成时域的声音waveform
最终通过Vocoder模块将mel-spectrogram转换成声音的waveform，播放出来。
总结来说，整个算法模块通过Encoder获取说话声音的音色（输入语音），然后使用Synthesizer和Vocoder根据输入文字实现TTS（text-to-speech）合成语音（输出语音）
该项目的Reference如下：
2. 环境搭建
开始搭建运行环境，建议使用Anaconda，可参加之前博文：最新Anaconda3的安装配置及使用教程（详细过程）
2.1 安装pytorch
这里我直接pip安装的CPU版本
pip3 install torch torchvision torchaudio
如果有GPU可以安装CUDA版：
torch安装完成：
2.2 安装ffmpeg
打开ffmpeg org 官网，https://ffmpeg.org/download.html#get-packages
选择相应平台即可下载l
- 下载地址1：https://www.gyan.dev/ffmpeg/builds/
- 下载地址2：https://github.com/BtbN/FFmpeg-Builds/releases
下载后，把bin 目录放到系统环境变量中
cmd查看下，ffmpeg安装完成：
- ffmpeg -version
2.3 下载MockingBird源码
直接git clone即可
git clone https://github.com/babysor/MockingBird.git
clone完毕，源码目录结构如下：
2.4 安装requirements
进入源码目录，安装requirements
pip install -r requirements.txt
然后安装webrtcvad
pip install webrtcvad-wheels
2.5. 下载预训练模型
在synthesizer目录下创建一个saved_models文件夹，下载预训练模型后放入到该目录中即可
https://github.com/babysor/MockingBird 下载时在Github上找最新的版本即可：
这里我下载了4个 synthesizer model：
同时也检查下encoder 和vocoder 的saved_models目录是否有pt模型，如果没有需要检查代码版本
3. 运行MockingBrid
3.1 运行Web版
python web.py
运行时如果 synthesizer model是0，则检测下上一步下载的model路径
会在localhost 8080启动服务：
web.py:
但web版本功能使用上不太方便，还是推荐使用下面的toolbox
3.2 运行Toolbox版
先直接运行demo_toolbox.py
python demo_toolbox.py
启动后GUI是这样的
使用说明：
如果有数据集可以运行：
python demo_toolbox.py vc -d <datasets_root>
4. 录音->合成语音
如果有录音wav文件，可以点击Browse打开本地录音，如果没有可以点击Recording当场录制（会录制5秒电脑音频）
本地录音也最在10s以下，注意尽量保持录音环境没有多余噪音，而且只有一个声音。 说话间隔也保持正常，尽量不要使用语气词。
最简单的就是念一行文字
注意选择相应的model：
录好一段声音后，即可在文本框输入要合成的文字，点击Synthesize and vocode ，
等待一段时间，进度条和log可以显示进度，完成后即可输出结果并自动播放合成的声音：
输入和输出的音频都可以在下拉框选择，而且可以点击replay、export进行播放、导出生成的语音
合成过程可以看到log：
5. 效果优化
如果输出的声音效果不好，比如电音严重，可以尝试下面方式优化
- 使用更精确的Synthesize model ，或利用数据集迁移学习继续训练
- 将vocoder从hifiGAN切换到pretrained 或wavernn_pretrained：
- 优化输入录音，比如提升说话清晰度、减少噪音、保持语调等。
通过查看mel spectrogram梅尔频谱图，就可有看到语音合成的效果：
好的频谱图纹理清晰，间隔分明（和真实语音匹配度高），例如下面就是好的频谱图
而差的频谱图就相反，例如：
**小技巧：**在使用中，可以先使用Synthesize ，查看梅尔图，如果效果好，再进行Vocode
如果想自己找数据集使用train.py训练，可以参考:
https://vaj2fgg8yn.feishu.cn/docs/doccn7kAbr3SJz0KM0SIDJ0Xnhd
支持的数据集有：
- aidatatang_200zh ：http://www.openslr.org/62/
- magicdata：http://www.openslr.org/68/
- aishell3：http://www.openslr.org/93/
没有GPU的话Training需谨慎。
调优技巧可参考：https://zhuanlan.zhihu.com/p/425692267
6. 结论：
- 不训练情况直接简单使用，生成语音欺骗性较低
在不重新训练Model的情况下，直接运用MockingBird算法，只依靠十几秒左右的录音，虽然可以合成比较“相似”的声音，但听起来和原音还是有所区别，熟悉的人还是能够很快听出来。
- 生成的声音与正常人声高度相似，调试好的话，基本上听不出来是AI合成声音
我听起来合成的就是一个正常人的声音，感觉起码比那些骚扰电话的AI机器声音 要好很多
- 合成速度够快，仅需10秒左右的原音，输出上来讲，5s左右即可生成任意话术的语音，而且普通话比较标准，
普通话不好的（像我这种），在制作视频/语音讲解的时候，可以考虑使用这个生成语音解说，比自己录的效果要好。。
- 如果收集到一个人的足够多的声音数据，重新针对性的训练Mocking Bird，利用MockingBird是可以合成极高相似度的声音的，足以让人“耳听不实”。
但这样的训练/调参/声音数据处理，就不是简单就可以实现的了，而且MockingBird作者使用的aidatatang_200zh、magicdata、aishell3数据集，是目前最大的三个开源中文语音训练数据集，目前来看也比较全面了
所以简单操作，还是骗不过亲人们的
下面有机会Howie可以深入研究解读下MockingBird和Real-Time-Voice-Cloning的源码，这里面的东西非常多，并且很多是当前语音领域先进的理论/技术的工程应用。。。
博主热门文章推荐：
一篇读懂系列：
- 一篇读懂无线充电技术（附方案选型及原理分析）
- 一篇读懂：Android/iOS手机如何通过音频接口（耳机孔）与外设通信
- 一篇读懂：Android手机如何通过USB接口与外设通信（附原理分析及方案选型）
LoRa Mesh系列：
- LoRa学习：LoRa关键参数（扩频因子，编码率，带宽）的设定及解释
- LoRa学习：信道占用检测原理（CAD）
- LoRa/FSK 无线频谱波形分析（频谱分析仪测试LoRa/FSK带宽、功率、频率误差等）
网络安全系列：
- ATECC508A芯片开发笔记（一）：初识加密芯片
- SHA/HMAC/AES-CBC/CTR 算法执行效率及RAM消耗 测试结果
- 常见加密/签名/哈希算法性能比较 (多平台 AES/DES, DH, ECDSA, RSA等)
- AES加解密效率测试（纯软件AES128/256）–以嵌入式Cortex-M0与M3 平台为例
嵌入式开发系列：
- 嵌入式学习中较好的练手项目和课题整理（附代码资料、学习视频和嵌入式学习规划）
- IAR调试使用技巧汇总：数据断点、CallStack、设置堆栈、查看栈使用和栈深度、Memory、Set Next Statement等
- Linux内核编译配置（Menuconfig）、制作文件系统 详细步骤
- Android底层调用C代码（JNI实现）
- 树莓派到手第一步：上电启动、安装中文字体、虚拟键盘、开启SSH等
- Android/Linux设备有线&无线 双网共存（同时上内、外网）
AI / 机器学习系列：
- AI: 机器学习必须懂的几个术语：Lable、Feature、Model…
- AI：卷积神经网络CNN 解决过拟合的方法 （Overcome Overfitting）
- AI: 什么是机器学习的数据清洗（Data Cleaning）
- AI: 机器学习的模型是如何训练的？（在试错中学习）
- 数据可视化：TensorboardX安装及使用（安装测试+实例演示）