变声总结(声音概念、采集、变声、SoundTouch 和 FMOD 对比等)

一、声音相关概念

声音是由物体震动产生的,我们可以把从感知的角度分为三种属性:

  • 响度(Loudness),即音量,与振幅有关。
  • 音调(Pitch),即高音和低音,与声音的频率有关系。
  • 音色:使用不同的材质来制作,所表现出来的音色效果是不一样的。

响度和音调只要联想到正弦波非常容易理解,然而音色是什么?

音色 = 基频 + 泛音(多个) 

一个物体发生的同时,会发出很多不同频率的波(谐波)。这许多不同频率的波由于相位差很小(也就是相隔时间很短),人是无法单独分辨的,所以这些波会混合起来一起给人一个整体的感受,而这个感受就叫做音色。

想想就很容易理解了,人的喉咙是立体的,发声时喉咙内每一部分都会产生振动,不同部位产生的振动频率就存在差异。其中频率的相对量最大的决定了声音的音调,其它的频率即泛音。当然人说话时还有鼻子和嘴来协助,另外即便是乐器或其它任何发声物体也往往是整体产生共鸣的结果。

看到一个这样的比喻:如果一个声音中从1到20K赫兹频率的波都有,并且都是1:1的关系,即相对强度都相同。这样一个声音就称为白噪音,听起来就和收音机收不信号时的音色一样。如果我有2万只音箱,每一个音箱分别对应放从1到20k赫兹不同频率的声波。那么我通过开关不同的音箱,调节每个音箱的音量,从理论上讲我就可以得到任何我想要的音色。不论是韩红的声音还是孙楠的声音,小提琴的声音。

声音采集

将模拟信号数字化,分为取样和量化两部分,即通常的 PCM(Pulse-code modulation) 脉冲编码调制技术。

  • 采样速率(Sampling Rate)

    人耳所能辨识的声音范围是 20-20KHZ,根据奈奎斯特抽样定理(要从抽样信号中无失真地恢复原信号,抽样频率应大于 2 倍信号最高频率),所以人们一般都选用 44.1KHZ(CD)、48KHZ 或者96KHZ 来做为采样速率。

  • 采样深度(Bit Depth)

    量化(Quantization) 是将连续值近似为某个范围内有限多个离散值的处理过程,这个范围的宽度离散值的数量表达,会直接影响到音频采样的准确性。一般 8位(256),和 16位(65536)来表示。

  • PCM 文件大小

    存储量 = (采样频率 · 采样位数 · 声道 · 时间)/8 (单位:字节数)
    
    • 采样频率:在16位声卡中有22KHz、44KHz等几级,其中,22KHz相当于普通FM广播的音质,44KHz已相当于CD音质了,目前的常用采样频率都不超过48KHz。
    • 采样位数:在计算机中采样位数一般有8位和16位之分,8位不是说把纵坐标分成8份,而是分成2的8次方即256份; 同理16位是把纵坐标分成2的16次方65536份。
    • 声道数:单声道的声音只能使用一个喇叭发声,立体声的pcm可以使两个喇叭都发声,更能感受到空间效果。
  • 声道和立体声

    • Monaural (单声道)
    • Stereophonic(立体声)
    • 4.1 Surround Sound(4.1环绕立体声)
    • 5.1 Surround Sound(5.1环绕立体声)
  • 音频的几种文件格式

    • 不压缩的格式(UnCompressed Audio Format):PCM数据,wav, aiff
    • 无损压缩格式(Lossless Compressed Audio Format):FLAC, APE, WV, m4a
    • 有损压缩格式(Lossy Compressed Audio Format):mp3, aac

常见的 wav 格式的音频数据其实是 pcm 文件 + 46字节的头信息,头信息记录了 PCM 文件的采样率、采样深度、声道数等信息,可方便播放进行解码。

二、变声原理

变声即是对 PCM 数据进行的处理,如果是其它格式(如:MP3)也需要先解压成 PCM 格式再进行处理。

常用的变声,如女生、男生、小黄人都是对音调(即频率)进行的处理。当音调高时就是女声,低时即男声,常常听到的女声比男声高八度还是有点道理的。

另外还有一些对声音的高级处理,如:混响(Reverb)、回声(Echo)、EQ、锯齿(Flange)等。下面重点说一下混响:

Reverb(或残响)是Reverberation的简写,当一个声音发出后,当它碰到障碍物后会反射,碰到下一个障碍物会再反射,不停反射直至它的能量消失为止。这个持续在空间中反覆反射动作形成的声音集成,就是残响。不是每个频率衰减的速度都一样。同样的声音在同个空间不同位置,到达人耳所经过的反射次数、时间都是不同的,混音时使用 reverb 器材或插件可重新塑造声音的立体空间感,让声音有远近等不同距离的层次。

混音常用的Reverb效果器大概分为两大类。一类是靠电脑程式运算出来的演算式残响(Algorithmic Reverb);另一类是取样式残响(Convolution Reverb)。演算式残响就是利用程式运算,模拟空间的各种反应参数,是人工制造出来的残响。取样式残响是在真实空间中做声音脉冲反应的取样(impulse response),加到欲使用的声音上。

这里区分下 Reverb 和 Echo 的区别:

通常Echo是指声音发出后,要较长时间才会收到反射音的状态,就像我们对着远方的山大喊;「喂~」我们不会马上听到反射回来的声音,通常是喊完后隔了一小段时间才会听到明显反射回来的「喂~喂~~喂~~~」,这种称之为Echo,Echo算是reverb的一种,但 reverb 是个更大的概念。
当回声与原始声音直接的间隔较大时,如 >200ms,我们耳朵能分辨出两个声音的就是 Echo。如果两个声音直接的间隔比较小,通常我们无法分辨出来,与原始声音产生了共鸣的叫 Reverb。

三、第三方处理库

调研中发现的对声音处理的库主要有两个:

  • SoundTouch 是一个开源的音频处理库,用于改变音频流或音频文件的节奏、音调和播放速率。

  • FMOD 声音系统是为游戏开发准备的音频引擎,商业用途需要购买许可证。除了 SoundTouch 只能对声音进行变调处理功能外,还包括了前面提高和没提到的高级功能(Reverb、Echo、EQ、Flange、3D...)。

SoundTouch 与 FMOD 对比

  • SoundTouch

    • 优点:开源!因此具有很高的可塑性,可以自由定制完全适用于自己应用。可以处理音调、速率和节拍功能。

    • 缺点:功能单一,满足不了需求。

    如果只需要处理音调,变男声女声童声等功能使用 SoundTouch 是最佳选择。如果还需要对声音做其它处理,时间充足情况下也可以考虑修改源码,加入相应的算法来达到所需的功能。

  • FMOD

    • 优点:声音处理功能强大,可以方便的对声音进行处理。

    • 缺点:非开源,商用不免费,定制化差。

    虽然目前暂时选择用 FMOD,但是不能快速导出处理后的音频文件依然是硬伤,无法很好的满足产品需求。

FMOD 常见变声和参数说明

  • 萝莉

    提高 8 个音调

  • 大叔

    降低音调到 0.8

  • 惊悚(效果待优化)

    设置颤音效果(Tremolo)

    system->createDSPByType(FMOD_DSP_TYPE_TREMOLO, &dsp);
    dsp->setParameterFloat(FMOD_DSP_TREMOLO_SKEW, 0.5);
    dsp->setParameterFloat(FMOD_DSP_TREMOLO_FREQUENCY, 20);
    
  • 搞怪(效果待优化)

    提高语速,x2

  • 空灵(效果待优化)

    设置 Echo

  • 山谷

    设置 Echo

    system->createDSPByType(FMOD_DSP_TYPE_ECHO, &dsp);
    dsp->setParameterFloat(FMOD_DSP_ECHO_DELAY, 500);
    dsp->setParameterFloat(FMOD_DSP_ECHO_FEEDBACK, 22);
    dsp->setParameterFloat(FMOD_DSP_ECHO_WETLEVEL, -15);
    
  • 礼堂

    设置混响,目前用的 Sfx 的混响模式,参数比较多,在 fmod_common.h 文件的 FMOD_REVERB_PROPERTIES 结构下面列举了值:

    FMOD_PRESET_AUDITORIUM { 4300, 20, 30, 5000, 59, 100, 100, 250, 0, 5850, 64, -11.7f }

  • 教室

    设置混响,Sfx 混响算法

    { 400, 2, 3, 5000, 83, 100, 100, 250, 0, 6050, 88, -9.4f }

  • 现场演出

    设置混响,Sfx 混响算法

    FMOD_PRESET_CONCERTHALL { 3900, 20, 29, 5000, 70, 100, 100, 250, 0, 5650, 80, -9.8f }

  • 机器人(效果待优化)

    设置锯齿(Flange)效果

  • 小黄人(效果待优化)

    提高 8 个音调,加快语速 120%

  • 明亮

    调整 EQ,将 500-2000Hz 的 Q 值调高

四、生活中声音有意思的事(个人理解,科学度待考证)

研究了这么久的声音,回到生活中,解开了一些有趣的小点,原来为什么是这样。

  • 视频的倍速播放范围在 0.5-2 之间

    快速播放时其实是对音频数据的再次采样,并且在数据丢失的同时音调也会发生变化,根据前面采样时提到的奈奎斯特抽样定理,抽样频率应大于 2 倍信号最高频率,否则信号失真而无法完整获取信息,因此因此音频播放过快时而无法得到完整信息。

  • 电话的采样率是 8000Hz(次/每秒)

    人的发声范围为 85HZ~1100HZ,而电话采用 8000Hz 的采样率足以满足语音需求。(发音时还有谐波产生的频率肯定是大于这个范围的,但那个只会影响到音色,对交流没啥影响)

  • 女声比男声高八度

    其实女声比男声只高 4-6 度,并没有所说的 8 度。音乐上男女合唱设计为 8 度是为了能在一个调上(do re mi fa sol la si do)达到和谐的演奏效果。

  • 为嘛需要录音棚

    录音棚除了专业的录音设备,同时可减少噪音录入,混响录音棚的设计更是加强了录音的立体效果。

  • 声纹识别

    所谓声纹(Voiceprint),是用电声学仪器显示的携带言语信息的声波频谱。人在讲话时使用的发声器官--舌、牙齿、喉头、肺、鼻腔在尺寸和形态方面每个人的差异很大,所以任何两个人的声纹图谱都有差异。

五、还有待研究或实现的点

  • 如何准确的变出机器人、小黄人等音效?

    虽然设置了与相关视频中一样的参数,但是仍然无法达到理想的变身效果。可能是因为每个人的音调本身不一样导致,针对个人还需要进行微调等。

    下面是找到的一些变声视频:

    • 机器人音效
    • 惊悚音效
  • 如何变某个人的声音,像柯南变声器一样?

    考虑过将自己的声音变成任何人的声音,最开始有一个天真的想法:“先将自己声音的基频提取出来,并分析提取目标声音的音调和泛音等,将自己的基音调至目标音调,并添加目标泛音模型,最后得到目标声音”。不过目前调研这一块比较绝望,还有待今后继续对声音的研究。

    下面是分析提取基频的一些资料:

    • 基频泛音的分离
    • 如何得到一个曲子的基频?

六、参考资料

  • 声音详解(台湾某大学博客) (推荐)

  • 音色与声谱图(科学的欣赏流行乐) (推荐,站内的其它博客和资源也都不错)

  • 声效详解

    • 效果声的两种基本类型

    • Reverb效果用法详解

    • Reverb音效算法研究实现

    • 音频均衡器Equalizer算法研究与实现

    • Audition CC教程,从基础到掌握 (对于理解处理声音的函数非常有帮助)

      • 如何倍速播放在线视频 (现在已近无法忍受老师的慢节奏讲课了)
      • bilibili 视频如何加速播放
  • SoundTouch 和 FMOD 相关资料

    • SoundTouch 实现音频变速变调
    • FMOD 问答区
    • FMOD 官方文档
    • FMOD 变音播放博客
  • 录音降噪和声音编辑

    • 回声消除原理
    • 回声消除开源库:Webrtc、Speex、Opus
    • RingDroid
    • 详解如何使用代码进行音频合成

你可能感兴趣的:(变声总结(声音概念、采集、变声、SoundTouch 和 FMOD 对比等))