论文笔记：FOOLING END-TO-END SPEAKER VERIFICATION WITH ADVERSARIAL EXAMPLES

论文地址：https://arxiv.org/pdf/1801.03339.pdf

（用对抗样本欺骗端到端的说话人验证）  ICASSP2018

1. 问题：使用深度端到端网络训练的说话人验证系统易受对抗样本的攻击。
2. 本文：提出了一个白盒攻击，针对于在YOHO或NTIMIT数据集上训练的深度端到端网络。两个黑盒攻击，第一个是用NTIMIT训练的系统生成对抗样本，用于攻击用YOHU训练的系统；第二个是使用Mel频谱特征训练的系统生成对抗样本，用于攻击使用MFCCs训练系统；è从而证明，即使使用不同的特征不同的系统生成的对抗样本也能显著降低系统的准确率。
3. 说话人验证系统的实现流程：输入一个未知话语 ，一组说话人k所产生（说的）的n个注册（enrollment）话语 ，输出为一个介于0~1之间的实数，评估未知话语是否属于说话人所产生的概率。
4. 端到端的深度神经网络模型：“End-to-end text-dependent speaker verification”基于这篇的端到端的依赖文本的说话人验证系统：       从上图看出，未知utterance和n个Enrollment分别得到D维嵌入向量，其中n个Enrollment对应的嵌入向量做均值通过余弦相似函数计算未知话语向量和均值向量之间的相似性对其乘以一个标量再加一偏置，得到概率评估。
5. 生成对抗样本：

                                                            

• 解决的优化问题：
• 用 （假设其可微）在处的一阶泰勒展开式表示优化问题：

• 当p范数中的 时，优化问题（最终版）则可以表示为：  ，与FGSM对应。

       仅在测试的未知话语中添加噪声，enrollment保持不变。

6. 实验

• 过程：用声学特征表示语音，然后用其训练说话人验证模型；然后在特征向量中添加噪声生成对抗样本，再用其重构声学波形。为便于参考，也为原始样本重构了波形。
• 两个数据集：YOHU、NTIMIT，采样率均为8kHz。
• 两种声学特征（提取方式）：第一组Mel频谱；第二组是MFCCs。
• 生成对抗样本方式：（前面提到的）FGSM，其中， 时，对抗样本性能相对最好。
• 评估指标：精确率（precision）。
• 实验一：ABX测试，用于证实人类确实不能区分出生成的对抗样本，（具体做法：先给听者提供一个源音频样本的重构波形和一个对应的对抗样本的波形，随机用A和B表示，然后从AB中随机抽取一个，表示为X，再提供给听者，让其判断X像A还是B。若是AB差异很小，那么经过多次测试后的正确分类的成功率应接近50%）。由8个听众参与，随机抽取50对原-对抗样本测试，最终分类正确率是54%。
• 实验二：一个白盒攻击，即假定攻击者可访问将要攻击模型内部；表1和表2分别是准确率和FPR（将负样本判为正样本的比率），其中每个表中上下部分分别表示对应的两个数据集。从结果可看出，对抗攻击的效果是可以的。

                                                         

• 实验三：（cross-data）。黑盒攻击。首先，训练了两个模型；模型A，YOHU数据集+MFCC特征；模型B，NTIMIT数据集+Mel-spectrum特征。然后，在模型B上用NTIMIT数据集生成对抗样本，用于攻击模型A。最终，在模型A上，干净的NTIMIT测试集的准确率为81.55%，对抗样本的减少到了58.93%；FRP从12%退到46%。
• 实验四：Cross-features。黑盒攻击。首先，训练两个模型，均是在YOHU数据集上训练；一个用的是Mel-spectrum特征，另一个用的是MFCC特征。然后用第一个模型生成对抗样本去攻击第二个模型。实验结果显示，在MFCC的模型上，干净的重构测试集的准确率为81%，对抗的重构测试集为62.25%。FRP从16%退到46%。