语音去噪深度学习模型论文总结（大多基于transformer）

深度学习模型：

​ 我总结了之前看的模型，并又寻找了基于transformer的模型，挑选了四个性能较好（评判标准是各种语音评价指标、该论文提出的模型与已有模型相比较得到的结果）的模型，其中前面三个是基于transformer的模型，最后一个是基于CRN网络的模型。每个论文的链接都在介绍后给出。

• 《T-GSA: Transformer with Gaussian-Weighted Self-Attention for Speech Enhancement》该论文发表于2020.5的ICASSP上。提出了一种模型Transformer with Gaussian-weighted self-attention （T-GSA），其注意权重根据目标和上下文符号之间的距离衰减。与RNN不同，transformer可以并行处理输入序列。此外，可通过高斯方程计算注意权重解决上下文之间的长期依赖关系，其中衰减由高斯方程确定。

​ 该论文认为输入和输出序列之间的对其是不必要的，所以只使用transformer中的encoder（如图1）。首先输入含噪时域语音的STFT，通过encoder得到语音信号的时频掩码，这个掩码是通过缩放噪声预测的干净的语音序列，最后通过iSTFT获得增强后的时域信号。以上是T-GSA模型的实现机制。

​ 图1

​ 其中Gaussian-weighted self-attention如图2所示：

​ 图2

​ 实验结果表明，与传统的Transformer和RNN相比，所提出的自我注意方案显著提高了SDR和PESQ分数，T-GSA显著提高了语音增强性能，并优于以前（2020.5之前）的所有网络模型。

https://arxiv.org/pdf/1910.06762.pdf

• 《TSTNN:TWO-STAGE TRANSFORMER BASED NEURAL NETWORK FOR SPEECH ENHANCEMENT IN THE TIME DOMAIN》发表于2021年5月的ICASSP,提出了一种用于时域端到端语音增强的两级变压器神经网络（TSTNN： two-stage transformer neural network）。

​ 最大的特点是该模型在编码器和解码器之间结合了TSTM来学习远程语音序列的局部和全局上下文信息。由的encoder、TSTM、masking module, decoder组成。后面将介绍该模型主要的两个特点。

​ 首先该模型在原有的transformer模型上进行改进：原有transformer结构由编码器和解码器组成。在该模型中，只使用编码器部分，原始transformer由三个重要模块组成：positional encoding, multi-head attention and position-wise feed-forward network。但是在改进的encoder中删除了位置编码部分，因为它不适用于声学序列。且前馈网络的第一个完全连接层被GRU层取代。改进后的transformer如图3所示。

​ 图3

​ 其次是 two-stage transformer block（图4），它基于改进的transformer，具有local transformer和global transformer，其分别提取局部和全局上下文信息。解决了长期依赖问题。

​ 图4

​ 接下来将介绍模型的运作机理，该模型首先利用encoder将语音信道数增加、帧大小减半，其次通过由四个堆叠的two-stage transformer block的TSTM学习局部和全局上下文特征，masking module利用该特征来获得用于去噪的mask，最后通过encoder重建增强后的语音信号。

​ 图5

​ 模型在时域模型中表现最好，且有最小的参数量（0.92Mb)，在TF也优于大多数模型。

​ 图6

​

https://arxiv.org/ftp/arxiv/papers/2103/2103.09963.pdf

• 《Lightweight Causal Transformer with Local Self-Attention for Real-Time Speech Enhancement》该论文发表于2021.9的ISCA上。描述了一种新的语音增强transformer结构。该模型使用local causal self-attention，这使得它轻量级，因此特别适合于计算资源有限的环境中的实时语音增强。

​ 引入local attention机制解决transformer禁止长序列输入的问题，因为语音目标的时间范围大致在几秒钟，这一时间范围已经包含足够的信息，因此结合local attention是很有必要的。并且使用 four-module transformer模型，具有local causal self-attention，对语音序列进行实时的增强。解决传统transformer不是因果关系的问题。

​ 该模型做了销蚀实验得到的最优结构，与LSTM和CNN模型作比较，模型的参数量分别仅为LSTM和CNN的28%和44%。在所有语音质量和可懂度方面都优于LSTM和CNN模型，只需模型复杂度的一小部分。

图7

http://staff.ustc.edu.cn/~jundu/Publications/publications/oostermeijer21_interspeech.pdf

• 《DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement》该论文在2021.7发表于ISCA(国际语音通讯会议).

​ DPRNN被提出来，以便更有效地对时域中的极长序列进行语音增强。通过将长序列分割成较小的块，并应用块内和块间的RNN。在该论文中，将DPRNN模块与CRN相结合，设计了一个名为双路径卷积递归网络（DPCRN）的模型，用于时频域的语音增强。用DPRNN模块取代了CRN中的RNN，其中块内RNN被用来模拟单帧的频谱模式，块间RNN被用来模拟连续帧之间的依赖。

​ 该模型由encoder、双路径RNN模块、decoder构成，其中编码器、解码器的结构类似于CRN。编码器先对语音序列提取信号特征，然后由双路径RNN将长的序列特征被分割成较小的块，由块内和块间的RNN迭代处理，减少每个RNN要处理的序列长度。最后由编码器重建增强后的语音信号。

​ 图8

​ 仅凭0.8M的参数，提交的DPCRN模型在Interspeech 2021年深度噪声抑制（DNS）挑战赛的赛道上取得了3.57的总体平均意见得分（MOS）。并且在MOS得分方面优于DTLN、DCCRN模型。

​ 图9

​

​ 实验结果表明，与传统的Transformer和RNN相比，所提出的自我注意方案显著提高了SDR和PESQ分数，T-GSA显著提高了语音增强性能，并优于以前（2020.5之前）的所有网络模型。

https://arxiv.org/pdf/2107.05429.pdf

​ 下表是这四个模型的部分性能参数

	PESQ	SSNR	COVL
T-GSA	3.06	10.78	3.62
TSTNN	2.96	9.7	3.67
LCT	3.35
DPCRN	2.46

  | **3.67** |

| LCT | 3.35 | | |
| DPCRN | 2.46 | | |