由于我主要研究问答系统，因此本博客仅更新NLP及问答相关内容，最近创了一个群，如果大家感兴趣可加q群号：376564367
github:https://github.com/makeplanetoheaven/NlpModel/tree/master/SpeechRecognition/AcousticModel/dfsmn_v1

背景知识

FSMN和DFSMN系列模型的结构及其实现原理可参考如下两篇博客：
1.FSMN结构快速解读
2.DFSMN结构快速解读

基于CNN+DFSMN的声学模型实现

本模型是在传统CNN模型的基础上，引入2018年阿里提出的声学模型DFSMN，论文地址：https://arxiv.org/pdf/1803.05030.pdf。

该声学模型使用的输入是具有16KHZ采样率，单声道音频数据经过fbank特征提取以后的特征数据。模型整体的语音识别框架使用的是Github：https://github.com/audier/DeepSpeechRecognition。

在该模块中，主要包含了以下4个部分内容：

模型实现代码
- 1.卷积层
- 2.DFSMN层
- 3.softmax层
- 4.梯度更新部分
模型调用方式
已训练模型库

模型实现代码

模型的实现代码位于目录：/NlpModel/SpeechRecognition/AcousticModel/dfsmn/Model/cnn_dfsmn_ctc.py，其实现顺序从Am类开始。

首先，通过调用_model_init对模型整个数据流图进行构建。在构建数据流图的过程中，需要依次去定义模型以下几个部分：

1.卷积层

在卷积层中，根据输入的音频数据（一个4维矩阵[batch, data_len, feature_len, 1]）,对其进行卷积操作，整个卷积共分为4层，其中最后一层不使用pooling操作:

# CNN-layers
self.h1 = cnn_cell(32, self.inputs)
if self.is_training:
	self.h1 = Dropout(self.dropout_r)(self.h1)
self.h2 = cnn_cell(64, self.h1)
if self.is_training:
	self.h2 = Dropout(self.dropout_r)(self.h2)
self.h3 = cnn_cell(128, self.h2)
if self.is_training:
	self.h3 = Dropout(self.dropout_r)(self.h3)
self.h4 = cnn_cell(128, self.h3, pool=False)
if self.is_training:
	self.h4 = Dropout(self.dropout_r)(self.h4)
# (200 / 8) * 128 = 3200
self.h5 = Reshape((-1, 3200))(self.h4)

      
      
      
      
      
      
      
      
       
       
       
       1
       
       
       
       2
       
       
       
       3
       
       
       
       4
       
       
       
       5
       
       
       
       6
       
       
       
       7
       
       
       
       8
       
       
       
       9
       
       
       
       10
       
       
       
       11
       
       
       
       12
       
       
       
       13
       
       
       
       14
       
       
       
       15

在卷积层的最后，通过Reshape操作，将提取出的特征转换成一个三维矩阵[batch, data_len, 3200]，以作为DFSMN层的输入。

其中，每个卷积层的实现函数是_cnn_cell，其代码如下，其中norm和conv2d分别为BatchNorm和卷积操作的两个函数：

def cnn_cell (size, x, pool=True):
	x = norm(conv2d(size)(x))
	x = norm(conv2d(size)(x))
	if pool:
		x = maxpool(x)
	return x

def conv2d (size):
return Conv2D(size, (3, 3), use_bias=True, activation=‘relu’, padding=‘same’, kernel_initializer=‘he_normal’)

2.DFSMN层

DFSMN层的实现在代码如下，在该模型中，总共使用了6层dfsmn，其中每层dfsmn的hidden_num设置为1024，前后步长设置为40，并将dfsmn的输出经过layNorm以后，再带入激活函数swish中，最终得到下一层的输出，在每层dfsmn中，DropOut的丢失率设置为0.5。

with tf.variable_scope(‘dfsmn1’):
dfsmn1 = dfsmn_cell(‘dfsmn1-cell’, 512, 512, 1024, 40, 40)
dfsmn1_o, dfsmn1_p_hatt = Lambda(dfsmn1)([cfsmn_o, cfsmn_p_hatt])
dfsmn1_o = LayerNormalization()(dfsmn1_o)
dfsmn1_o = Lambda(tf.nn.swish)(dfsmn1_o)
if self.is_training:
dfsmn1_o = Dropout(self.dropout_r * 2)(dfsmn1_o)

with tf.variable_scope(‘dfsmn2’):
dfsmn2 = dfsmn_cell(‘dfsmn2-cell’, 512, 512, 1024, 40, 40)
dfsmn2_o, dfsmn2_p_hatt = Lambda(dfsmn2)([dfsmn1_o, dfsmn1_p_hatt])
dfsmn2_o = LayerNormalization()(dfsmn2_o)
dfsmn2_o = Lambda(tf.nn.swish)(dfsmn2_o)
if self.is_training:
dfsmn2_o = Dropout(self.dropout_r * 2)(dfsmn2_o)

with tf.variable_scope(‘dfsmn3’):
dfsmn3 = dfsmn_cell(‘dfsmn3-cell’, 512, 512, 1024, 40, 40)
dfsmn3_o, dfsmn3_p_hatt = Lambda(dfsmn3)([dfsmn2_o, dfsmn2_p_hatt])
dfsmn3_o = LayerNormalization()(dfsmn3_o)
dfsmn3_o = Lambda(tf.nn.swish)(dfsmn3_o)
if self.is_training:
dfsmn3_o = Dropout(self.dropout_r * 2)(dfsmn3_o)

with tf.variable_scope(‘dfsmn4’):
dfsmn4 = dfsmn_cell(‘dfsmn4-cell’, 512, 512, 1024, 40, 40)
dfsmn4_o, dfsmn4_p_hatt = Lambda(dfsmn4)([dfsmn3_o, dfsmn3_p_hatt])
dfsmn4_o = LayerNormalization()(dfsmn4_o)
dfsmn4_o = Lambda(tf.nn.swish)(dfsmn4_o)
if self.is_training:
dfsmn4_o = Dropout(self.dropout_r * 2)(dfsmn4_o)

with tf.variable_scope(‘dfsmn5’):
dfsmn5 = dfsmn_cell(‘dfsmn5-cell’, 512, 512, 1024, 40, 40)
dfsmn5_o, dfsmn5_p_hatt = Lambda(dfsmn5)([dfsmn4_o, dfsmn4_p_hatt])
dfsmn5_o = LayerNormalization()(dfsmn5_o)
dfsmn5_o = Lambda(tf.nn.swish)(dfsmn5_o)
if self.is_training:
dfsmn5_o = Dropout(self.dropout_r * 2)(dfsmn5_o)

其中每层dfsmn的实现代码用一个类dfsmn_cell进行封装，其模型所需参数和实现流程如下所示：

另外，除了dfsmn以外，文件中还提供sfsmn、vfsmn、cfsmn代码实现。

3.softmax层

softmax层将dfsmn的输出带入到一个全连接层进行线性变换后，再经过softmax层，得到每个单词的出现概率，其代码如下：

4.梯度更新部分

cnn_dfsmn模型在_model_init的数据流图构建完毕以后，首先通过调用_ctc_init函数，以CTC作为模型的损失函数，然后再调用opt_init函数选择相应优化器进行模型训练。

def opt_init (self):
opt = Adam(lr=self.lr, beta_1=0.9, beta_2=0.999, decay=0.0004, epsilon=10e-8)
# opt = SGD(lr=self.lr, momentum=0.0, decay=0.00004, nesterov=False)
if self.gpu_nums > 1:
self.ctc_model = multi_gpu_model(self.ctc_model, gpus=self.gpu_nums)
self.ctc_model.compile(loss={‘ctc’: lambda y_true, output: output}, optimizer=opt)

模型调用方式

模型的调用代码位于目录：/NlpModel/SpeechRecognition/AcousticModel/dfsmn/Debug.py，其调用方式主要分为以下两种。

1.模型训练

cnn_dfsmn模型的训练通过调用文件中的函数dfsmn_model_train实现，该函数以一个参数作为输入:

2.模型在线解码

cnn_dfsmn模型的在线解码通过调用文件中的函数dfsmn_model_decode实现，该函数以一个参数作为输入：

已训练模型库

本模型已训练完的模型文件位于目录：/NlpModel/SpeechRecognition/AcousticModel/dfsmn/ModelMemory/。

语音识别|基于CNN+DFSMN（简化版：标量+无步长因子）的声学模型实现及代码开源（keras）