常用模型结构（FNN、CNN、RNN、TDNN、FSMN、Attention）

经典模型结构总结，大道至简，探寻最本质之处。

目录

1. 前馈神经网络(FNN, Feedforword Neural Network)

2. 卷积神经网络(CNN, Convolutional Neural Network)

3. 循环神经网络(RNN, Recurrent Neural Network)

4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)

5. 延时神经网络(TDNN, Time-Delay Neural Network)

6. FSMN

7. 注意力机制

---

1. 前馈神经网络(FNN, Feedforword Neural Network)

 

2. 卷积神经网络(CNN, Convolutional Neural Network)

 

 

3. 循环神经网络(RNN, Recurrent Neural Network)

Simple RNN

4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)

LSTM 网络引入门控机制（ Gating Mechanism） 来控制信息传递的路径

5. 延时神经网络(TDNN, Time-Delay Neural Network)

第一层权重数：16维特征输入*3帧视野*3个隐层节点=166

第二层权重数：3维隐层节点*10帧视野*4个输出节点=120

可以看作是卷积核比较大的卷积操作，第一层，卷积核16*3；第二层卷积核3*10

6. FSMN

在FNN基础上，加了一个记忆模块，数学表达式如下。

7. 注意力机制

参考资料

[1] GitHub - nndl/nndl.github.io: 《神经网络与深度学习》 邱锡鹏著 Neural Network and Deep Learning