基于交叉熵准则(Cross Entropy Criteria)的神经网络训练

基于交叉熵准则(Cross Entropy Criteria)的神经网络训练

1. 神经网络结构

上图为一个三层神经网络结构图。

输入层为特征输入，隐层激活函数使用sigmoid函数，输出层激活函数使用softmax函数。

2. 目标函数

DNN is trained by maximizing the posterior probablity overthe training frames. This is equvalent to minimizing the cross-entropy objective function.

3. 基于BP算法的模型更新

 

逐帧进行模型迭代

输出层的敏感度(sensitivity)

隐层的敏感度

4. 参考文献:

[1] Learning Small-Size DNN withOutput-Distribution-Based Criteria

[2] Beyond Cross-entropy: Towards Better Frame-levelObjective Functions for DNN Training in Automatic Speech Recognition

[3] Pattern Classification, second edition

[4] http://en.wikipedia.org/wiki/Cross_entropy

 

如果觉得本文对你有所帮助，可以请我喝杯茶哈 ^-^