DBN和DNN的区别(未完待续)

一.模型框架

   DBN最后的两层是一个RBM,并且除了最后两层,其他的层都是top-down结构的有向结构;
   DNN是一个bottom-up的结构,同时,在一般的文献中,将DNN作为一个DBN进行训练得到的模型还是称为DBN(这就是为什么我一直分不清这两种结构的原因)。





二.训练算法

    DBN在训练的时候,当做一个stack RBMs进行训练;
    DNN在预训练的时候,可以当做一个DBM进行预训练,也可以当做一个stack autoencoder进行预训练。在当做DBN进行预训练之后,还要在后面添加一个输出层,然后再使用BP算法进行训练;而当做stack autoencoder进行预训练之后,可以直接使用BP进行训练。




三.参考文献

1.Deep Neural Networks for Acoustic Modeling in Speech Recognition



未完待续......


版权所有,欢迎转载,转载请注明出处,谢谢





你可能感兴趣的:(Deep_Learning)