深层神经网络(编辑中。。。)

基础概念

前馈神经网络信号从输入层向输出层单向传播,网络中无反馈,可用一个有向无环图表示

分类

按照深层网络中每一层的(编码-解码)结构可以分为三类,
一,包括编码和解码两部分。RBM系类,组成DBN;AutoEncodor系列,如Sparse AutoEncodor、Denoise AutoEncodor、 contractive autoencoder, saturating autoencoder等
二,只包含解码部分。比如sparse coding, deconvolution network.
三,只包含编码部分。一般的前馈网络。

学习算法

目标函数

损失函数

  • 均方误差
  • 交叉熵损失函数
  • 更多

极大似然函数

BP算法

均方误差

对单层神经网络,将需要调整的参数,包括偏置值,组成一个向量 (acbd)

LMS算法

DBN训练算法

贪婪逐层非监督训练算法训练DBN属于生成模型

参考文献

你可能感兴趣的:(DBN)