Deep Learning 系列（2）：NN（神经网络）及反向传播算法

转自：http://blog.csdn.net/hanzihan123/article/details/38024641

前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而怎样去优化呢？

参见 UFLDL教程之神经网络与反向传导算法，以及Dark_Scope 的NN代码解读。

本章将结合DBN与NN的算法推导以及代码，针对重点作讲解。

代码下载：DeepLearnToolbox  

当DBN每一层训练完后，参数将传给NN作监督学习。见\DBN\dbnunfoldtonn.m

 

               

具体批量梯度下降法见：

\NN\nntrain.m   其中code：44-58

 for l = 1 : numbatches
      batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);

      %Add noise to input (for use in denoising autoencoder)
      if(nn.inputZeroMaskedFraction ~= 0)
          batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);
      end

      batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);

      nn = nnff(nn, batch_x, batch_y);
      nn = nnbp(nn);
      nn = nnapplygrads(nn);

      L(n) = nn.L;

      n = n + 1;
  end

参数更新为l=1：numbatches，（关于批量梯度下降可参见：机器学习系列一）

L（n）为n次迭代中，每次batchsize个样本残差和。

关于梯度下降法，在UFLDL中有介绍更快的算法L-BFGS和共轭梯度算法，寻找 代价函数 最小化时 的值。

参考文献：

1.  UFLDL Tutorial

2.  Dark 的博客

3.  RBM tutorial  （可见RBM以及DBN的推导，NN参数优化）

注：持续更新中。。。。