DNN原理推导一_机器学习

前言：

     矩阵求导：    https://zhuanlan.zhihu.com/p/24709748

 

目录：

1.      DNN 基本概念
2.       网络模型
3.       前向算法

---

一  DNN 基本概念

     DNN (Deep Neural Network)

    相对BP 网络，增加了隐藏层的层数

 

二 网络模型

   http://alexlenail.me/NN-SVG/index.html

    

 

---

 三  前向算法

       前向算法主要用于求误差

       算法流程

       输入：

                   

                   1:     代表第一层

                    L :    总的层数

                    x:     n 维的样本

                    :    代表 j层第k个神经元 到 j-1层第s个神经元的权重系数

         计算

                   for  j = 2 to L   

                            

                    其中：

                     Q 为神经元的激活函数，常用sigmod 函数 

                      ， 代表神经元输入

 

            输出：