深度学习基础（一）神经网络

由生物学基础我们知道，神经网络是有无数个神经元和连接这些神经元的突触构成的，某个神经元接受一系列的电信号刺激，当这个刺激达到一定的阀值后，这个神经元就被激活，通过突触将某些信息传递给下一个神经元。每个神经元可以看成是一个激活函数(activation function)，输入值为强度大小不同的电刺激，输出值为传递给下一个神经元的刺激。

我们先来看神经网络最简单的形式，神经元。

输入：

x₁,x₂,x_{3 和 +1}

输出：

最常见的激活函数形式有：

                            

神经网络由多个神经元组成：

为了方便表示，我们定义一些符号：

n_l：神经网络的层数  L_l为输入层    为输出层

  ：是第l层的第j个单元与第l+1层的第i个单元之间的参数

    ：表示的是第l层的第i个单元被激活（激活函数的输出值） l=1时候代表输入值x

 ：表示的是第l层的第i个单元的所有输入值

.

于是我们有：

将z向量化表示后：

最后化简得到：

这个就是所谓的向前传导（forward propagation），可以理解为刺激由左往右逐层传递，最后输出一个值。

参考资料http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial