玩转TensorFlow深度学习之深度前馈神经网络

什么是深度前馈神经网络？

深度前馈网络(deep feedforward network)，也叫做前馈神经网络(feedforward neurnal network)或者多层感知机(multilayerperceptron, MLP)，是典型的深度学习模型。前馈网络的目标是近似某个函数f*。例如，对于分类器，y=f*(x)将输入x映射到一个类别y。前馈网络定义了一个映射y=f(x; w)，并且学习参数θ的值，使它能够得到最佳的函数近似。在前馈神经网络内部，参数从输入层向输出层单向传播，它的内部不会构成有向环。这种模型被称为前向(feedforward)的，是因为信息流过x的函数，流经用于定义f的中间计算过程，最终到达输出y。 函数 y= f(x） 也可以被表示成多个函数复合在一起的形式，分别用一个函数表示网络每一层计算的过程，这样显然能够看到更多关于网络的细节。例如，对于一个拥有两个处理层的 MLP 而言，用函数f1表示第一个处理层的计算过程，用函数 f2 表示第二个处理层的计算过程，用函数f3产生最终的输出，如下图所示。

对于最终的输出y ，我们可以用复合函数的形式表示为，这实际上就形成了一个函数链。对于前馈神经网络，我们都可以用这样一个函数链来表示。对于一个深度学习模型而言，一般函数链的长度都比较长。在正式的术语中，我们会用输入层、隐藏层和输出层来称呼一个网络模型中的不同部分。例如，对上图所示的前馈神经网络而言，输入层就 是 x 所在的层，也就是网络的第一层；函数f1()处在网络的第二层，一般称 该层为隐藏层；函数f2()处在网络的第三层，该层也是一个隐藏层；函数f3()处在输出层，这是网络的最后一层，产生输出 y。

好了，到现在你们应该大概清楚了解了什么是前馈神经网络了吧，简单来说就是数据流一直往前传递，不会反馈，经过若干层隐层，一直得到最终的输出。而深度前馈神经网络就只是隐层多了复杂了而已，这就是“深度”一词的由来。接下来我们深入地去看一下整个神经网络的内部结构。2hhbGU=,size_16,color_FFFFFF,t_70)
神经元与全连接结构

神经元是构成一个神经网络的最小单元。前馈神经网络就是由一个个的神经元组成的，每一层都有若干神经元。下图展示了最简单的神经元结构，实现了对所有输入求加权和并输出的功能。w通常称为权重，也就是神经元的参数。为了最终的输出y能够更好地匹配 x 的标签，神经网络通常会涉及一些优化过程，这个过程指的就 是对权重参数 w 的取值进行不断的调整。比如，反向传播就是常用的一种方法。在后续章节我们会继续讲解反向传播算法，在这里大家知道该算法是用作调整整个神经网络权重参数w的就行了。

一个神经元可以有多个输入和一个输出， 每个神经元的输入可以来自 其他神经元的输出，也可以来自整个神经网络的输入。如下图是由多个神经元按照全连接的方式连接而成的简单全连神经网络，这个网络只有一个隐藏层，输入层有两个输入单元，输出层有一个输出单元。看了这篇文章，小鲸突然觉得自己的神经抽了一下，大概是学会了通体舒畅，不知道你现在感觉如何？一起加油吧！