人工神经网络基础——前馈神经网络

什么是人工神经网络？

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络
如下图所示，人工神经网络是一个仿生角度的数学模型，但是并不意味着人工神经网络的工作方式与生物学意义上的神经相同。

以上的概念都稍显空乏，看完本节你会发现人工神经网络的的本质。

前馈神经网络

前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。
首先我们来看一个前馈神经网络的基本结构和要素

上图神经网络在做的工作是，以l-1层的变量为输入，进行以w为基础的线性变换得到l层的输出
其中左边一列为上一层（l-1）右边一列为下一层（l）我们目前只关注这两层之间的计算问题
要进行线性变换，我们必须明晰权重w的表示方式
如上图所示，右上角标为l，表示此时的权值为第l-1层到l层的权值，右下角标为ij表示，此权值是前一层第j个节点到下一层第i个节点的权值。那么所有的权值就构成了一个权值矩阵，如下图所示：

列数为上一层的元素个数，行数为下一层的元素个数。但是我们发现要进行线性变换仅靠变量与权重的乘积还不够，需要添加偏置值b，以构成Σwx + b的线性组合模式
继续引入b作为偏置量，如下图所示：

对所有偏置量乘1操作即可，由图中可以看到偏置量b1~bN可以组成一个列向量，行数为l层的元素个数
接下来我们取出一个下层节点，将其作为例子，分析线性组合的结果

可以看到下一层的某个节点的产生方式，是上一层所有节点乘以相应的权重再加偏置量得到的，注意上层节点个数和下层节点个数并不具有固定的关系。
接下来引深至下一层的全部元素，网络结构如下图所示：

计算后一层元素（列向量）的方法就十分明了了，权重矩阵乘前一层元素组成的列向量，再加上偏置量。
到了这一步，神经网络的处理依然没有结束，还需要激活函数的处理，经常使用的激活函数有sigmoid函数，不了解的同学可以参考下图形式：

sigmoid函数如下所示：

sigmoid函数将一个由负无穷到正无穷区间的输入转化到0和1之间，在做分类问题时可以把0.5作为分类的标准
由此也可以看出，一个人工神经网络实际上是多个同时运行的逻辑回归。
为什么要引入激活函数？
引入激活函数，为了让中间输出多样化，能够处理更复杂的问题。
如果不使用该函数的话，每一层最后输出的都是上一层输入的线性函数，不管加多少层神经网络，我们最后的输出也只是最开始输入数据的线性组合而已。激活函数给神经元引入了非线性因素，当加入多层神经网络时，就可以让神经网络拟合任何线性函数及非线性函数，从而使得神经网络可以适用于更多的非线性问题，而不仅仅是线性问题