前馈神经网络——神经元

前馈神经网络——神经元

引言
人工神经网络(artificial neutral network) 是受生物神经网络启发而开发，由神经元连接组成的网络状机器学习模型。其中，前馈神经网络(feedforward neural network)、多层感知机(multilayer perceptron，MLP)是最具代表的神经网络，主要用于监督学习，如分类、回归等。
前馈神经网络由多层神经元组成，层间的神经元相互连接，层内的神经元不相连。
信息处理机制：前一层神经元通过层间连接向后一层神经元传递信号，因为信号是从前往后传递的，所以是“前馈的”信息处理网络。这里，神经元是对多个输入信号（实数向量）进行非线性转换产生的一个输出信号（实数值）的函数，整个神经网络是对多个输入信号（实数向量）进行多次非线性转换产生多个输出信号（同实数向量）的复合函数。每一个神经元的函数还有参数，神经网络的神经元的参数通过学习得到。当前馈神经网络的层数达到一定数量时（一般大于2），又称为深度神经网络（deep neural network，DNN）。
前馈神经网络学习算法是反向传播算法（back propagation），是随机梯度下降算法的具体实现。学习的损失函数通常在分类时是交叉熵，在回归时是平方损失，其最小化等价于极大似然估计。学习的正则化方法包括早停法（early stopping）、退出法（dropout）。
前馈神经网络模型
神经网络是由神经元连接组成的网络，采用不同类型的神经元以及神经