全连接神经网络

人工神经网络（Artificial Neural Network, ANN）简称神经网络，可以对一组输入信号和一组输出信号之间的关系进行模拟，是机器学习和认知科学领域中一种模仿生物神经网络的结构和功能的数学模型。用于对函数进行估计或近似，其灵感来源于动物的中枢神经系统，特别是大脑。神经网络由大量的人工神经元（或节点）联结进行计算，大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。
具有 n 个输入一个输出的单一的神经元模型的结构中，神经元接受来自 n 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元收到的总输入值将经过激活函数 f 处理后产生神经元的输出。
全连接神经网络（Multi-Layer Perception, MLP）或者叫多层感知机，是一种连接方式较为简单的人工神经网络结构，属于前馈神经网络的一种，只要有输入层、隐藏层和输出层构成，并且在每个隐藏层中可以有多个神经元。MLP 网络是可以应用于几乎所有任务的多功能学习方法，包括分类、回归，甚至是无监督学习。
神经网络的学习能力主要来源于网络结构，而且根据层的数量不同、每层神经元数量的多少，以及信息在层之间的传播方式，可以组合成多种神经网络模型。全连接神经网络主要由输入层、隐藏层和输出层构成。输入层仅接收外界的输入，不进行任何函数处理，所以输入层的神经元个数往往和输入的特征数量相同，隐藏层和输出层神经元对信号进行加工处理，最终结果由输出层神经元输出。根据隐藏层的数量可以分为单隐藏层 MLP 和多隐藏层 MLP。
针对单隐藏层 MLP 和多隐藏层 MLP，每个隐藏层的神经元数量是可以变化的，通常没有一个很好的标准用于确定每层神经元的数量和隐藏层的个数。根据经验，更多的神经元就会有更强的表示能力，同时更容易造成网络的过拟合，所以在使用全连接神经网络时，对模型泛化能力的测试很重要，最好的方式实在训练模型时，使用验证集来验证模型的泛化能力，且尽可能地去尝试多种网络结构，以寻找更好的模型，但这往往需要耗费大量的时间。