BP神经网络，从线性不可分到非线性分类的完美跨越

神经网络全称为人工神经网络（ANN）,它来源于人类对自身大脑认知能力的研究与模仿，神经网络的理论与相关技术就是为了实现对人类思维的认知。因此，神经网络它是一门涉及到神经生理科学、数理科学、信息科学以及计算机科学等学科的综合交叉学科。它是由大量类似于生物神经元的处理单元相互连接而成的非线性复杂网络系统。它是用一定的简单数学模型来对生物神经网络结构进行描述，并在一定算法下，使其能够在某种程度上模拟生物神经网络所具有的智能行为，以解决传统算法所不能胜任的智能信息处理问题。

神经元
神经网络算法是20世纪40年代后出现的，它是由众多的神经元可调的连接权值连接而成的，具有大规模并行处理、分布式信息储存、良好的自组织和自学习能力等特点。使用神经网络进行预测基本思路是通过收集数据来训练网络，使用神经网络算法建立数学模型，并根据模型进行预测。与传统的预测方法相比，神经网络预测不需要预先确定样本数据的数学模型，而是仅通过学习样本数据集就可以进行相对精确的预测。常用的神经网络算法有BP神经网络算法、RBP神经网络算法、自组织特征映射神经网络算法以及支持向量机等等。

神经网络
本次介绍的是神经网络算法中比较经典的BP神经网络算法，它是一种按照误差反向传播算法训练的多层感知器网络。因此，BP神经网络算法又称为误差方向传播算法，是监督式学习算法的一种。bp神经网络由一个输入层、至少一个隐含层、一个输出层组成。通常设计一个隐含层，在此条件下，只要隐含层神经元足够多，就具有模拟任意复杂非线性映射的能力。当映射能力不足时，才会考虑增加新的隐含层。因此，它具有很强的非线性映射能力。

BP神经网络

我们在前面介绍过，梯度下降法其实就是一个最简单的神经网络——感知器网络。但是，我们知道感知器网络是无法处理线性不可分的情况的。因此，BP神经网络算法的出现就是为了解决线性不可分的情况的，它利用了误差的反向传播原理，改变了传统的网络结构，引入了新的分层与逻辑，基本上解决了非线性的分类问题。BP神经网络算法的基本思想是：学习过程由信号的正向传播与误差反向传播两个过程组成的。正向传播时输入样本从输入层传入，经过隐含层处理后，再传向输出层。当输出值与目标值相差很大时，则将输出误差以某种形式通过隐含层方向传播，并将误差分摊给各层神经元，各层神经元以此误差信号作为修改权值的依据。这个正向传播与误差反向传播两个过程不得重复，直到误差很少，或者到达预先设定的迭代时间和迭代次数。
在这里插入图片描述

线性可分与线性不可分