【感知机、神经网络、支持向量机、BP神经网络、梯度下降法的概念及特点区分】

1.感知机：感知机是一个线性二分类模型

图片来源：感知机与多层感知机+激活函数_FakeOccupational的博客-CSDN博客_多层感知机激活

单层感知机的表达能力受限的话，可以使用多层感知机实现更加灵活的表示。 

2.神经网络：

对于感知机，其参数都是人工进行确认和标注的，如果脱离人工就毫无用处。为了摆脱对人力的依赖，引入了神经网络，它可以自动地从数据集中学习合适的权重参数和阈值来解决复杂问题。【凌云网络实验室：深度学习入门_感知机和神经网络】

（1）单一神经元的输入输出过程：

（2）多个神经元组成神经网络：

3.支持向量机：

支持向量机（SVM）是与神经网络并列的一种分类器，其目标是寻找一个超平面使得样本分成两类，且间隔最大。

4.BP神经网络：

BP是Back-Propagation反向传播算法，它分为两个过程：第一，信号的前向传播，从输入层经过隐藏层到达输出层；第二，误差的反向传播，从输出层到隐藏层，最后到输入层，依次调解隐藏层到输出层、输入层到隐藏层的权重和偏置。

5.梯度下降法：

梯度下降法是一种优化算法，用于寻找最小化损失函数的参数。梯度下降即其他优化算法（如常用的自适应时刻估计方法Adam、Adagrad、随机梯度下降SGD等）都依赖BP来得到梯度。