Pytorch机器学习——3 神经网络（一）

outline

1. 神经元与神经网络
2. 激活函数
3. 前向算法
4. 损失函数
5. 反向传播算法
6. 数据的准备
7. PyTorch实例：单层神经网络实现

3.1 神经元与神经

每个神经元与其他的神经元平均有6000个连接。一个神经元接收其他神经元传递过来的信息，通过某种方式处理过后再传递给其他神经元。

• 1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，最早提出了抽象的人工神经元模型：MP神经元模型。在MP模型中，权重的值都是预先设置的，因此不能学习。MP模型虽然简单，但已经建立了神经网络大厦的地基。
• 1958年，心理学家Rosenblatt提出了由两层（输入层和输出层）神经元组成的神经网络，名叫感知机。感知机类似一个逻辑回归模型，可以做线性分类任务，是首个可以学习的人工神经网络。
• 感知机是前馈神经网络的一种，前馈神经网络是最早期也是最简单的人工神经网络，前馈神经网络包含多个神经元，被安排在不同的层，即输入层、隐含层、输出层，隐含层的个数可以有0个或多个。在前馈神经网络中，信息在神经元上的传播方向只有一个——向前，神经元间没有循环结构。
• 含有一个或多个隐含层的前馈神经网络称为多层感知机。多层感知机可以很好地解决非线性可分问题，我们通常将多层感知机这样的多层结构称为神经网络。
• 参数的确定需要神经网络通过训练样本和学习算法来迭代找到最优参数组。其中最杰出、最成功的代表反向传播算法将在3.5节详细介绍。

有用就留个赞吧^_^