深度学习笔记（一）——感知机模型（Perceptron Model）

零、引言

         感知机，也叫单层神经网络，是最基础的神经网络模型结构。

        神经网络模型由生物神经中得到启发。在生物神经元细胞中，神经突触接收到信号，经过接收并处理信号后判断信号的信息强弱，来做出不同神经电位变化反应。受此启发，科研人员设计出基础的神经网络模型结构，神经元模型（Neuron Model）。

一、神经元模型

        下图为一个最简单的“M-P神经元结构”，该模型1943年提出，并一直沿用至今：

        从模型示意图看，对于一个单一的神经元模型，其中为该模型的输入数据；为神经元模型计算参数，与输入数据维度一一对应，用于反应输入数据各维度的权重；表示神经元输出阈值，通常用于控制神经元是否输出结果或修正输出结果；为神经元模型的输出结果，计算方式如下公式：

其中，函数用于将函数值映射至区间（主要）或（部分），通常称为激活函数（activation function）。常用的激活函数包括; 等。常用的激活函数及性质会在后续单独总结。

        通常来说，多个神经元模型按次序排列即是一个简单的神经网络模型。

二、感知机

1. 单层感知机的定义

        周志华老师的西瓜书上对于感知机的定义为：“感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。也称为阈值逻辑单元（threshold logic unit）”。以下为一个单层感知机模型示意图

其中，其中为输入层接收到的的输入数据；为输出层M-P神经元模型计算参数。

        当输入层接收到的输入数据维度为2时，通过不同的权重及阈值配比感知机可以实现逻辑的“与”、“或”、“非”运算。经过训练数据集的训练，感知机可以自动地学习到阈值及权重。

2. 单层感知机的学习

        一般地，给定数据集，感知机的权重及阈值可以通过学习得到。由

 输出计算函数，我们将阈值的看做原始输入数据维度增加一维，该为输入值恒为-1，增加对应需要学习的权重为（即，），如此即可将权重和阈值统一到了权重的学习。为了方便理解，给出一个例子，假设原本输入数据为, 实际的输入数据改为。

        感知机的参数学习过程如下：

其中，，，称为学习率，用于调控模型的学习进度；为输入数据对应的真实值；为当前学习步骤中感知机的输出结果。若模型输出结果同真实值相同，则权重不发生变化；当模型预测值同真实值差距越大，则权重调整的幅度越大。

3. 单层感知机的不足

        单层感知机能够经过简单地 学习实现输入值得“与”、“或”和“非”运算，但是单层感知机只能实现线性可分的数据学习（存在一个超平面使得数据分开），当线性不可分时单层感知机便无法处理。如“异或”操作，单层感知机即无法实现。

        为了能够使得感知机的适应范围更广，可以将多个感知机进行连接，构成多层感知机模型来适应更复杂的任务。多层感知机模型也被称作人工神经网络（Artificial Neuron Network，ANN），将在下一篇进行介绍。

注：该部分学习主要来自周志华老师的西瓜书。部分理解存在问题欢迎指出。