西瓜书第五章-神经网络

神经元模型

(学习笔记）
1943 年， [McCulloch and Pitts, 1943] 将上述情形抽象为国 .1 所示的简单
模型，这就是 直沿用至 “M-P 经元模 模型 经元接收到来自 其他神经元传递过来的输入信号?这些输入信号通过带权重的连接(connection) 进行传 ，神经 接收到的总输入值将与神经元的阀值进行比较，然后通过"激活函数” (activation function 处理以产生神经元的输出.
把许多个这样的神经元按 定的层次结构连接起来，就得到了神经网

激活函数

感知机与多层网络

感知机由两个神经元组成，如图 5.所示，输入层接收外界输入信号后传递给输出层， 输出 层是 -P 经元，亦称"阔值逻辑单元" (threshold logic unit).感知机能容易地实现逻辑与、或、非运算。

给定训练数据集?权重叫。 =1 ，…， n) 以及阔值。可通过学习得到.阑值。可看作一个固定输入为 1. 的"哑结点" (dummy node) 所对应的连接权重 ，这样，权重和阑值的学习就可统一为权重的学习.感知机学习规则非常简单，对训练样例忡 y) 若当前感知机的输出为 fj 则感知机权 重将这样调整:

其中$\eta$，$\eta$为学习率(learning rate) 从式可看出，若刷刷训练样例 (x y) 预测正确，即 $\hat{y}$=$y$ 则感知机不发生变化，否则将根据错误的程度进行权重调整
感知机只有输出层神经元进行激活函数处理，即只拥有功能神经元(functionalneuron) ，其学习能力非常有限.要解决非线性可分问题?需考虑 能神经元 。如下图所示， 输出 层与输入居之层神经元，被称为 隐居或隐含层(hidden laye ，隐含层 输出层神经元都是拥有激活函数的功能神经元。

层前馈神经网 (multi-layer feedforward neural networks):每层 经元与下经元全互 经元之间不存在同层连接， 也不存在跨层连接.

误差逆传播算法

.误差逆传播(errorBackPropagation ，简称 BP) 算法:不仅可用于多层前馈神经网络，还可用于其他类型的神经网络.

全局最小与局部极小