西瓜书第五章

第五章

5.1

​ 单个M-P：感知机（sgn激活函数、阶跃函数）、对数几率回归（Sigmoid激活函数）

​ 多个M-P：神经网络

5.2

​
$$y=f(\sum _i{w}_i{x}_i-\theta )=f(w^T+b)$$
n维空间的超平面：

1. 超平面方程不唯一
2. 法向量w垂直于超平面
3. 法向量w和位移向b确定一个唯一超平面
4. 法向量指向的那一半空间为正空间，另一半为负空间

多层前馈神经网络：

5.3

误差逆传播简称BP，不仅可以用于多层前馈神经网络，还可以用于其他类型的神经网络。

$${\theta }_j$$表示输出层第j个神经元阈值，$${\gamma }_h$$表示隐藏层第h个神经元的阈值，输入层i与隐藏层h直接的连接权为$$v_{ih}$$,隐藏层h和输出层j直接的连接权$$w_{hj}$$。

均方误差：
$$E_K=\frac{1}{2}\sum _{j=1}^l(y_j^k(hat)-y_j^k)$$
1、

2、误差逆向传播算法：

3、

标准BP算法每次更新只针对单个样例。

累积BP算法直接针对累积误差最小化，它读取完整个训练集D一遍后才对参数进行更新。

5.4

接近全局最小方法：

1. ​ 以多组不同参数初始化多个神经网络
2. ​ “模拟退火”,试着接受次优解
3. ​ 使用随机梯度下降法

5.5

​ BRF网络：一种单隐层前馈神经网络，使用径向基函数作为激活函数，输出层为线性组合。

​ ART网络：竞争型学习是神经网络常用的无监督学习策略，神经元数目在训练过程中动态增长以增加新的模式类。可塑性指神经网络要有学习新知识的能力，为稳定性则是神经网络在学习新知识时要保持旧知识的记忆。

​ SOM网络：将高维空间中相似的样本点映射到网络输出层中的邻近神经元。SOM的训练目标就是为每个输出层神经元找到适合的权向量，以达到保持拓扑结构的目的。

​ 级联相关网络：结构自适应网络的重要代表。相关是指通过最大化新神经元的输出与网络误差之间的相关性来训练相关的参数。

5.6

​ 预训练：每次训练一层隐节点，训练时将上层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入。

的参数。

5.6

​ 预训练：每次训练一层隐节点，训练时将上层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入。

​