p108- p120
今天首先先把昨天没看完的NN部分的尾巴补上
5.5 其他常见神经网络
5.5.1 RBFNN
单隐层前向反馈神经网络
使用径向基函数作为隐层神经元激活函数
输出层是隐层神经元输出的线性组合
计算公式 见p108 5.18
常见的 径向基函数 见5.19
经证明：具有足够多隐层神经元的RBF网络能以任意精度逼近任意连续函数。
两步训练RBF：1）确定中心ci 2） 使用BP确定w,c
5.5.2 ART网络
竞争型学习
常用无监督学习策略。
网格的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他被抑制。
ART是竞争型学习的重要代表
由比较层、识别层、识别阈值、重置模块
识别层神经元数目是可以动态增加的。
识别层接到比较层的输入后相互竞争：计算输入向量和每个识别层神经元对应模式代表向量的距离，距离最小者胜，胜者将其余全部抑制。
如果输入向量与获胜者相似度大于阈值，则当前输入样本被归为此类别，同时更新连接权使得 再输入相似样本时，该神经元更容易获胜。
若不大于阈值，则在识别层增设一个神经元，其代表向量为当前输入向量。
5.5.3 SOM网络
竞争学习型的无监督网络，能将高维数据映射到低维空间。
详细没太看懂。。
5.5.4 级联相关网络
结构自适应网络
将网络结构也作为学习的目标之一。
两个主要成分：“级联”，“相关”
训练速度较快，但容易陷入过拟合。
5.5.5 Elman网络
递归神经网络
允许网络中出现递归结构，使得t时刻的输出状态不仅与t时刻的输入有关，还和t-1的网络状态有关，有利于处理和时间有关的动态变化。
Elman网络
5.5.6 Boltzmann机
有一类神经网络 定义了 “能量”
能量最小化时达到理想状态，训练的目的在于最小化这个能量函数。
Boltzman机能量定义式：见p111 5.20
Boltzman机中每个神经元都是布尔型的，只有0，1两种状态。
B机训练过程就是将每个训练样本视为一个状态向量，使其出现的概率尽可能大。
5.6 深度学习
参数越大，容量越大，模型越复杂，越能完成复杂任务，但效率低，容易过拟合
计算能力的提高：缓解效率性
训练数据的增加：降低过拟合风险
所以深度学习就火了
CNN
从另一角度理解：
多隐层堆叠，每一层对上一层进行处理的机制：
通过多层处理，将低层的特征表示转化为高层特征，从而用简单模型即可完成复杂任务。
终于看完神经网络了= = 这个尾巴好长啊
下面进入今天的正题 SVM