西瓜书---读书笔记5-6章--神经网络和支持向量机

平时做项目会用到神经网络还有svm~所以写的比较简略，因为论文里面以前就写过蛮多关于这些的，自己比较熟悉（自认为），所以简单复习一下啦~

5 神经网络

定义：神经网络是具有适应性的简单单元组成的广泛而互联的网络，它的组织可以模拟生物神经系统对真实世界物体所做出的交互反映。

 

历史：

神经元模型：m-p神经元模型，1943被提出。

 

感知机：只有输入输出两层，且只在输出层有激活函数，输入层只负责接收数据。但是如果遇到非线性可分问题（没有超平面可以将多类模式分开），感知机就无法处理。所以需要考虑多层功能神经元，即多层前馈神经网络。

 

多层前馈神经网络：前馈的意思是没有环路，网络中信号不能后传。BP（反向传播）是其中最杰出的代表。基于梯度下降策略，以目标的负梯度方向进行参数调整。

标准bp算法：每次只针对单个样例。参数更新频繁。

累计bp算法：直接对累计误差进行最小化，读取整个训练集后才会更新对参数进行更新。

由于过强的表示能力，bp神经网络容易过拟合。

全局最小，局部最小值。

 

梯度下降算法也分三类：

Batch（批量梯度下降算法）：每次迭代都会使用全部样本，进行参数的频繁更新。

 

随机梯度下降：加入了随机因素，和标准梯度下降算法不同的是更新迭代参数时，随机梯度下降只选择了一个样本来更新。所以虽然准确率下降但是可以避免陷入局部最优。

 

小批量梯度下降算法：选择batch_size,进行梯度下降。

 

常见的其他神经网络。108页，介绍了挺多以前没怎么听说过的无监督学习的神经网络。级联相关神经网络还挺有意思的，不用自己提前设置隐藏层，自己运算出隐藏层个数和层数。

深度学习（特征学习和表示学习）：通常有7、8层以上的隐藏层。

 

6 支持向量机

原理：找到能够一个划分超平面，使得不同类的数据元素之间的间隔最大。

 

公式121页，书上讲解的非常好理解！！！！作者太厉害了！！！讲的是svm的基本型。

所以最后svm的求解公式就是：

min1/2||Ω||^2

然后作者解释了一大堆公式来计算，加入拉格朗日算子得到对偶问题，公式就被转换了，然后使用了smo方法来求解。（大概步骤是这样，公式我仔细看了n编还是看不懂，我选择放弃，不要自寻烦恼。）

 

支持向量的意思就是，划分超平面的间隔的边界，离这个边界最近的点可以使这个划分超平面的边界公式成立，这个成立的公式就叫做支持向量。（我自己的理解）

 

核函数：非线性可分问题，将样本映射到更高维的空间，居然就能线性可分了，太厉害！

又是一大堆公式，步骤是映射到高维空间后，计算对偶问题，然后对偶问题的公式中有一坨子用核函数（核技巧）来代替。意思是在高维空间中的内积，用原始空间中的一个函数来代替，这个函数就叫做核函数。核函数的选择有很多，要根据实际问题来进行选择。

核化（引入核函数）来将线性学习器拓展为非线性学习器。

 

支持向量回归：假定了一个隔离带，只要预测值落在在超平面的隔离带中，误差就判定为0。

支持向量机与1995年，在文本分类器任务中显示出卓越性能，很快成为了机器学习的主流，直接掀起了统计学习的高潮。