话说上一次写这个笔记是13年的事情了···那时候忙着实习,找工作,毕业什么的就没写下去了,现在工作了有半年时间也算稳定了,我会继续把这个笔记写完。其实很多章节都看了,不过还没写出来,先从第5章开始吧,第2-4章比较基础,以后再补!
在第3章和第4章,我们已经学过线性的回归和分类模型,这些模型由固定的基函数(basis functions)的线性组合组成。这样的模型具有有用的解析和计算特性,但是因为维度灾难(the curse of dimensionality)(即高维数据)的问题限制了它们的实际的适用性。为了把这些模型应用在大数据的问题中,我们必须根据数据来调整这些基函数。
在第七章中会讨论SVM,是一个非常著名和有效的分类方法。SVM有其独特的方法理论,并且其一个重要的优点是:虽然涉及非线性优化,但是SVM本身的目标函数依然是convex的。在本章中不具体展开,第七章中有详述。
另外一个办法是虽然提前固定基函数的数量,但是允许它们在在训练的过程中调整其参数,也就是说基函数是可以调整的。在模式识别领域,该方法最为典型的算法是本章节将会讨论 的前向神经网络(feed-forward neural network,后面简称NN),或者称为多层感知器(multilayer perceptron)。(注:这里多层模型是连续的,如sigmoid函数,而perceptron方法原本是不连续的;perceptron方法在PRML书中没有介绍,后面根据其他的资料单独写一篇)。很多情况下,NN训练的模型相比具有相同泛化能力的SVM模型更紧凑(注:我理解是参数更少),因此跟容易评估,但是代价是NN的基函数不再是训练参数的convex函数。在实际中,在训练中花费大量计算资源以得到紧凑的模型,来快速处理新数据的情况是可以接受的。
接下来我们会看到,为了得到神经网络的参数,我们本质上是做了一个最大似然估计,其中涉及非线性优化问题。这需要对log似然函数针对参数求导数,我们后面会讲一下误差反向传播算法(error backpropagation,BP),以及BP算法的一些扩展方法。
在第3章和第4章中通论的线性模型,是基于固定的基函数的线性组合,形式为:
其中,f()在分类问题中是一个非线性的激励函数,而在回归模型中是单位矩阵identity。我们的目标是把上面的模型中的基函数变得依赖于参数,并且在训练的时候这些参数以及上面的wj都是可调整的。基函数的形式自然有很多种,神经网络的基函数采用和(5.1)相同形式,因此每个基函数本事就是一个关于input线性组合的非线性函数,线性组合中的参数是可以调整的参数。这就是基本的神经网络的思想,由一系列函数转换组成:首先我们构造针对输入变量的M个线性函数
其中j=1,…,M,上标(1)表示参数是神经网络第一层的参数(input不算层)。我们称参数为权重weights,而参数是截距biases。称为激励(activation),会通过一个可导的非线性激励函数h()转换成:
这些M个函数值就是(5.1)中的基函数的输出,在神经网络模型中,称之为隐含层单元(hidden units)。非线性激励函数h()通常的选择是sigmoid函数或者是tanh函数。根据(5.1),这些值会再一次线性组合成output单元的激励值,
其中k=1,…,K,K是output单元数量。这个转换是神经网络的第二层,是bias参数。最终,这些output单元的激励值会再由合适的激励函数转换成合适的最终输出。和上面的提到的类似,如果是要做回归问题,激励函数我们选择identity,即;如果是做多个2分类问题,我们采用logistic sigmoid function:
如果是多个类别的分类问题,我们采用softmax函数,见PRML书公式(4.62)。
于是,我们把所有阶段都组合起来,可以得到总体的神经网络函数(采用sigmoid output单元,两层网络,如下面图5.1):
因此,神经网络模型就是一个非线性函数,从输入的变量集合到输出的变量集合,并且由可调整的参数向量w来控制。网络的结构可以见图5.1,整个网络是向前传播的。
我们可以专门增加x0=1和z0=1两个变量输入,这样可以把bias(偏移、截距)项合并到累加里面,简化了表达,因此可以得到:
以及:
下面的推导会用(5.9)的形式。如果看过第四章关于感知机(perception)的介绍,就会发现上面的形式就相当于用了两层的感知机模型,也是因为这样,神经网络模型也被称为多层感知机(the multilayer perceptron, or MLP)模型。区别是感知机模型采用输出0/1的步长函数(step-function),而NN采用连续的如sigmoid这样的非线性函数在中间的隐藏层单元,说明NN对于参数是可导的,这一点在NN模型的训练中很重要。
如果隐层单元的激励函数都是采用线性的,那么不管连续几层,最终模型还是一个线性模型。而且如果隐层单元比输入单元或者输出单元少的话,那么就会有信息损失,类似于在隐层做了一次数据降维。目前来看,很少有人关注多层线性单元的神经网络模型。上面图5.1是一个最为典型的NN模型结构,它可以很容易的得到拓展——继续把输出层作为隐层,并增加新的层次,采用和之前一样的函数传递方法。业界在称呼NN模型的层次上有一些统一,有些人把图5.1叫做3层网络,而在本书中更推荐这个模型为2层,因为参数可调的层只有2层。
另外一种对模型的泛化方法是像图5.2这样,input的节点可以直接连接到output,并不一定需要一层一层传递。(注:这样的NN结构更广义,优化的时候BP也一样可以应付,但是是怎么产生这些越层连接的呢?这一点书中没有展开,不知道这样的模型在深度网络结构中有没有应用呢?有同学看到一定要留言告知哈~)
另外一个很重要的性质,NN模型可以是稀疏的,事实上大脑也是这样的,不是所有的神经元都是活跃的,只有非常少的一小部分会活跃,不同层的神经元之间也不可能是全连接的。后面再5.5.6节中,我们将看到卷积神经网络采用的稀疏网络结构的例子。
我们自然可以设计出更复杂的网络结构,不过一般来说我们都限定网络结构为前向网络,也就是说不存在封闭的有向环,可以见图5.2表示的那样,每一个隐层单元或者是输出单元可以通过下面计算得到:
于是,当有输入时,网络中的所有单元都会逐步被影响进而激活(也有可能不激活)。神经网络模型有很强的近似拟合功能,因此也被称为universal approximators.
事实上两层的NN模型就可以拟合任意function,只要隐层单元足够多以及参数训练的足够好。下面的图5.3说明了NN模型的拟合能力。解释请看图左边的描述。
这是前向网络一个有趣的性质,比如我们来看图5.1这样的典型两层网络,考察一个隐层单元,如果我们把它的输入参数的符号全部取反,以tanh函数为例,我们会得到相反的激励函数值,即tanh(−a) = −tanh(a)。然后把这个单元所有的输出连接权重也都取反,我们又可以得到相同的output输出,也就是说,实际上有两组不同的权值取值可以得到相同的output输出。如果有M个隐层单元,实际上有2M种等价的参数取值方案。
另外,如果我们把隐层的两个单元的输入输出权重互相间调换一下,那么整个网络最终output是一样的,也就是说任何一种权重的取值组合是所有M!中的一种。可见上面这样的神经网络居然有M!2M的权值对称性可能。这样的性质在很多激励函数都是有的,但是一般来说我们很少关心这一点。