多核学习总结

什么是核：(核或正定核)  定义在上的函数是核函数，如果存在一个从到Hilbert空间的映射

                                               (1.1)

使得对任意的，

                                          (1.2)

都成立。其中表示Hilbert空间中的内积。

多核学习的本质就是用K个核函数凸组合代替上述的单个核函数且满足

k≥O且 ,k=1，2，．．．，K。可用来理解样本的哪个特征能更有效地区分样本。

多核学习的优点

当样本特征含有异构信息(Heterogeneous information),样本规模很大, 多维数据的不规则(Unnormaliseddata)或数据在高维特征空间分布的不平坦, 采用单个简单核进行映射的方式对所有样本进行处理并不合理。

多核学习的研究

多核模型是一类灵活性更强的基于核的学习模型, 在多核框架下, 样本在特征空间中的表示问题转化成为基本核与权系数的选择问题。

研究人员大都研究（1）核函数权系数的选择问题。如非平稳的多核学习方法, 局部多核学习方法,非稀疏多核学习方法等（2）多核学习理论。如早期的基于Boosting的多核组合模型学习方法, 基于半定规划(Semide¯nite programming, SDP) 的多核学习方法, 基于二次约束型二次规划(Quadratically constrained quadratic program, QCQP)的学习方法, 基于半无限线性规划(Semi-in¯nitelinear program, SILP)的学习方法, 基于超核(Hyperkernels)的学习方法, 以及近来出现的简单多核学习(Simple MKL)方法和基于分组Lasso思想的多核学习方法。

多核学习的算法流程

多核学习缺点：

尽管多核学习在解决一些异构数据集问题上表现出了非常优秀的性能，但不得不说效率是多核学习发展的最大瓶颈。首先，空间方面，多核学习算法由于需要计算各个核矩阵对应的核组合系数，需要多个核矩阵共同参加运算。也就是说，多个核矩阵需要同时存储在内存中，如果样本的个数过多，那么核矩阵的维数也会非常大，如果核的个数也很多，这无疑会占用很大的内存空间。其次，时间方面，传统的求解核组合参数的方法即是转化为SDP优化问题求解，而求解SDP问题需要使用内点法，非常耗费时间，尽管后续的一些改进算法能在耗费的时间上有所减少，但依然不能有效的降低时间复杂度。高耗的时间和空间复杂度是导致多核学习算法不能广泛应用的一个重要原因。

 参考文献：多核学习方法

基于多核学习的高性能核分类方法研究