神经网络论文Enhancing deep neural networks via multiple kernel learning

Enhancing deep neural networks via multiple kernel learning

发表于 pattern recognition 2020
代码：https://github.com/IvanoLauriola/MKLpy
doi : 10.1016/j.patcog.2020.107194
另搭配 Sci-Hub 食用更佳
Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/
公益科研通文献求助：https://www.ablesci.com/

Highlights:
•We introduce KerNET, which combines Deep Neural Networks and Multiple Kernel learning;
•The framework optimally aggregates the hidden representations of a Deep Neural Network.
•KerNET enables to boost the predictive accuracy of individual Deep Neural Networks.
•KerNET allows to relieve the overfitting problem in deeper architectures.

多核学习：
存在一个函数 φ：X→K，它将数据从输入空间X映射到内核空间K，从而 k（x，z）= {φ（x），φ（z）} ，其中 x，z∈X。

处理内核方法时，最重要的步骤是选择内核函数。通常，使用验证过程从一组预定义函数中为给定任务选择最合适的内核。最近提出了几种直接从数据中学习核函数的方法。流行的内核学习范例是多内核学习（MKL），其目的是将内核作为基本（或弱）内核的原则组合来学习内核。该文已经考虑了基本核的凸组合，即权重向量具有固定1范数（fixed 1-norm）的线性非负组合，即等式1。

其中 k r 是基于第 r 个映射 φr 的核函数，μ 是算法学习的权重向量。

深度神经网络依赖于非线性映射的堆叠序列，该序列提供了越来越复杂的输入数据表示。这种模型执行的计算可以用非线性函数 φnet：X→Y 来描述，该函数将输入数据从输入空间 X 映射到输出空间 Y。在一般深度前馈神经网络FFNN的情况下，该函数可以将 φnet 定义为基本映射函数的组成：

其中ψ1将输入映射到第一个隐藏层，每个后续ψr对从隐藏层 r − 1 到隐藏层 r 进行非线性变换，即：ψr（x）= g（W r x + b），其中 W r 是权重矩阵，b 是偏差矢量，g 是非线性函数。该概念可以轻松地扩展到更复杂的层类型，例如卷积层，其中矩阵乘法由卷积运算符代替。最后，ψout 将表示形式从最高层映射到输出。符号 l 表示架构中的隐藏层数。(普通卷积操作

设 φnet 为 ψ1，… ，ψl 的FFNN基本映射。基于等式2中描述的网络定义。可将 x 在隐藏层 r 的隐藏表示定义为前 r 个基本映射函数的组成，即：

or

φ0（x）= x 表示输入。图1上部的箭头指示由神经体系结构中的连续隐藏层实现的基本映射功能的操作，即 ψ1，…，ψl，其后是输出映射 ψout。这样的映射函数由权重矩阵 W 来参数化。通过基本映射的连续应用执行的计算确定了隐藏层的内部神经表示的发展，如图1下部所示，即 φ1， ，φl 以及初始输入表示 φ0。

图1：神经网络的体系结构描述为将输入与输出层相关联的非线性函数的组合。 φr是第r个隐藏层的内部表示，它是通过非线性变换ψ1，…，ψr的堆叠序列形成的。 W是定义转换的权重矩阵。

在KerNET框架中，中间表示 φr 通过多核学习（MKL）组合。

通常，深层前馈神经网络（FFNN）仅通过使用架构的最后一个隐藏层中计算出的表示（即 φl（x））来执行分类。但是，在输出计算阶段先前的中间表示通常被忽略，我们旨在有效利用输入数据上的不同观点。

不是最后一个隐藏层的表示，而是所有隐藏层的表示组合，可以提高神经网络的性能和泛化能力。（改变网络连接方式

首先训练一个深度FFNN。该阶段包括模型选择步骤，以选择最佳的超参数配置。然后，每个中间表示 φr 包括输入 φ0，用于构建基本核k

最后根据等式1，通过MKL算法将基本内核合并.

结果表示依赖于更丰富的特征空间，根据组合中的贡献，第一层和最后一层都涉及分类。

CNN卷积层的输出不是像以前的体系结构那样的单个矢量，而是一个张量，其形状取决于输入图像的尺寸乘以滤波器的数量。这样，在训练了网络之后，中间表示便被展平以构建内核。去除图像的结构和空间信息的这种平坦化操作不是限制性的。实际上，通常在堆叠的卷积序列之后将平整层应用于网络。

与经典体系结构的主要区别在于，所有层都同时连接到输出。这对应于在输出之前放置的“虚拟”密集层，它由所有先前层（包括输入层）的串联组成。这样，保留了具有不断增加的复杂性表示的深层体系结构，但允许输出计算（即最终预测）利用来自整个网络的信息。

（与语义分割的FCN结构类似
与FCN之间存在一些差异。首先，FCN通过逐元素加法而不是级联来组合层。其次，FCN结合了池化层而不是flatten的卷积。最后，虽然最初是针对语义分割性质的任务引入FCN方法的，但在此我们考虑一般分类任务的情况。