树卷积神经网络Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

一、简介：

学习深度学习的人都知道，深度学习有一个严重的问题——“灾难性遗忘”，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据集识别的能力。为解决这一问题，本文作者提出了树卷积神经网络Tree-CNN，通过先将物体分为几个大类，然后再将将各个大类依次进行划分，就行树一样不断的开枝散叶，最终叶节点得到的类别就是我们最终所要识别的类别。

二、网络结构及学习策略

1、网络结构

Tree-CNN模型借鉴了层分类器,树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的ID、父亲(Parent)及孩子(Children)，网(Net，处理图像的卷积神经网络)，LT("Labels Transform"小编理解的就是每个节点所对应的标签，对于根节点和枝节点来说，可以是对最终分类类别的一种划分，对于叶节点来说，就是最终的分类类别。)，其中最顶部为树的根节点。如图1所示，对于一张图像，首先会将其送到根节点网络去分类得到“super-classes”，然后根据所识别到的“super-classes”，然后根据根分类器得到的类别将图像送入对应的节点去作进一步的分类，得到一个更“具体”的类别，依次进行递归，知道分类出我们最终想要的类。其实小编感觉这就和人的识别过程相似，例如有下面一堆物品：数学书、语文书、物理书、橡皮、铅笔。如果要识别物理书，我们可能要经历这样的过程，先在这一堆中找到书，然后可能还要在书里面找到理科类的书，然后再从理科类的书中找到物理书，同样我们要找铅笔的话，我们可能需要先找到文具类的物品，然后再从中找到铅笔。如图1所示。

图 1

2、学习策略

（1）、在识别方面，Tree-CNN的思想基于很简单啦。如图1，主要就是从根节点出发，输出得到一个图像属于各个大类的概率，根据最大概率所对应的位置将识别过程转移到下一节点，这样最终我们能够到达叶节点，叶节点对应得到的就是我们要识别的结果啦。整个过程如图2所示。

图 2

（2）、要说按照上面的思路去做识别，其实并没有什么太大的意义，不仅使识别变得很麻烦，而且在下面的实验中也证明了采用该方法所得到的识别率并不会有所提高，那么这篇论文的意义在哪呢？对，这篇论文最主要的目的就是要解决咱们在前面提到的“灾难性遗忘问题”，即文中所说的达到“lifelong”的效果。

对于新给的类别，我们将这些类的图像输入到根节点网络中，根节点的输出为，其中K、M、I分别为根节点的孩子数、新类别数、每类的图像数。然后利用式（1）来求得每类图像的输出平均值，然后使用softmax来计算概率情况。根据概率情况来表示该类与根节点下面的子类的相似情况。然后按照对于第m类来说，我们按照其概率分布的情况来排列，得到公式（3）。

根据根节点得到的概率值的分布，文中对下面三种情况进行了讨论。

(a)、当输出概率中最大概率大于设置的阈值，那就说明该类别和该位置对应的子节点有很大的关系，因此将该类别加到该子节点上。

(b)、若输出概率中有多个概率值大于设置的阈值，就联合多个子节点来共同组成新的子节点。

(c)、如果所有的输出概率值都小于阈值，那么就为新类别增加新的子节点，这个节点是一个叶节点。

同样，我们将会对别的枝节点继续上面的操作。通过上面的这些操作，实现对新类别的学习，文中称这种学习方式为incremental/lifelong learning。

三、实验设计及分析

在这部分，作者分别针对CIFAR-10及CIFAT-100数据集上进行了测试。

1、实验设计

（1）、CIFAR-10

在CIFAR-10的实验中，作者选取6类图像作初始训练，其中作者又将六类中的为汽车、卡车、卡车设定为交通工具类，将猫、狗马设为动物类，因此构建出的初始树的结构如图3（a）所示，具体网络结构如图5所示，根节点网络是包含两层卷积两层池化的卷积神经网络，枝节点是包含3层卷积的卷积神经网络。当新的类别出现时（文中将CIFAR-10另外4个类别作为新类别），按照2中的学习策略，我们先利用根节点的网络对四种类别的图片进行分类，得到的输出情况如图4所示，从图中可以看出，在根节点的识别中Frog、Deer、Bird被分类为动物的概率很高，Airplane被分类为交通工具的概率较高。根据二中2的策略，Frog、Deer、Bird将会被加入到动物类节点，同样Airplane将会被加入到交通工具类节点。经过incremental/lifelong learning后的Tree-CNN的结构如图3（b）所示。具体训练过程如图6所示。

图 3

图 4

图 5

图 6

作者为了对比Tree-CNN的效果，作者又搭建了一个包含4层卷积的神经网络，并分别通过微调全连接层、全连接+conv1、全连接+conv1+conv2、全连接+conv1+conv2+conv3、全连接+conv1+conv2+conv3+conv4来进行微调。

（2）、CIFAR-100

对于CIFAR-100数据集来说，作者将100类数据分为10组，每类又分为10类，一类为initial training数据,包含10类。另一部分为incremental learning，包含9组90类。在网络方面，作者将根节点网络的卷积层改为3，此外改变全连接层的输出数目。枝节点也并未对网络进行很大改动。

2、实验结果分析

在这部分，作者通过设置两个参数来衡量Tree-CNN的性能。

其中Training Effort可以表示incremental learning的网络的更改层度，即可以衡量“灾难性遗忘”的程度，参数改变的程度越高，遗忘度越强。

图7(a)比较了在CIFAR-10上微调网络和Tree-CNN的效果对比，可以看出相对于微调策略，Tree-CNN的Training Effort仅比微调全连接层高，而准确率却能超出微调全连接层+conv1。这一现象在CIFAR-100中表现更加明显，从图7(b)及8(a)中可以看出Tree-CNN的准确率已经和微调整个网络相差无几，但是在Training Effort上却远小于微调整个网络。

(a)                                                      (b)

图7 

(a)                                                      (b)

图8

此外从图8(b)中可以看出，在各个枝节点中，具有相同的特性的类被分配在相同的枝节点中。这一情况在CIFAR-100所得到的Tree-CNN最终的结构中更能体现出来。如图9所示，除了一些叶节点外，在语义上具有相同特征的物体会在同一枝节点下。

图 9

个人评论

我认为本文虽然在一定程度上减少了神经网络“灾难性遗忘”的问题，但是从整篇文章来看，本文并没能使网络的识别准确率有所提升，反而相对于微调整个网络来说，准确率还有所降低。此外，本文搭建的网络实在太多，虽然各个网络的网络结构比较简单，但是调节网络会很费时。