Discriminative unsupervised feature learning with convolutional neural networks

NIPS2014

思路：

将unlabeled 图像进行旋转、平移、增强等操作，组成不同的数据集合（同一图像生成的图像为同一数据集合）。利用CNN 将不同数据集合区分开。

目标：

区分不同图像，保证平移等变换的鲁棒性。

网络结构：

small: two convolutional layers with 64 filters each followed by a fully connected layer with 128 neurons.

large: three convolutional layers with 64,128,256 filters  respectively followed by a fully connected layer with 512 neurons.

kernel size: 5*5

2*2 max pooling after the first two convolutional layers

dropout was applied to the fully connected layers

code and training data : codes .

流程：

feature-map->pooling->svm

pooling: 1) 4 -quadrant max-pooling 2) 3-layer spatial pyramid, i.e. max-pooling over the whole images as well as within 4 quadrants and within the cells of a 

                4*4 grid    (1+4+16) 空间金字塔池化

结果：

比其他无监督特征学习结果要好，但是整体比监督学习略差

讨论：

1. 子类别数量（图像数量）。

     50-8000，监测正确率随类别数增加而增加。 8000-32000， 保持不变甚至降低

     网络增大时，最优类别数增加，直至饱和。（算法不足之处：最优类别数不定）

2. 每个子类别中图像数量

   1-300. 检测正确率先增加（100）后饱和。

3. 变化类型

    旋转和缩放影响较小，平移，颜色变化和对比度变化影响较大

4.学习特征的不变性

   第三层和最终的pooling层学习到的特征和HOG相似

不足之处：

1.对于不同数据集和网络结构，最优类别数不定

2.所学习到的特征不变性较为简单

feature-map->pooling->svm

pooling: 1) 4 -quadrant max-pooling 2) 3-layer spatial pyramid, i.e. max-pooling over the whole images as well as within 4 quadrants and within the cells of a 

                4*4 grid    (1+4+16) 空间金字塔池化