Deep learning：二十(无监督特征学习中关于单层网络的分析)

 

　　本文是读Ng团队的论文” An Analysis of Single-Layer Networks in Unsupervised Feature Learning”后的分析，主要是针对一个隐含层的网络结构进行分析的，分别对比了4种网络结构，k-means, sparse autoencoder, sparse rbm, gmm。最后作者得出了下面几个结论：1. 网络中隐含层神经元节点的个数，采集的密度（也就是convolution时的移动步伐）和感知区域大小对最终特征提取效果的影响很大，甚至比网络的层次数，deep learning学习算法本身还要重要。2. Whitening在预处理过程中还是很有必要的。3. 在以上4种实验算法中，k-means效果竟然最好。因此在最后作者给出结论时的建议是，尽量使用whitening对数据进行预处理，每一层训练更多的特征数，采用更密集的方法对数据进行采样。

　　NORB：

　　该数据库参考网页：http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/index.html。该数据库是由5种玩具模型的图片构成：4只脚的动物，飞机，卡车，人，小轿车，由于每一种玩具模型又有几种，所以总共是有60种类别。总共用2个摄像头，在9种高度和18种方位角拍摄的。部分截图如下：

 　　

　　CIFAR-10：

　　该数据库参考网页：http://www.cs.toronto.edu/~kriz/cifar.html。这个数据库也是图片识别的，共有10个类别，飞机，鸟什么的。每一个类别的图片有6000张，其中5000张用于训练，1000张用于测试。图片的大小为32*32的。部分截图如下：

 　　

　　一般在deep learning中，最大的缺陷就是有很多参数需要调整，比如说学习速率，稀疏度惩罚系数，权值惩罚系数，momentum(不懂怎么翻译，好像rbm中需要用到)等。而这些参数最终的确定需要通过交叉验证获得，本身这样的结构训练起来所用时间就长，这么多参数要用交叉验证来获取时间就更多了。所以本文得出的结论用kmeans效果那么好，且无需有这些参数要考虑。

 

　　下面是上面4种算法的一些简单介绍：

　　Sparse autoencoder:

　　其网络函数表达式如下：

 　　

　　Sparse RBM:

　　和Sparse auto-encoder函数表达类似，只不过求解参数时的思想不同而已。另外在Sparse RBM中，参数优化主要用CD（对比散度）算法。而在Sparse autoencoder在参数优化时主要使用bp算法。

　　K-means聚类：

　　如果是用hard-kmeans的话，其目标函数公式如下：

 　　

　　其中c(j)为聚类得到的类别中心点。

　　如果用soft-kmeasn的话，则表达式如下：

 　　

　　其中Zk的计算公式如下：

 　　

　　Uk为元素z的均值。

 

　　GMM：

　　其目标函数表达式如下：

 　　

　　分类算法统一采用的是svm。

　　当训练出特征提取的网络参数后，就可以对输入的图片进行特征提取了，其特征提取的示意图如下所示：

　　

 

　　实验结果：

　　首先来看看有无whitening学习到的图片特征在这4种情况下的显示如下：

 　　

　　可以看出whitening后学习到更多的细节，且whitening后几种算法都能学到类似gabor滤波器的效果，因此并不一定是deep learning的结构才可以学到这些特性。

　　下面的这个曲线图表明，隐含层节点的个数越多则最后的识别率会越高，并且可以看出soft kmeans的效果要最好。

 　　

　　从下面的曲线可以看出当stride越小时，效果越好，不过作者建议最好将该参数设置为大于1，因为如果设置太小，则计算量会增大，比如在sparse coding中，每次测试图片输入时，对小patch进行convolution时都要经过数学优化来求其输出（和autoencoder，rbm等deep learning算法不同），所以计算量会特别大。不过当stride值越大则识别率会显著下降。

 　　

　　而这下面这张图则表明当Receptive filed size为6时，效果最好。不过作者也认为这不一定，因为如果把该参数调大，这意味着需要更多的训练样本才有可能体会出该参数的作用，因此这个感知器区域即使比较小，也是可以学到不错的特征的。

 　　

 

　　参考资料：

　　An Analysis of Single-Layer Networks in Unsupervised Feature Learning, Adam Coates, Honglak Lee, and Andrew Y. Ng. In AISTATS 14, 2011.

     http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/index.html

     http://www.cs.toronto.edu/~kriz/cifar.html