行人检测“Pedestrian Detection with Unsupervised Multi-Stage Feature Learning”

主要思想：
1.结合多步的全局特征及局部特征用来分类
2.使用卷积稀疏编预训练滤波器

现有的方法：
手动提取特征，如ICF，HOG及其变形和组合，使用可训练的分类器如SVM，boosted classifier或随机森林分类。
深层网络非监督预训练方法，包括RBM,stacked auto-encoders,stacked sparse auto-encoders.
非监督学习可以用来训练深层网络，文章使用前一层的输出，在每层训练了一个广义非监督模型，之后使用标记信息对多层系统进行有监督的更新。

分层模型
使用广义参数函数可以将输入映射到更高层的表示，文章使用稀疏卷积分层特征，每层的非监督模型包含一个卷积稀疏编码算法和一个预测函数。

非监督学习
稀疏编码能够从特征中提取有用的特征表示，稀疏编码是一个线性重建模型，使用overcomplete字典 D∈Rm×n ，以及一个对混合系数z的规格化惩罚：
z∗=argminz||x−Dz||22+λs(z) （1）
目标是获得对应输入的最优稀疏表示，s(z)的具体形式取决于稀疏编码算法，文中使用 ||⋅||1 范数，并根据字典D最小化公式（1）
z∗,D∗=argminz,D||x−Dz||22+λ||z||1
许多人使用稀疏字典学习表示图像，文中使用[20]提出的CPSD模型构建多级特征表示，形式与单层ConvNet类似：
f(x;g,k,b)=z^=z^jj=1...n
z^j=gj×tanh(x⨂kj+bj)
预测结果 z^j 是一系列特征图，灰度图像的卷积非监督能量为：

非监督学习是一个两步的坐标下降过程：
(1)Inference:参数 W=D,g,k,b 固定，最小化公式6获得最优的稀疏表示 z∗
(2)Update:固定 z∗ ，使用随机梯度更新权值W

每层的非监督训练算法为：

算法1的预测函数为：
（8）
使用反向图P进行重建：
（9）

非线性变换
包括absolute value rectification, local contrast normalization
and average down-sampling operations
训练N步多层模型的算法为：

多级特征
将低层输出分支到高层分类器，生成的特征可以同时提取全局特征及局部信息，如下图所示，第一级的输出在非线性变换，池化和下采样后产生分支。

实验结果
使用两个评价指标，错误率&虚警率，及Area Under Curve评价了几种不同方法的结果，包括ConvNet with variants of unsupervised (Convnet-U) and fullysupervised
training (Convnet-F) and multi-stage features (Convnet-U-MS and ConvNet-F-MS)，结果对比如下：