BIM（biologically inspired model）小结

BIM（biologically inspired model）小结

1. 模型相关

1.1 Thomas Serre（MIT）

Publication:

Object recognition with features inspired by visual cortex (CVPR2005)

Robust Object Recognition with Cortex-Like Mechanisms (PAMI-07)

内容：主要讲C2 features

S1(Gabor) ——C1(local max)——S2(computing, learning)——C2(global max)

实验：检测物体是否存在。

DataSets；MIT_CBCL datasets , Caltech-101

Linear SVM + gentle adaboost

Object detection：in clutter, without clutter, of texture based objects(buildings ,trees, roads, skies)

Scene understanding: Objects分为：texture-based和shape-based。

源码：

可下载，已跑通，比较熟悉。

1.2 Jim Mutch（MIT）:作者是Serre的师弟，将BIM用于物体识别和定位。

Publication:

Multiclass Object Recognition with Sparse, Localized Features（CVPR 06）

Object class recognition and localization using sparse features with limited receptive fields(IJCV 08)

内容：对Serre的BIM模型提出了改进，主要包括

Sparsify S2 inputs.（选主方向）

Inhibit S1/C1 outputs. （设阈值）

Limit position/scale invariance of S2 features.

Select features that are highly weighted by the SVM.

实验：多类物体分类问题

（1） Multiclass 实验（caltech 101）,主要讲参数的选择。

（2） 检测和定位：features(BIF), 滑动窗算法（PAMI 04）。

（3） 定位实验：Graz-02（IJCV）。

源码：可下载，已跑通。

1.3 Yongzheng Huang（Institute of Automation）：EBIM

Publication:

Enhanced Biologically Inspired Model (CVPR2008)

Enhanced Biologically Inspired Model(SMC 11)

内容：针对BIM的缺点（a very heavy computational cost due to dense input, a disputable pooling operation in modeling relations of the visual cortex, and blind feature selection in a feed forward framework.）进行了改进，主要有

（1） sparsity constraints

（2） local weighted sum（SMC 中将这部分去掉了）

（3） feedback: boosting+ SVM

实验：物体识别和检测

Datasets: Caltech 5, MIT-CBCL street scene, the GRAZ , the PASCAL 07

SMC中Discussion部分分析的很好，对Serre BIM，Mutch BIM和EBIM做了对比。EBIM用梯度去了噪声，再用boosting+svm的方法减少Patch的数量。而不是像Mutch那样去除了一些信息。

2. 应用相关

2.1 Guodong Guo, Yun Fu (UIUC)

Publication:

Human Age Estimation Using Bio-inspired Features(CVPR 09)，重点读了一下

A Study on Automatic Age Estimation using a Large Database(ICCV 09)

CVPR的内容：

C1 + feature dimension reduction + statistical learning

主要改进之处，在文章的” Studies of Improvement”部分讲的很清楚。

C1 vs. C2 features

The number of bands and orientations

Filter banks starting from 5 × 5 vs. 7 × 7

“STD” vs. “MAX”

Dimensionality reduction by PCA

2.2 Ethan Meyers（MIT）

Publication: Using Biologically Inspired Features for Face Processing（IJCV 08）

内容：

（1） 在S1前：center-surround

（2） 由C1到S1时进行了线性加权(KR-RCA)

2.3 Dacheng Tao (University of Technology, Sydney)

2.3.1 Yang Mu

Publication:

Biologically Inspired Tensor Features (Cogn Comput 09)

Biologically inspired feature manifold for gait recognition(Neurocomputing 10)

Biologically Inspired Model for Crater Detection (IJCNN 11) 重点读了一下

IJCNN 11主要思路：

C1（location, scale invariance） + Harr (rotation invariance) + 降维（Discriminative locality alignment ，DLA）

实验：Crater detection等

2.3.2 Dongjin Song

Publication:

C1 Units for Scene Classification (ICPR 08)

DISCRMINATIVE GEOMETRY PRESERVING PROJECTIONS (ICIP 09)

Biologically Inspired Feature Manifold for Scene Classification (TIP 10) 重点读了一下

TIP 主要内容：

将BIF用于场景分类，由三部分组成：

1） BIF: intensity,color(itti的方法)，C1 features

2） DGPP：自己提出的降维方法，既保存了判别信息，又能去噪声，并在实验部分与其他降维方法进行了比较。

3） SVM，做判别。

实验：Baseline (Siagian and Itti )

2.4 Kaiqi Huang (Institute of Automation)

Publication:

Biologically Inspired Features for Scene Classification in Video Surveillance（SMC 11）

主要内容：

用到Gabor，涉及场景分类比较多，也用到了显著性的概念。

3. 自己的实验

3.1 先提显著性图，再做Gabor变换。想加快速度并提高识别率。结果速度有提升，识别率有些类别提升了，部分类别下降了。

3.2 用std替换max操作。识别率在Caltech 101库上下降了。

3.3 用EBIM中的梯度阈值做了实验：

速度是之前的两倍，识别率并没有稳定提升。

4. 心得

自己的积淀不够，就只能做一些“偷梁换柱”的工作。不过，Guodong Guo只是将BIM用在年龄估计上，改了改参数，就发了CVPR，着实让我小小吃惊了一下。

花了一个半月时间在BIM上，本来还想加入特征的空间关系或者在pooling上做一些工作，现在基本决定放弃了。一方面：BIM这个框架有点老，现在好的框架很多。另一方面：想找一些细一点的方向，这样好突破。

BIM的意义：

a. BIM对位置和尺度变化有一定的容忍度，这个值得借鉴。

b．如果能像Guodong Guo那样找到BIM好的应用，性能的确比state-of-art的好，也是一个突破口。