稀疏编码/ICA模型---MRF统计结构

传统的稀疏编码（最近几年引入先验知识学习字典）、ICA等模型的特征映射学习未引入图像先验信息，仅考虑图像块，未考虑一幅图像中图像块与其周围图像块的统计关系，致使学习映射不够丰富，同时在组合（Pool operation）时，形成的鲁棒性特征仅仅局部，未能形成整幅图像或大图像块的统计结构。如何形成整体或大局部的统计特性呢？

1）基于子空间估计方法。如子空间为2的ISA模型（2011年文献）、TICA模型、TCNN模型等,这些方法使学习的映射受到了很大的约束,正交约束过于严格，学习滤波器不够完备，同时Pooling operation（最大池、平均池、尺度池（TICA、TCNN就是一种尺度池），池的结构过于规则化）结构致使复杂神经元受到约束，复杂神经元的感知与是多样性的。最近有文献（1篇）引入Coupla技术，估计子空间。这种方法在金融投资风险领域得到了大量采用并取得了好的实验结果。

2）基于EOF模型的MRF是一种引入图像先验信息的方法，为我们提供了有利的学习映射框架，但是该模型存在的问题是学习过程需要花费时间。目前基于该模型的学习算法主要有：CD(2002)、score matching(2005)、minimum velocity learning(2008)。

Our probabilistic approaches to an understanding of natural images can be distinguished into three categories:

1. Patch-based approaches In this approach, we try to learn something about the statistics of natural images by fitting probabilistic models to small image patches. Some of these models are deep belief networks, hierarchical ICA and mixture of elliptically contoured distributions.
2. Markov random field approaches A useful constraint for searching the space of possible distributions is shift-invariance (or stationarity). Under the assumption of stationarity the problem of joint density estimation reduces to the estimation of a conditional density. Following this approach, we proposed the mixture of conditional Gaussian scale mixtures.
3. Multi-scale approaches The idea behind this approach is to linearly transform the data from the pixel space to a space that makes the statistical modeling easier. A very natural representation of images is the multi-scale representation, which separates coarser information of an image from its finer details. For example, we use the steerable pyramid for synthesizing natural textures.

CD算法在数据分布逼近模型分布时存在的问题是需要足够多的训练时间。为了加快训练速度，2008年出现了PCD算法，2009年FPCD算法，另外有些学者从采样器着手研究好的采样算法，避免双峰或多峰分布函数问题，能够有效的加速梯度下降算法。

绕过采样传统方法很难解决的问题：

WELLING M. Herding Dynamic Weights for Partially Observed Random Field Models.[C]//. BILMES J, NG A Y. UAI.[S.l.]: AUAI Press, 2009:599–606.

WELLING M. Herding dynamical weights to learn[C]//Proceedings of the 26th Annual International Conference on Machine Learning. 2009. New York, NY, USA: ACM, ICML ’09.

3）.重叠块采样训练获取学习特征或映射

这种方法同引入先验概率类似，可以学习到过完备字典，引入冗余信息。

4).2010年出现了卷积匹配追踪算法（CMP）

 

总结：学习过完备字典或非过完备字典各有各的好处，同时各有各的不足。