从特征表示到深度学习

最近一直在学习特征表达和学习的理论基础，从稀疏编码到卷积神经网络，直到最近很火的深度学习，感觉有那么些启发。特此记录一下学习新得。

图像特征的表达从开始的像素表示，到后来像素特征组成的特征描述子（sift， surf， hog等）都是为了寻找最有效的信息表达，如何将特征进行加工和处理得到更加深入层次的表示是研究重点。看看VOC2010（打开：链接）的发布结果，里面包含最近几年有关机器视觉各个方向的成果。总结这些方法，基本上就那些图像特征的使用（dense SIFT+Spatial Pyramid），然后就是乱七八糟的融合了，归结都低就是Multiple Kernel Learning以及一些近似的算法。多核就是融合多特征、多模型，起到互补的作用，相关的可以了解集成学习、多分类器系统、多核学习的内容。

尽管如此，deeplearning 作为新的革命诞生了，原理启发于神经科学，人脑对信息的多层逐步递增处理的模式。绕开众多unlabel 数据的标记难度，字节将底层的特征作为输入，每层将学习到的特征作为下一层的输入，如此，经过网络逐层递增的学习，得到最终highlevel的features。关于深度学习的资料可以参考我前面的文章：深度学习资料汇总（全）。

深度学习的几种典型形式包括：稀疏编码。深度置信网，受限玻尔兹曼机。卷积神经网络等，作为特殊的神经网络，相对于以前的BP网络在训练和优化问题上做了很多改进，包括信息的稀疏表示等restrains。有关手册可以参见：深度学习手册链接，附带余凯的一个视频讲解：余凯深度学习视频链接