深度学习的一些感悟记录

深度学习的一些感悟记录

最近阅读王戈教授（Ge Wang，PhD，IEEE Fellow）的文章A perspective on deep imaging，文中主要着墨于深度学习在data-to-image的过程，提出了对深度学习原理的一些想法，因此我也有一些感悟记录。

背景：

从最早的人工神经网络的提出，人类借助自然中神经元的连接和发放规律，提出了人工神经元的概念。MLP协助人类解决了初级的模式识别问题，随着卷积的引入，以及更大数据量，更好的计算力，更多样的神经网络结构，更聪慧的初始化方式。深度学习很快席卷了整个学术界。
通过一系列的参数设计，以CNN为代表的深度学习模型取得了令人惊异的效果。通过各种非线性的激活函数，dropout的引入，摆脱了本需要对data深度理解的模式识别方式，先验知识的需求大大降低（仍可以通过在初始化过程中引入先验知识以方便训练，减少局部最优的可能性）。

感悟：

多层CNN的构建，就是通过多级形式的卷积进行特征提取，这里的所谓特征就是通过一系列非线性变换后得到的数据模式，也就是每层所得到的feature map。针对问题设计一定的深度学习结构，就是通过设计结构来获得可以胜任任务的feature map，如果任务为分类，那么就是通过一系列 变换将原来数据提取到某一个feature map上，使得在这个map中不同类别的图像投影结果，可以通过简单的低维度长向量区分开来（常见为一维长向量 ，如one-hot编码的标签），即可实现对图像的分类工作。
设计多层的卷积结构得到适合的feature map，是一个困难问题，由于没有先验知识指导，在针对特定任务时，无法直接给出一个固有范式来推出最佳feature map，因此常使用较复杂的模型来进行特征提取，随后逐渐减少模型复杂度，如加入惩罚项，减少层数等手段，来是模型提出的feature map能够和任务相契合。另外迁移模型也是寻找合适网络结构的一个思路，通过对现存的well-trained的网络模型进行迁移学习，在训练上可以加速寻找更适合的网络结构。

总结：

深度学习就是通过一系列多层的非线性变换对原始数据进行特征提取，经过一定结构的网络，可以生成契合任务要求的feature map，以方便任务在某一数据空间中，可以被区分/识别等。利用数据来不断更迭各层参数以实现更好的map来实现任务。