深度学习Day1

本文所有图片均来自互联网，夹杂着个人的一些感想。

为什么深度学习变得重要

图.1

1. AlexNet(2012): A.Krizhevsky & G.Hinton(U Toronto)

2. GoogleNet(2014): C.Szegedy & etc (Google, Umich, UNC)

3. VGG(2014): K.Simonyan & A.Zisserman (Oxford)

4. SPP-Net(2014): He Kaiming & etc(MSRA)

5. Deep residual network(2015): He Kaiming & etc(MSRA)

为什么深度学习变得越来越重要，我认为正是由于在计算机视觉采用深度神经网络的模型方面突破性的进展，由上图.1可以看到在2010年传统的SIFT+SVM机器学习算法的组合28.20%的 error到逐渐采用了深度神经网络模型，到2015年具有152层的ResNet的error仅仅3.57%。

什么是深度学习Deep Learning

通常来说，深度学习是通过分层处理数据技术，它通过分层结构的分阶段信息处理来探索无监督的特征学习和模式分类。深度学习的本质是计算观测数据的分层特征，其中高层特征由低层得到。深度学习方法发展迅速，目前有受限玻尔兹曼机RBM、深度置信网络DBN等。深度学习是从机器学习中的神经网络发展而来的，由于的到大数据和计算存储资源的支持而发展起来的。

图.2 ImageNet卷积神经网络模型

其实，人工神经网络和生物学上的形态有着天壤之别。下图是生物学意义上的神经元。

图.3 生物学上的神经元

下图是人工神经网络 ANN（Artificial Neural Network）虽然可以用作回归或聚类算法，但它最初是为分类创建的。

图.4 人工神经网络 Artificial Neural Network

“深度”结构的强大

图.5 三种结构的神经网络

- 单个神经元 (单层感知机) : 线型分割

- 一个隐藏层 ：实现图区域分割

- 两个隐藏层 ：实现非凸区域分割

由上面的三种不同的结构可以看出，随着神经网络隐藏层加深，可以对更加复杂的场景进行判别。

“深度”结构的问题

总的来说，神经网络的层数越多，表达能力越大。存在的问题是

过拟合：由于层数多带来的问题是参数过多，容易陷入局部最小值

梯度扩散：error难以反向传播back propagate

学习由浅入深

1.每层无监督训练

2.采用一次一层的无监督训练，前面一层训练结果作为下一层的input

3.无监督训练之后，采用监督训练来微调（fine-tune）所有层