深度学习系列（1）——简要概念

1、概念

Deep Learning 的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。[1]

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。[1]

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

[1] 孙志军, 薛磊, 许阳明,等. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810.

2、核心思想

把学习结构看作一个网络，则深度学习的核心思路如下：
①无监督学习用于每一层网络的pre-train；
②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；
③用自顶而下的监督算法去调整所有层

3、深度学习的网络学习方式——神经网络

说到深度学习，当然要说的就是神经网络。一些相关的机器学习概念，这里就不再一一写了，已经有些比较优秀的博客大家可以自行查找学习。这里推荐一个很不错的深度学习教程，可以让快速地了解相关概念及部分理论推导，相信不少人都已学习过：
http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

4、本系列写作目的

本人也是刚接触深度学习一年左右，关于深度学习已经有一些写得很不错的博文，为什么还要写呢，写了说不定还没有别人写得好，也不一定会有人看，总是抱着这样的想法就一直没有动手。现在想想，每个人对的理解肯定会有不同或是说理解的深度、角度会存在不一，而且写博客是对自己检验，要是能帮助人那就更好不过了。于是现在开始动手了，新学期也给自己一点动力，一来可以让自己把零碎的知识网络捋顺，二来也可以督促自己的学习进度。

本系列主要写出自己对神经网络的学习的一些见解，和大家一起学习讨论。希望通过学习了解深度学习中整个神经网络的学习过程。最后能够有一些改善、提高网络学习效率的想法。

在这里也跟一起不如深度学习的朋友们推荐一个 深度学习的QQ群：209306058 。 这里有大牛，就算你在里面潜水也能让你获益匪浅。哈哈 ^_^