Deep Learning（深度学习）

Basic concept:

Deep Learning is a new area of machine learning research, which has been introduced with the objective of moving machine learning closer to one of its original goals: artificial intelligence^[1].

背景

在技术手段上，不仅依赖于云计算对于大数据的并行处理能力，还更依赖于算法。而这个算法就是Deep Learning，通过Deep Learning使得在处理“抽象概念”变得可能。其别名称为：Unspervised Feature Learning。
2012年6月Stanford Prof. Andrew Ng通过（DNN，Deep Neural Networks）机器学习模型-其内部大约有10亿个节点-在语音识别和图像处理等领域取得了巨大成功。他们的做法是通过把海量的数据投放到算法中，让数据自己说话，系统会从数据中学习。系统能够自动的领悟一些抽象的知识。抽象，迭代
2013年1月百度研究院成立，其下属第一个成立的就是“深度学习研究院（IDL, Institute of Deep Learning）”。
数据资源+云计算（硬件）+算法（软件） 数据池->特征提取表达->DL

学术观点

• 多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
• 深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化是通过无监督学习实现的。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）。
• 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。

特征学习，将样本在原空间的特征表示变换到另一个新特征空间，使分类或预测更容易。

Deep Learning可以看作是Neural Network的发展。它们之间很多相同的地方，但是也有很多不同的地方。两者相同地方：

• 采用分层结构，包括输入层，隐层，输出层组成的多层网络；
• 只有邻层节点之间有连接，同一层及跨层节点之间无连接；
• 每一个节点可以看作为一个logistic regression 模型；

Hinton、Bengio、Yann.lecun等提出了一个可行的Deep Learning框架。采用是一个layer-wise的训练机制，相比Back propagation其残差传至最前层已经变得很小，出现了 gradient diffusion（梯度扩散）。

Contact : leland17
Wechat：le9dbadb

---

1. http://deeplearning.net/ ↩