深度学习_DBN模型_图像分类

1.分类的一般方法

2.深度学习在分类中的应用

对输入数据从底层到高层进行特征提取，形成适合模式分类的较理想特征。

2.1神经网络分类

DNN

CNN

RNN

LSTM

RBM

3.DBN介绍

2006年Hinton提出
应用：（物体识别，语音识别）
组成：多层无监督的受限玻尔兹曼机（RBM）网络和一层有监督的反向传播（BP）网络组成。
训练：预训练（pre-training）+微调（fine-tuning）
这里先简单理解，预训练就是无监督下的自由训练；微调就是人为操控或是引入调节技术进行更进一步的调节。
之后也指出
预训练:采用逐层（layerwise）训练；低一层的作为上一层的输入。
微调:有监督；对最后一层的·BP网络进行训练；结果比较产生的误差逐层向后传播，对整体权值进行微调。
预训练过程可看做BP网络权值的初始化，这里代替了之前BP网络权值随机初始化，进而避免了训练时间过长以及陷入局部极小值得问题。

3.1受限波尔兹曼机

英文：energy-based model，EBM
模型：基于能量概率分布模型，能量函数+能量函数的概率分布函数；一个可见层+一个隐含层
结构：层间全连接，层内无连接。（很标准的神经网络结构）

可以看出来它和DNN深度神经网络很像，这里主要的区别在于，该网络没有前后向之分，隐层可以作为可视层，而可视层又可转为隐层。
能量定义为

联合概率分布

虽然这些看着很复杂，可是推导到最后，其实就是落到了sigmoid上。

第j个隐含层节点激活概率

第i个可视层激活概率

3.2下面会提到最大似然，我们先说一下它

　在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
　上面是从别的地方摘抄的，只看重点黑体就行。
　大体的意思就是：知道这件事发生了，估计关于这件事情的参数。
　
　这里我们需要引用的是最大似然估计
　
　L就是我们的似然，f就是我们求的条件概率。
　最大似然估计就是通过L取最大值，进而达到f取最大值得目的。
　L(θ|x)的最大值就是我们深度学习的目的，给定训练数据 X 的条件下，找到最可能出现的参数 θ 。
　
　
　百度文库有几道例题
　https://wenku.baidu.com/view/72c89a768e9951e79b8927be.html?from=search

3.3BP网络

类型:有监督分类器，对REM训练后的特征向量（就是提取的特征）进行分类。
训练：前向传播、后向传播；分类结果与期望比较误差→误差逐层向后传递微调DBN。

3.4数据更新

所用参数：灵敏度δ，自上向下，修正网络权值

4.整个数据传递网络

其中输入数据时经过处理的Pauli参数

本博文引自论文
基于 ＤＢＮ 模型的遥感图像分类
吕 启１ 窦 勇１ 牛 新１ 徐佳庆１ 夏 飞２