深度学习_DBN模型_图像分类

1.分类的一般方法

深度学习_DBN模型_图像分类_第1张图片

2.深度学习在分类中的应用

对输入数据从底层到高层进行特征提取,形成适合模式分类的较理想特征。

2.1神经网络分类

深度学习_DBN模型_图像分类_第2张图片

DNN

深度学习_DBN模型_图像分类_第3张图片

CNN

深度学习_DBN模型_图像分类_第4张图片

RNN

深度学习_DBN模型_图像分类_第5张图片

LSTM

深度学习_DBN模型_图像分类_第6张图片

RBM

深度学习_DBN模型_图像分类_第7张图片

3.DBN介绍

2006年Hinton提出
应用:(物体识别,语音识别)
组成:多层无监督的受限玻尔兹曼机(RBM)网络和一层有监督的反向传播(BP)网络组成。
训练:预训练(pre-training)+微调(fine-tuning)
这里先简单理解,预训练就是无监督下的自由训练;微调就是人为操控或是引入调节技术进行更进一步的调节。
之后也指出
预训练:采用逐层(layerwise)训练;低一层的作为上一层的输入。
微调:有监督;对最后一层的·BP网络进行训练;结果比较产生的误差逐层向后传播,对整体权值进行微调。
预训练过程可看做BP网络权值的初始化,这里代替了之前BP网络权值随机初始化,进而避免了训练时间过长以及陷入局部极小值得问题。
深度学习_DBN模型_图像分类_第8张图片

3.1受限波尔兹曼机

英文:energy-based model,EBM
模型:基于能量概率分布模型,能量函数+能量函数的概率分布函数;一个可见层+一个隐含层
结构:层间全连接,层内无连接。(很标准的神经网络结构)
深度学习_DBN模型_图像分类_第9张图片
可以看出来它和DNN深度神经网络很像,这里主要的区别在于,该网络没有前后向之分,隐层可以作为可视层,而可视层又可转为隐层。
能量定义为
深度学习_DBN模型_图像分类_第10张图片
联合概率分布
这里写图片描述
虽然这些看着很复杂,可是推导到最后,其实就是落到了sigmoid上。

j个隐含层节点激活概率

深度学习_DBN模型_图像分类_第11张图片

i个可视层激活概率

深度学习_DBN模型_图像分类_第12张图片

3.2下面会提到最大似然,我们先说一下它

 在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。似然函数在统计推断中有重大作用,如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性,但是在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计
 上面是从别的地方摘抄的,只看重点黑体就行。
 大体的意思就是:知道这件事发生了,估计关于这件事情的参数。
 深度学习_DBN模型_图像分类_第13张图片
 这里我们需要引用的是最大似然估计
 这里写图片描述
 L就是我们的似然,f就是我们求的条件概率。
 最大似然估计就是通过L取最大值,进而达到f取最大值得目的。
 L(θ|x)的最大值就是我们深度学习的目的,给定训练数据 X 的条件下,找到最可能出现的参数 θ 。
 这里写图片描述
 深度学习_DBN模型_图像分类_第14张图片
 百度文库有几道例题
 https://wenku.baidu.com/view/72c89a768e9951e79b8927be.html?from=search
深度学习_DBN模型_图像分类_第15张图片
深度学习_DBN模型_图像分类_第16张图片
深度学习_DBN模型_图像分类_第17张图片
深度学习_DBN模型_图像分类_第18张图片

3.3BP网络

类型:有监督分类器,对REM训练后的特征向量(就是提取的特征)进行分类。
训练:前向传播、后向传播;分类结果与期望比较误差→误差逐层向后传递微调DBN。

3.4数据更新

所用参数:灵敏度δ,自上向下,修正网络权值
深度学习_DBN模型_图像分类_第19张图片
深度学习_DBN模型_图像分类_第20张图片

4.整个数据传递网络

深度学习_DBN模型_图像分类_第21张图片
其中输入数据时经过处理的Pauli参数
深度学习_DBN模型_图像分类_第22张图片

本博文引自论文
基于 DBN 模型的遥感图像分类
吕 启1 窦 勇1 牛 新1 徐佳庆1 夏 飞2

你可能感兴趣的:(深度学习)