高级模型初始化(RBM)

受限玻尔兹曼机网络结构图(RBM)

RBM包含两个层:可见层(visible layer)和隐藏层(hidden layer)。神经元之间的连接是全连接,即可见层中的每一个神经元与隐藏层中的神经元相连,隐藏层中的神经元也与可见层中的每一个神经元连接。

高级模型初始化(RBM)_第1张图片

高级模型初始化(RBM)_第2张图片

BMP简单解释

高级模型初始化(RBM)_第3张图片

能量函数和概率分布

RBM模型是一个基于能量的模型,因此要首先定义一个能量函数,并利用能量函数引入一系列的相关概率分布函数

高级模型初始化(RBM)_第4张图片

高级模型初始化(RBM)_第5张图片

高级模型初始化(RBM)_第6张图片

高级模型初始化(RBM)_第7张图片

具体推导过程:

高级模型初始化(RBM)_第8张图片

对数似然函数

高级模型初始化(RBM)_第9张图片

高级模型初始化(RBM)_第10张图片

高级模型初始化(RBM)_第11张图片

高级模型初始化(RBM)_第12张图片

高级模型初始化(RBM)_第13张图片

高级模型初始化(RBM)_第14张图片

高级模型初始化(RBM)_第15张图片

高级模型初始化(RBM)_第16张图片

对比散度算法训练RBM

高级模型初始化(RBM)_第17张图片

参考资料:<>

你可能感兴趣的:(预训练技术)