20201010_受限玻尔兹曼机_观看覃秉丰课程笔记

一、马尔可夫性

状态转移的概率只依赖于当前的这个状态，将来只依赖于现在不依赖于过去的过程，我们成为马尔可夫过程。

时间和状态都是离散的马尔可夫过程称为马尔可夫链

例如：

这里面的状态转移矩阵P要全部大于零，P为马尔可夫转移矩阵。

这两个平稳分布的图表明：无论初始状态是什么样子的，进化到一定代数之后状态就不会再改变了。

二、受限玻尔兹曼机

 

三、训练RBM 

 四、完整python代码(有限玻尔兹曼机RBM识别数字)

代码里不像一开始的单层感知器从最底层一点点的建立网络，代码里直接调用了sklearn中的RBM包。到后面的网络越来越复杂就会越来越多的去调用python里的工具包去解决问题。

# coding: utf-8

# 微信公众号：深度学习与神经网络  
# Github：https://github.com/Qinbf  
# 优酷频道：http://i.youku.com/sdxxqbf  

# In[7]:

import numpy as np
import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split
from sklearn import  metrics,linear_model
from sklearn.neural_network import BernoulliRBM
from sklearn.datasets import load_digits
from sklearn.pipeline import Pipeline


# In[4]:

digits = load_digits()#载入数据
X = digits.data#数据
Y = digits.target#标签
#输入数据归一化
X -= X.min()
X /= X.max()

X_train, X_test, Y_train, Y_test = train_test_split(X, Y,test_size=0.2,random_state=0)


#创建RBM模型
logistic = linear_model.LogisticRegression()
rbm = BernoulliRBM(random_state=0, verbose=True)
classifier = Pipeline(steps=[('rbm', rbm), ('logistic', logistic)])


# In[8]:

#设置学习率
rbm.learning_rate = 0.06
#设置迭代次数
rbm.n_iter = 20
#设置隐藏层单元
rbm.n_components = 200
logistic.C = 6000.0
#训练模型
classifier.fit(X_train, Y_train)


# In[9]:

print()
print("Logistic regression using RBM features:\n%s\n" % (
    metrics.classification_report(
        Y_test,
        classifier.predict(X_test))))


# In[ ]: