受限波尔兹曼机在序列数据建模中的应用

此篇技术内容适合于具有一定深度学习基础特别是RBM方面的读者。对基础理论的学习可以参考其他博客（网络上特别多）

目前主流的RBM应用以及变种主要包括高斯-伯努利（GBRBM）以及二值/伯努利-伯努利（BBRBM），但是对于传统的回归模型，或者是关系建模方面，在很多应用中的情况是输入的特征与目标之间的关系并不是很强烈（参考Bengio 2007 Greedy Layer-Wise Training of Deep Networks），例如地理序列数据，金融序列数据等。为了解决这个问题，Bengio给出的解决方案是在模型的逐层训练中使用目标值对x的训练过程进行约束，从而是训练获得的权重也具有目标的特征。

在对连续数据进行建模时，使用GBRBM或BBRBM进行非监督的训练时可能会导致学习的特征具有对称性（Chen et al.2003）,因此为了对连接性的数据应用RBM，Chen et al. 2003提出了Continuous RBM。

结合以上的应用需要，针对地理数据建模或金融数据建模，本人开发了应用Continuous RBM结合半监督式的训练模型，主要特点是可以灵活的设置对某层的CRBM的训练加入目标的约束。对于回归问题，在运行CD训练的期间，采用了随机梯度下降方法来近目标对权重学习的影响考虑进去（Bengio 2007）；对与分类问题，都是CD方法（Hinton 2006）。

工程代码：https://github.com/Hardysong/Restricted-Boltzmann-Machine-Model-for-sequence-data-applications

如果在您的工作中参考到了本人工作，请引用相关网站。