[DeepLearning]Unsupervised feature learning for audio classification using convolutional deep belief

题目解读

使用卷积深度可信网络以非监督的方式学习语音数据的特征，用学习到的特征进行分类

文章特点

• 无监督
• 使用卷积受限玻尔玆曼机
• 多层（深度)网络

摘要

第一个使用深度学习的方式处理音频数据。
使用卷积深度可信网络无监督提取音频特征
使用提取的音频特征进行了多种不同的语音分类任务

简介

![深度可信网络][4]是一种生成式概率模型，包含一个可见层和多个隐藏层。每个隐藏层的单元学习底层单元的统计关系。可以通过贪心的逐层训练的方法对其进行有效的训练。而最近提出的![卷积深度可信网络][9]是对深度可信网络的改进，使其能够扩展到高维数据。

算法

Convolutional Restricted Boltzmann Machine(CRBM)

CRBM是CDBN的组成单元。
形式化定义
网络层的输入是单通道的时间序列数据，具有 nv 个帧（ nv 维的向量）
CRBM是常规RBM在卷积方面的扩展，可见层和隐藏层之间的权重到隐藏层的所有位置都是共享的。CRBM包括两层：输入层（可见层） V 和隐藏层H。隐藏层单元是二值的，可见层单元可以是二值或实数的。
输入为二值
隐藏层有 K 个feature map，每个feature map共享nW维的滤波器，其权重用 Wk 表示，每个feature map的大小为 nH ( nH=nV−nW+1 ), 每个feature map共享偏置 bk ，每个可见层的单元共享偏置 c 。得到能量函数：
E(v,h)=−∑k=1K∑j=1nH∑r=1nWhkjWkrvj+r−1−∑k=1Kbk∑j=1nHhkj−c∑i=1nVvi.

未完待续

[4]: G. E. Hinton, S. Osindero, and Y.-W. Teh. A fast learning algorithm for deep belief nets.Neural Computation, 18(7):1527–1554, 2006.
[9]: