Generative Modeling of Convolutional Neural Networks，生成式CNNs

生成式CNNs

标签： CNN，Generative Modeling ，Machine Learning， MCMC

工作思路

• Step 1: 找到切入点，了解生成式模型，及其与CNNs的关系
  
  1. 对照论文原文与PPT内容，了解总体框架;
  2. 找到key word,以此为突破点；
  3. 生成式模型在CNNs中的应用。
• Step2: 阐述生成式模型的背景、物理含义、优缺点，解决问题的一般方法。
• step3: 重点理解图像的 概率分布 采样方法。对 马尔科夫链蒙特卡洛采样(MCHC) 和 Gibbs采样 等方法进行讨论。

文献阅读

Jifeng Dai.Generative Modeling of Convolutional Neural Networks.ICLR 2015

主要思路

1. A non-parametric generative gradient for pre-training the CNN
采用对数倾斜(exponential tilting)形式的生成式模型来预训练CNN，使得预训练模型可以找到一个较好的极值区域。
2. An generative visualization method,生成式可视化方法
从一个图像分布中采样，使用Hamiltonian Monte Carlo (HMC)算法训练CNN。用生成概率模型来看节点对应的特征图。
两种研究主题的差异主要体现在对于参考分布(Reference distribution)的处理不同：
(1) Generative gradient: 通过从一个参考分布采样的方法近似逼近各参数的梯度。
(2) Generative visualization method需要一个参数化的参考分布q(x),比如高斯白噪声分布，然后采用Hamiltonian Monte Carlo方法从相应的图像分布p(x)采样。