笔记——Texture Synthesis Using Convolutional Neural Networks (Leon A. Gatys et al)

图像风格化论文笔记

Texture Synthesis Using Convolutional Neural Networks (Leon A. Gatys et al)

1. 摘要

基于 CNN Network for object recognition, 用若干layer的不同filter之间的相关性（correlations）来构建 texture 特征表示

2. CNN Network

基础网络：VGG19 trained on object recognition

3. Texture model

Insight

Textures are per definition stationary, so a texture model needs to be agnostic to spatial information. A summary statistic that discards the spatial information in the feature maps is given by the correlations between the responses of different features.

特征表示

correlations相关性 —— 同layer的各个feature map间的内积 Gram Matrix

4. Texture generation

纹理合成—找到有相同Gram Matrix的image

5. Results

• 高层layer保留了更多的空间信息 — units的感受野更大
• 对于非纹理图像，合成结果保留了部分局部空间信息，但忽视了整体上的空间分布
• 网络结构很重要 — VGG 效果好于 caffe reference network
• 使用训练好的网络很重要 — 随机参数网络合成效果很差
• 可以只用少数层、PAC等手段，减少参数数量，提高效率