（还没整理完）Perceptual Losses for Real-Time Style Transfer and Super-Resolution and Super-Resolution

《基于感知损失函数的实时风格转换和超分辨率重建》笔记+转载翻译

翻译地址在这儿：基于感知损失函数的实时风格转换和超分辨率重建 (zhwhong)
原论文下载地址：点这儿

笔记

1.图像转换任务的一个处理方法是在有监督模式下训练一个前馈卷积神经网络，用逐像素差距作损失函数来衡量输出图像和输入图像的差距。

• 用途：超分辨率重建，图像上色，图像分割，深度和表面预测等。
• 优势：在测试时，只需要一次前馈的通过已训练好的网络。
• 缺点：逐像素求差的损失函数无法抓住输入及输出图像在感知上的差距。举个例子，考虑两张一模一样的图像，只有1像素偏移上的差距，尽管从感知上这俩图片一模一样，但用逐像素求差的方法来衡量的话，这俩图片会非常的不一样。

2.感知损失函数——从预训练好的CNN中提取高层次的图像特征来求差，并使其最小化

• 用途：特征倒置（Mahendran等），特征可视化(Simonyan等/Yosinski等)，纹理综合及图像风格化(Gatys等)。
• 优势：能产生很高质量的图片，更适合用来衡量图像之间的相似程度，而不受像素偏移的影响
• 缺点：很慢，需要漫长的迭代优化过程。

训练一个用于图像转换任务的前馈网络，使用感知损失函数，从预训练好的网络中提取高级特征。

3.本文的两个任务：图像风格化和单图的超分辨率重建，两个任务都需要对输入的图像进行语义上的理解。

然而在实践中我们不需要从头开始学习：使用感知损失函数，允许从损失网络直接转移语义信息到转换网络。（没明白）
（要学习的内容：前馈神经网络等，循环神经网络，上采样，下采样）

上采样（放大图像）：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。无论缩放图像（下采样）还是放大图像（上采样），采样方式有很多种。如最近邻插值，双线性插值，均值插值，中值插值等方法。在AlexNet中就使用了较合适的插值方法。各种插值方法都有各自的优缺点。
下采样（池化，缩小图像）
膨胀卷积的原理及用途：
实例正则化（instance normalization）：

风格转换：Gatys等人展示艺术风格转换，，通过最小化根据特征重建的代价函数，风格重建用的代价函数也是基于从预训练模型中提取的高级特征；

损失网络φ是能定义一个特征（内容）损失lfeat和一个风格损失lstyle，分别衡量内容和风格上的差距。对于每一张输入的图片x我们有一个内容目标yc一个风格目标ys，对于风格转换，内容目标yc是输入图像x，输出图像y，应该把风格Ys结合到内容x=yc上。我们为每一个目标风格训练一个网络。对于单图超分辨率重建，输入图像x是一个低分辨率的输入，目标内容是一张真实的高分辨率图像，风格重建没有使用。我们为每一个超分辨率因子训练一个网络。

我们定义了两个感知损失函数，用来衡量两张图片之间高级的感知及语义差别要用一个预训练好用于图像分类的网络模型。在我们的试验中这个模型是VGG-16[46]，使用Imagenet的数据集来做的预训练。

特征——内容
风格——颜色，纹理，共同的模式

郑华滨-令人拍案叫绝的Wasserstein GAN，本文中含有JS散度恒=log2的推导

范数

谱范数正则（Spectral Norm Regularization）的理解
BLOG-GAN 的谱归一化(Spectral Norm)和矩阵的奇异值分解
知乎-Spectral Normalization 谱归一化

把普归一化留到最后，把ppt和稿子剩余的先写完！

GAN系列的论文下载地址