PyTorch学习5--图像分类及图像风格迁移

图像分类

图像分类，顾名思义，是一个输入图像，输出对该图像内容分类的描述的问题。它是计算机视觉的核心，实际应用广泛。图像分类的传统方法是特征描述及检测，这类传统方法可能对于一些简单的图像分类是有效的，但由于实际情况非常复杂，传统的分类方法不堪重负。现在，我们不再试图用代码来描述每一个图像类别，决定转而使用机器学习的方法处理图像分类问题。主要任务是给定一个输入图片，将其指派到一个已知的混合类别中的某一个标签。

图像风格迁移

借助于神经网络，预先将名画中的风格训练成出模型，在将其应用在不同的照片上，生成新的风格化图像。简单来说，就是把电脑训练成梵高、毕加索等世界绘画大师，通过电脑，可以得到你想要的任何一种风格的画。
原理

• 通过将 gram matrix 应用于卷积神经网络各层能够捕获该层的样式，所以，如果从填充了随机噪声的图像开始，对其进行优化使得网络各层的格拉姆矩阵与目标图像的格拉姆矩阵相匹配，那么不难理解，生成的图像将会模仿目标图像的风格。
• 可以定义一个style损失函数，计算两组激活输出值各自减去格拉姆矩阵之后计算平方误差。在原始图像和目标图像上进行训练，将两幅图片输入VGG16的卷积神经网络，对每个卷积层计算上述style损失并多层累加，对损失使用lbfgs进行优化（它需要梯度值和损失值进行优化）。
• 其实，很多观点认为，匹配图像风格的最好方式是直接匹配所有层的激活值，事实上，格拉姆矩阵效果会更好一些，这点并不容易理解。其背后的原理是，通过计算给定层的每个激活值与其他激活值的乘积，我们获得了神经元之间的相关性。这些相关性可以理解为图像风格的编码，因为他们衡量了激活值的分布情况，而不是激活值本身。
• 零值问题，在任一被乘数为零的情况下，一个向量和自己的转置的点积都会是零，模型无法在零值处识别相关性。由于零值频繁出现，可以在执行点积前为特征值添加一个小的差量delta，delta去-1即可。为每个像素的通道都计算了格拉姆矩阵，然后观察它们在整个图像上的相关性，这样做提供了一个捷径：可以计算通道均值并将其用作格拉姆矩阵，这会帮助获得一幅平均风格的图像，更有普适性。
• 同时，添加了总变分损失（total variation loss），要求网络时刻检查相邻像素的差异，否则，图像会趋于像素化且更加不平缓。某种程度上，这种方法与用于持续检查层权重与层输出的正则化过程非常类似，整体效果相当于在输出像素上添加了一个略微模糊的滤镜。（本质上，这是一种模糊化的方法）该部分的结果是将最后一个组成成分添加到了损失函数中，使得图像整体更像内容图像而不是风格图像。这里所做的，就是有效优化生成图像，使得上层的激活值对应图像内容，下层的激活值对应图像风格，也就是网络底层对应图像风格，网络高层对应图像内容，通过这种方式实现图像风格转换。

类似于以下结果：

内容损失

风格损失