深度学习中特殊的参数更新方式

在传统的印象当中Back-propagation一般是根据定义的损失函数来更新定义好的网络中的权重参数的，但在DL中有一种比较特殊的情形，更新的目标是图片中的像素点，其用于渲染各种丰富多彩的图片。
这主要包括以下两种情形:

• 1.Deep Dream
  Deep Dream是谷歌在2015年的论文，其主要的出发点就是想看看神经网络究竟学习到了什么。Deep Dream的优化目标是最大化特征提取层所输出的向量的L2范数，然后通过对损失函数求偏导数，对输入图片中的像素点进行梯度下降，更新输入图片中的像素值，使得输入的图片更加的稳定趋向于分类器中的某一个类别。Deep Dream做的事情如下图所示：

• 2.Style Transfer
  风格转换也是出自于2015年的一篇论文,其主要目的就是将图片$X$的艺术风格迁移到图片$Y$,而不改变图片$Y$的主体内容。其优化的过程和Deep Dream也是通过对设定的损失函数进行进行梯度下降，然后通过反向传播算法来更新图片$Y$中的像素值。其损失函数主要包括$Content-Loss$以及$Cycle-Loss$,$Content-Loss$是通过计算图片$X$以及图片$Y$在深度卷积层输出的特征之间的MSE得出的。而$Cycle-Loss$则是通过计算图片$X$以及图片$Y$在深度卷积层输出的特征组合得到的Gram矩阵之间的MSE得出的。Style Transfer做的事情如下图所示：