YOTO来了！你只需训练一次，谷歌大脑提出调参新trick

点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自｜极市平台

整理 | CVer

在许多深度学习问题中，损失函数是多项加权和。而处理损失函数问题的常用方法是训练多个具有不同权重的单独模型，然后根据某个标准选择最佳模型，这容易使得模型训练和推理效率不够理想。 

为了解决这一问题，谷歌提出了一种新方法：

YOTO（You Only Train Once）

YOTO使用单个在损失分布上训练的模型替代了多个损失函数训练模型，同时在测试时，还可以对采用这种方式训练出来的模型进行调整，并根据损失的训练分布生成与任一损失相对应的输出。目前，该工作已被ICLR2020接收。

我们先来看看这一方法的具体应用：

可变速率的图像压缩

上图显示了使用该方法进行图像压缩的结果。在压缩图像时，用户应该能够在选择所需的权衡。过去的图像压缩算法在面对权衡图像质量和压缩率这一问题时，需要为每个方案训练一个单独的模型，而本文方法仅需一组针对不同损失进行优化的模型，即通过训练一个模型来涵盖所有方案，大大减少了在训练和推理上的消耗。

可调整的风格迁移

过去的方法虽然能够实时地对图像进行风格迁移。但是对于每种给定的风格，这些方法不允能控制合成输出的详细信息，比如对图像进行风格迁移的程度以及对侧重于哪些风格特征，同时还需要不断训练具有不同超参数的多个模型，直到获得喜欢的风格。

本文提出的方法能够直接训练一个涵盖多种风格的单一模型，设置了一个具有五个项的损失函数，包括1个内容损失项和4个风格损失项，内容损失决定风格化图像应与原始内容相似的程度，而四个风格化损失则定义将哪些风格特征保留在最终风格化图像中。下图是改变所有项的单个模型输出：

Loss-Conditinal Training

YOTO的主要思想是：训练一个涵盖所有损失项系数选择的模型，来替代为每组系数单独训练一个模型，并通过调整不同内容对应的损失项系数，来调节模型输出。

在训练过程（左），对于每个训练数据，从Pλ中采样参数λ，并以此对模型进行调整。在测试过程（右），可以将模型调整为任何所需的参数，来实现与具有这些参数的损失函数相应的行为。

下图说明了风格迁移任务的训练过程。对于每个训练，首先对损失系数进行随机采样，它们既可用于调节主网络，又可以计算损耗。而整个系统则进行端到端地联合训练，即模型参数与损失函数的随机采样进行同步训练。

实验结果

图1是YOTO在CIFAR-10（a，b）和Shapes3D（c，d）上针对不同模型的定量β-VAE结果。

图1

可以看出，在大多数情况下，本文方法训练出的模型与对每个损失权重值独立训练的模型非常接近。

此外，作者还在Shapes3D数据集上进行了β-VAE定性分析。可以从图2看出，对于每个损失权重β，YOTO的重建和采样结果与单独训练的模型非常接近。

图2

图3

上图是在Tecnick和Kodak数据集上的压缩结果。与一组固定权重模型相比，虽然基础的YOTO模型表现不佳，但是在更广泛的网络中，YOTO几乎可以与固定权重模型的性能相匹配。

传递门

论文链接：https://openreview.net/pdf?id=HyxY6JHKwr

论文代码（即将开源）：https://github.com/google-research/google-research/yoto

麻烦给我一个在看！