多任务损失优化：Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics

论文地址：Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics

一、 摘要

（没有具体研究实例分割，所以本博客并没有过多关心关于分割的模型与任务）
有些深度网络需要多任务来同时进行多个回归和分类目标，经过观察发现给予不同任务一个损失权重极大的影响着总体任务的表现。但是人工的搜索这个权重是极其困难和消费资源的，为此本论文提出了一个考虑每个任务同方差的不确定性来学习这些权重，这允许我们在分类和回归设置中同时学习不同单位或尺度的不同参数。实验证明本模型可以学习多任务权重，并且优于进行单任务独立建模训练。

创新：

1. 利用同方差不确定性同时学习不同数量和单元的分类和回归损失的一种新颖多任务损失
2. 建立统一的组合语义分割、定位分割和深度回归体系结构
3. 证明模型损失权重的重要性，并且能够解决并获得良好的参数。

二、 介绍

多任务学习的目的是通过从一个共享表示中学习多个目标来提高学习效率和预测精度。

以前同时学习多个任务的方法使用一个朴素的加权损失总和，其中损失的权重是一致的，或者手动调整。但是我们发现这个模型的表现很大程度依赖于这些权重。人工微调以及搜索来优化网络十分昂贵且难以解决本质问题，每个任务的最佳权重取决于测量尺度(例如米、厘米或毫米)和最终任务噪声的大小。

作者将同方差不确定性解释为任务相关的加权，并展示如何推导一个有原则的多任务损失函数，该函数可以学会平衡各种回归和分类损失。

三、 多任务学习

以前主要任务的简要表达式：
$$L_{\text{total}}=\sum _i{w}_i{L}_i\text{\hspace{1em}(1)}$$
只是简单的对每个子任务线性求和，但是这样存在很多问题，例如模型对于权重参数很敏感，如下图2:

1. 同方差不确定性

在贝叶斯模型中，不确定性主要有两种类型：

1. 认知不确定性是模型中的不确定性，它捕获了我们的模型由于缺乏训练数据而不知道的东西，这可以用增加的训练数据来解释。
2. 任意不确定性抓住了我们对数据无法解释的信息的不确定性。任意不确定性可以用观察所有解释变量的能力来解释，而且精确度越来越高。

任意不确定性又可分为两种：

1. 依赖数据或异方差不确定性，它依赖于输入数据，并被预测为模型输出。
2. 任务依赖或同方差不确定性，它不依赖于输入数据。它不是一个模型输出，而是一个对所有输入数据保持不变，并在不同任务之间变化的数量。因此，它可以被描述为任务依赖的不确定性

在多任务学习问题中，我们可以使用同方差不确定性作为加权损失的基础。

2. 多任务似然回归

在本节中，推导了一个基于同方差不确定性高斯似然最大化的多任务损失函数。让$f^W(x)$表示输入$x$在基于参数$W$的神经网络的输出。定义以下概率模型，对于回归任务，将概率定义为高斯分布，其均值由模型输出给出：
$$p\left(\mathbf{y}\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)=\mathcal{N}\left({\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }^2\right)\text{\hspace{1em}(2)}$$

噪声标量$\sigma$，代表输出需要携带多少噪声。

为了进行分类，我们经常通过$softmax$函数压缩模型输出，由概率向量得到的样本：
$$p\left(\mathbf{y}\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)=\mathrm{Softmax}\left({\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\text{\hspace{1em}(3)}$$
在多个模型输出的情况下，通常定义对输出进行因式分解的可能性，给出一些充分的统计信息。我们定义$f^W(x)$作为我们的充分统计量，并获得以下多任务似然：
$$p\left({\mathbf{y}}_1,\dots ,{\mathbf{y}}_K\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)=p\left({\mathbf{y}}_1\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\dots p\left({\mathbf{y}}_K\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\text{\hspace{1em}(4)}$$

$y_1,\dots ,y_K$为模型（例如语义分割，深度回归）输出。

最大似然推导中，最大化模型的对数似然。

例如回归任务中，对数似然可以被表达为：
$$\log p\left(\mathbf{y}\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\propto -\frac{1}{2{\sigma }^2}{\Vert \mathbf{y}-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2-\log \sigma \text{\hspace{1em}(5)}$$

然后，我们最大化和模型参数$W$和噪声参数$\sigma$有关的对数似然。

假设模型输出由两向量$y_1$和$y_2$组成（两个回归任务），服从高斯分布：
$$\begin{array}{rl}p\left({\mathbf{y}}_1,{\mathbf{y}}_2\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)& =p\left({\mathbf{y}}_1\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\cdot p\left({\mathbf{y}}_2\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\\ & =\mathcal{N}\left({\mathbf{y}}_1;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_1^2\right)\cdot \mathcal{N}\left({\mathbf{y}}_2;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2^2\right)\end{array}\text{\hspace{1em}(6)}$$

这导致了我们多任务模型的最小化目标$\mathcal{L}(W,{\sigma }_1,{\sigma }_2)$
$$\begin{array}{rl}& =-\log p\left({\mathbf{y}}_1,{\mathbf{y}}_2\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\\ & \propto \frac{1}{2{\sigma }_1^2}{\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\frac{1}{2{\sigma }_2^2}{\Vert {\mathbf{y}}_2-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\log {\sigma }_1{\sigma }_2\\ & =\frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{2{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1{\sigma }_2\end{array}\text{\hspace{1em}(7)}$$
${\mathcal{L}}_1(\mathbf{W})={\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{w}}(\mathbf{x})\Vert }^2$表示第一个输出变量$y_1$的损失，${\mathcal{L}}_2$同理。

参数${\sigma }_1,{\sigma }_2$相当于损失${\mathcal{L}}_1(W)$和${\mathcal{L}}_2(W)$基于数据的自适应权重，因为当${\sigma }_1$（变量$y_1$的噪声）增加时，${\mathcal{L}}_1(W)$的权重下降。相应的噪声减小，对应损失权重上升。损失最后一项充当噪声的调节器，抑制噪声的过大增加。

这种构造可以简单地扩展到多元回归输出。

对于分类函数，我们通过对缩放后的输出进行$softmax$函数作为分类似然：
$$p\left(\mathbf{y}\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),\sigma \right)=\mathrm{Softmax}\left(\frac{1}{{\sigma }^2}{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\text{\hspace{1em}(8)}$$
$\sigma$是一个正的缩放值。可以理解为一个$Boltz-mann$分布（$Gibbs$分布），输入由${\sigma }^2$进行缩放。这个缩放可以固定也可以被学习，其中参数的大小决定了离散分布的“均匀”(平坦)程度。这个输出的对数似然可以写成：
$$\begin{array}{rl}\log p\left(\mathbf{y}=c\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),\sigma \right)& =\frac{1}{{\sigma }^2}{f}_c^{\mathbf{W}}(\mathbf{x})\\ & -\log \sum _{c^{\prime }}\exp \left(\frac{1}{{\sigma }^2}{f}_{c^{\prime }}^{\mathbf{W}}(\mathbf{x})\right)\end{array}\text{\hspace{1em}(9)}$$
$f_c^W(x)$表示向量$f^W(x)$的第$c$个元素。

假设模型多输出由一个连续输出$y_1$和离散输出$y_2$组成，分别由高斯似然和$softmax$似然建模进行联合损失得$\mathcal{L}(W,{\sigma }_1,{\sigma }_2)$
$$\begin{array}{l}=-\log p\left({\mathbf{y}}_1,{\mathbf{y}}_2=c\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\\ =-\log \mathcal{N}\left({\mathbf{y}}_1;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_1^2\right)\cdot \mathrm{Softmax}\left({\mathbf{y}}_2=c;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2\right)\\ =\frac{1}{2{\sigma }_1^2}{\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\log {\sigma }_1-\log p\left({\mathbf{y}}_2=c\mid {\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2\right)\\ =\frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1\\ +\log \frac{{\sum }_{c^{\prime }}\exp \left(\frac{1}{{\sigma }_2^2}{f}_{c^{\prime }}^{\mathbf{W}}(\mathbf{x})\right)}{{\left({\sum }_{c^{\prime }}\exp \left(f_{c^{\prime }}\mathbf{W}(\mathbf{x})\right)\right)}^{\frac{1}{{\sigma }_2^2}}}\\ \approx \frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1+\log {\sigma }_2\end{array}\text{\hspace{1em}(10)}$$

${\mathcal{L}}_1(\mathbf{W})={\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{w}}(\mathbf{x})\Vert }^2$表示$y_1$的欧几里得损失，${\mathcal{L}}_2(W)=-\log Softmax(y_2,f^W(x))$为关于$y_2$的交叉熵损失（$f^W(x)$未被缩放）。使用$W$、${\sigma }_1$和${\sigma }_1$进行优化。最后的$\approx$，当${\sigma }_2\to 1$时候趋近$=$。

最后一个目标可以被看作是学习每个产出损失的相对权重。缩放值${\sigma }_2$越大，则损失${\mathcal{L}}_2(W)$贡献越小，缩放受$\log {\sigma }_2$规范，缩放太大，则目标会被惩罚。

如此，这个函数就可以被随意的由离散和连续损失函数进行组合，这个损失是平滑可微的，并且是很好的形式，使得任务权值不会收敛到零，不同于$(1)$有可能将损失很快的收敛到0。

实验中，训练网络去预测$log$变量$s:=log{\sigma }_2$，因为这个变量比直接回归${\sigma }_2$在数学上更加的稳定，损失避免了除以$0$。

四、 结论

证明了对损失项的正确加权对于多任务学习问题是至关重要的，同时证明了同方差(任务)不确定性是损失赋权的有效方法。