Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 多任务学习

You Raise Me Up - Westlife

 

多任务学习

Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics  

 

多任务学习系统的性能很大程度上依赖于任务间的损失权值。手动调节权值非常耗时耗力，论文提出使用任务间的同方差不确定性给每个损失函数赋权。模型由单一图像同时学习像素级深度回归、语义及实例分割。场景理解的多任务学习在机器人领域比较实用，多个任务组合到一个模型可以降低计算量。

多任务学习中每个任务的最优权值依赖于调节尺度、任务的噪声幅值。论文多任务学习的结构为：

 

 

 

 

 

多任务学习-Multitask Learning概述

假设用含一个隐含层的神经网络来表示学习一个任务，单任务学习和多任务学习可以表示成如下：

 

多任务学习与其他学习算法之间的关系

 

多任务学习有效的原因

       为什么把多个相关的任务放在一起学习，可以提高学习的效果？关于这个问题，有很多解释。这里列出其中一部分，以图2中由单隐含层神经网络表示的单任务和多任务学习对比为例。

（1） 多人相关任务放在一起学习，有相关的部分，但也有不相关的部分。当学习一个任务（Main task）时，与该任务不相关的部分，在学习过程中相当于是噪声，因此，引入噪声可以提高学习的泛化（generalization）效果。

（2） 单任务学习时，梯度的反向传播倾向于陷入局部极小值。多任务学习中不同任务的局部极小值处于不同的位置，通过相互作用，可以帮助隐含层逃离局部极小值。

（3） 添加的任务可以改变权值更新的动态特性，可能使网络更适合多任务学习。比如，多任务并行学习，提升了浅层共享层（shared representation）的学习速率，可能，较大的学习速率提升了学习效果。

（4） 多个任务在浅层共享表示，可能削弱了网络的能力，降低网络过拟合，提升了泛化效果。

还有很多潜在的解释，为什么多任务并行学习可以提升学习效果（performance）。多任务学习有效，是因为它是建立在多个相关的，具有共享表示（shared representation）的任务基础之上的，因此，需要定义一下，什么样的任务之间是相关的。

 

 

 

From：

1  https://blog.csdn.net/u010417185/article/details/83065506

2  https://blog.csdn.net/catcatrun/article/details/75034476