【计算机视觉+自动驾驶】二、多任务深度学习网络并联式、级联式构建详细讲解（图像解释 超详细必看）

觉得有帮助麻烦点赞关注收藏~~~

一、多任务网络的主要分类

目前建立的多任务网络可以分为两种方法，一种为并联多任务网络结构，另一种为级联多任务网络结构，两种网络构建方式分别如下图所示

并联式

级联式 

 

 并联网络结构大多为共享基础网络而保留所有与任务相关的卷积层网络，这种方法可以实现任意两种或者多种相关任务之间的多任务网络构建，不需要考虑任务之间的结构关系，较为简单

级联网络结构为通过一个任务结果来影响下一个任务结果，此种方法需要考虑两种任务之间的转化关系，但该方法可以使任务之间共享更多的网络参数，还可以使各个任务相辅相成，提高各自任务的准确率

二、并行式网络

并联式多任务联合算法的检测任务和分割任务共享卷积特征，每个任务包含一个损失函数，多任务联合算法的整体损失函数定义为检测损失函数和分割损失函数的总和，在反向传播的梯度合并过程中，不同任务的损失所占权重都是平等的。

 并联式网络损失函数的设计

并联式多任务联合算法的检测任务和分割任务共享卷积特征，每个任务包含一个损失函数，多任务联合算法的整体损失函数定义为检测损失函数和分割损失函数的总和。

三、级联式网络 

1：网络结构

网络结构如下图，它直接将目标检测预测结果加入到分割任务当中，从而对分割任务进行优化，分割任务首先针对来自conv3的浅层特征，将深层特征的2倍上采样与中层特征融合，再与来自浅层预测结果的特征进行融合，之后进入一个卷积模块，该卷积模块的作用主要有两个：

1：学习分割任务与目标检测任务之间的关系

2：降低特征矩阵的维度 最后经过8倍上采样得到与图像尺寸大小一致的类别矩阵1248×384×2，其中2代表针对原图的每个像素点有两个类别，之后将检测结果框直接映射到原图上，得到针对原图的一个掩膜，即目标框内部与目标框上部为0而其他地方为1，用该掩膜与得到图像分割结果想卷积，对分割结构进行优化，最后掩膜为1的位置对应的像素点预测为置信度大的类别

 2：级联式网络损失函数的设计

损失函数即为预测值与真实值之间的差距，差距越小，代表算法越能更好的进行预测，所以算法都会在保证损失函数最小值大于或等于0的情况下，通过优化使损失函数得到最小的参数，多元函数的方差函数与以极大似然为原理的交叉熵函数使求最优化时常用的两个办法，因为这两个函数一定大于0，且当预测值与实际值越接近时损失越小

(1) 预测框中心点损失，采用方差损失函数：

（2) 预测框宽和高的损失，采用方差损失函数： 

(3) 预测框是否存在实际目标损失，采用交叉熵损失函数：

 

(4) 预测类别损失函数，采用交叉熵损失函数：

 

目标检测总损失为：

四、多任务深度学习网络测试结果 

 

创作不易 觉得有帮助请点赞关注收藏~~~