多目标训练对模型单目标拟合能力的影响

在模型训练时使用多个不同权重的loss function，在训练阶段对模型的影响：

多个loss都会产生梯度，反向传导后更新其相应连接层的参数。（具体工程实现方式是权重加权后合并，还是进行多次更新，暂未查阅相关reference以及paddle，tf的源码）

猜测更可能是负面影响。

模型线下实验效果：

• 环境：

  1. A：两个目标is_pull_down和ctr在emb和continous特征进行的多层全连接后，分别引入了一些离散特征，离散特征单独fc后，再与深度部分(Deep&Wide)进行一层fc，最后softmax激活输出。cross entropy损失。
  2. B：结构与A相同训练时选取单ctr目标训练
  3. 相同线下训练(20万条)以及测试集，Adam opt。

• 现象：

  1. 多次实验，多目标在ctr输出的auc上于单目标有千分位的提升
  2. 前期收敛速度更快

• 结论：

  1. 多目标训练就算不考虑预测时多目标融合的收益，对模型的拟合可能（应该跟目标选取相关）也有所影响
  2. 影响不一定是负面（取决于目标本身是否有一定相关性，或者为负相关）