CEM搜参策略简述

1、要解决的问题

模型有3个输出分数分别是 $scor{e}_1$, $scor{e}_2$, $scor{e}_3$,需要加权融合成最终的一个输出 $score$
$$score=w_1\ast scor{e}_1+w_2\ast scor{e}_2+w_3\ast scor{e}_3$$

2、如何求出合适的 $w$ 参数呢？

假设现有知识为

• task1 -> $socr{e}_1$ -> $labe{l}_1$
• task2 -> $socr{e}_2$ -> $labe{l}_2$
• task3 -> $socr{e}_3$ -> $labe{l}_3$

先定义融合后的 $score$ 为：$score=w_1\ast scor{e}_1+w_2\ast scor{e}_2+w_3\ast scor{e}_3$，分别计算 3 task 的 label 基于融合 score 的 auc 表现：

• $au{c}_1=cal\_auc(labe{l}_1,score)$
• $au{c}_2=cal\_auc(labe{l}_2,score)$
• $au{c}_3=cal\_auc(labe{l}_3,score)$

进而计算整体的 auc，怎么算呢？将上面 3 task 的 auc 进行简单算术平均，也就是：

$$mean\_auc=\frac{(iau{c}_1+au{c}_2+au{c}_3)}{3}$$

3、总结

通过对 $w$ 参数的搜索，可以得到每次 $w$ 参数下 $mea{n}_{a}uc$ 的表现，从而搜索出 $n$ 个 $task$ 对应 $score$ 的最优权重。