AAAI | 达摩院经典自适应多域联合优化训练框架及其应用

一、论文&代码

论文链接：Robust Optimization overMultiple Domains

活体识别应用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary

二、背景

本文简要介绍一下我们在AAAI 2019上的论文"Robust Optimization over Multiple Domains"。在这篇文章中，我们提出了一种新的优化方法，通过对抗的训练方式使训出的模型在多个域上都能取得较好的识别效果。

由于实际业务场景多样，不同业务场景图片所属的域不相同，在一个域上表现的比较好的模型在其他域上的表现会比较差。如果直接把不同域的数据混合在一起进行训练，则由于不同域的样本量和难易程度的不同，也会造成模型在其中一些域上效果较好，在某些域上则效果较差。因此提出一种对多域进行联合优化的方法，使模型在多个域中的表现都能达到比较好的效果。

举个例子，如下图所示：在业务中，分属于三个不同域的使用者对同一个模型体验到的识别效果是不一致的。

由于训练过程中，User3对应的域没有进行很好的优化，该域下的使用者会反馈比较差的使用体验，甚至放弃使用该模型。我们提出的多域联合优化方法的目的是通过对混合训练中表现比较差的域增加权重，从而使得模型在各个域都取得较均衡的识别能力。因此问题可以抽象为：优化混合训练中表现最差的域。

三、方法

根据前边的分析，可以把对应的优化目标定为：

表示了第k个domain的loss值的权重，即在训练过程中通过优化使总的损失函数最大，然后再优化这个最大化之后的损失函数。把该目标函数对应到训练的算法为：

训练过程中，我们用梯度下降的方式更新模型：

对分布来说，我们用对抗的方式来进行更新：

四、结果

活体识别多域联合优化应用。活体识别是区分一张图片是真实样本产生的还是由剪纸，屏幕等攻击产生的。由于不同设备摄像头和ISP参数的不同，会对成像质量造成比较大的差异，活体识别依赖于成像的质量，因此用多域联合优化的方法进行联合优化。实验结果：

D1，D2和D3分别表示了三种成像设备采集的图片构成的集合。可以看到多域联合优化的方法可以取得较均衡的效果。

五、应用

本文应用模型已在maas上呈现。另外给大家介绍下maas上其他相关开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：

https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary

https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary

https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary

https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary

https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary