Knowledge Distillation for BERT Unsupervised Domain Adaptation

1、介绍
Knowledge Distillation for BERT Unsupervised Domain Adaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移,提出了一种简单而有效的无监督域适应方法,它将对抗性区分域适应(ADDA)框架与知识相结合蒸馏,在30个领域对的跨域情感分类任务中测试方法,其基本网络结构图如下所示:

Knowledge Distillation for BERT Unsupervised Domain Adaptation_第1张图片

2、主要技术
BERT模型预处理源域数据,提取相应特征,然后运用distillation技术实现源域知识到目标域知识的迁移,从而达到目标域的情感分类任务,下图为知识蒸馏技术方法:

在这里插入图片描述

你可能感兴趣的:(domain,adaption(域适应),深度学习,pytorch,机器学习)