【学习】domain adaptation、BERT

文章目录

  • 一、domain adaptation领域适应
    • domain shift
    • domain adversarial training![在这里插入图片描述](https://img-blog.csdnimg.cn/26ef051b6a6148cbadb2dc6a9067fce2.png)
    • domain generalization
  • 二、自监督学习
    • 多语言BERT的跨语言能力
    • 交叉学科能力
    • 用人工数据进行预训练


一、domain adaptation领域适应

【学习】domain adaptation、BERT_第1张图片
训练资料和测试资料分布不一样。
域转移domain shift:训练和测试数据有不同的分布。
在这里插入图片描述

domain shift

【学习】domain adaptation、BERT_第2张图片
想法:通过源数据训练模型,然后通过目标数据微调模型
挑战:只有有限的目标数据,所以要小心过度拟合
在这里插入图片描述
【学习】domain adaptation、BERT_第3张图片
【学习】domain adaptation、BERT_第4张图片

domain adversarial training【学习】domain adaptation、BERT_第5张图片

希望他们的分布没有差异
【学习】domain adaptation、BERT_第6张图片
【学习】domain adaptation、BERT_第7张图片
【学习】domain adaptation、BERT_第8张图片
右边的好一点,可以让他们远离界限,下面就是这种做法
【学习】domain adaptation、BERT_第9张图片
【学习】domain adaptation、BERT_第10张图片
【学习】domain adaptation、BERT_第11张图片

domain generalization

没有未知领域的资料
【学习】domain adaptation、BERT_第12张图片

二、自监督学习

【学习】domain adaptation、BERT_第13张图片
【学习】domain adaptation、BERT_第14张图片

多语言BERT的跨语言能力

【学习】domain adaptation、BERT_第15张图片
【学习】domain adaptation、BERT_第16张图片
【学习】domain adaptation、BERT_第17张图片
【学习】domain adaptation、BERT_第18张图片
无视不同语言的差别,了解语义。

【学习】domain adaptation、BERT_第19张图片
【学习】domain adaptation、BERT_第20张图片
MRR分数越高越好
【学习】domain adaptation、BERT_第21张图片
【学习】domain adaptation、BERT_第22张图片
实际上BERT在做QA的时候用的是同一种语言,可以看出语言之间是有差异的,只是没找到。
【学习】domain adaptation、BERT_第23张图片
我们找到英文和中文符号之间的平均之后,得到差距,就能互换了
【学习】domain adaptation、BERT_第24张图片
【学习】domain adaptation、BERT_第25张图片
【学习】domain adaptation、BERT_第26张图片

交叉学科能力

【学习】domain adaptation、BERT_第27张图片
【学习】domain adaptation、BERT_第28张图片
【学习】domain adaptation、BERT_第29张图片
【学习】domain adaptation、BERT_第30张图片
【学习】domain adaptation、BERT_第31张图片
BERT在优化和generalization上都做的好
【学习】domain adaptation、BERT_第32张图片
【学习】domain adaptation、BERT_第33张图片
【学习】domain adaptation、BERT_第34张图片
但是还是要有文字语音对应的资料
【学习】domain adaptation、BERT_第35张图片
有没有可能只有语音资料呢?
【学习】domain adaptation、BERT_第36张图片
训不了
把VQ进行离散化,加入自注意,不行:
【学习】domain adaptation、BERT_第37张图片
把这些符号换成文字,可以实现:
【学习】domain adaptation、BERT_第38张图片
【学习】domain adaptation、BERT_第39张图片

用人工数据进行预训练

在这里插入图片描述
【学习】domain adaptation、BERT_第40张图片
通过生成不同规则的人工数据,可以知道前期训练成功的关键因素是什么。

【学习】domain adaptation、BERT_第41张图片
【学习】domain adaptation、BERT_第42张图片
人工数据的预培训:与从头开始培训相比,平均绝对改进(%)
随机令牌上的预训练产生与从头开始训练相同的性能,没有用
成对资料有用:
【学习】domain adaptation、BERT_第43张图片
产生连续编号的序列,打乱之后掩码,做的也比较好。
【学习】domain adaptation、BERT_第44张图片
到底什么能力对NLP任务是有用的呢?
与从头开始培训相比,平均绝对改进(%):
【学习】domain adaptation、BERT_第45张图片
长序列对于任务是有用的。

你可能感兴趣的:(学习,深度学习,人工智能)