(Dual learning)对偶学习——视频笔记

Dual Learning解决的问题: 带标签的训练数据少且高昂的成本,尽可能的利用无标签数据

Dual Learning 思想
(Dual learning)对偶学习——视频笔记_第1张图片

Dual Learning在NMT中的应用
1.算法思想
(Dual learning)对偶学习——视频笔记_第2张图片
2.负例
(Dual learning)对偶学习——视频笔记_第3张图片
3.正例
(Dual learning)对偶学习——视频笔记_第4张图片
4.实验设置(需要先预训练)
(Dual learning)对偶学习——视频笔记_第5张图片

Dual Learning的扩展(可以扩展到多个有联系的模型)
(Dual learning)对偶学习——视频笔记_第6张图片

自编码中Dual Learning的思想
(Dual learning)对偶学习——视频笔记_第7张图片

GAN中Dual Learning的思想:
(Dual learning)对偶学习——视频笔记_第8张图片
有标签的数据训练运用Dual Learning的两种运用方法:
(1)两个model同时做训练
(Dual learning)对偶学习——视频笔记_第9张图片
(2)通过bayes公式转化
(Dual learning)对偶学习——视频笔记_第10张图片

Dual Learning的提高原因(可大致将其作为一种loss的正则,使模型更加一般化)
(Dual learning)对偶学习——视频笔记_第11张图片

你可能感兴趣的:(机器学习与神经网络推理)