知识蒸馏博客阅读与理解学习

如何理解soft target这一做法? - YJango的回答 - 知乎
https://www.zhihu.com/question/50519680/answer/136406661

1. 是什么

知识蒸馏博客阅读与理解学习_第1张图片

2. 温度的作用

2.1 概述
知识蒸馏博客阅读与理解学习_第2张图片

2.2 举例
知识蒸馏:深入理解温度的作用
https://blog.csdn.net/weixin_39078049/article/details/103032625

知识蒸馏博客阅读与理解学习_第3张图片

3. 与正则,drouput,预训练在模型提升效果上的区别

训练集采样(dropout)
网络结构优化(正则)
先验知识(预训练,蒸馏)

知识蒸馏博客阅读与理解学习_第4张图片

  1. 参考文章
    如何理解soft target这一做法? - YJango的回答 - 知乎https://www.zhihu.com/question/50519680/answer/136406661
    知识蒸馏:深入理解温度的作用
    https://blog.csdn.net/weixin_39078049/article/details/103032625

你可能感兴趣的:(nlp_paper,nlp学习,nlp,知识蒸馏,模型蒸馏,先验知识)