2022最新版-李宏毅机器学习深度学习课程-P46 自监督学习Self-supervised Learning(BERT)
一、概述:自监督学习模型与芝麻街参数量ELMO:94MBERT:340MGPT-2:1542MMegatron:8BT5:11BTuringNLG:17BGPT-3:175BSwitchTransformer:1.6T二、Self-supervisedLearning⇒UnsupervisedLearning的一种“自监督学习”数据本身没有标签,所以属于无监督学习;但是训练过程中实际上“有标签”,