李宏毅gpt个人记录

参考&转载:

李宏毅机器学习--self-supervised:BERT、GPT、Auto-encoder-CSDN博客

目录

GPT1基本实现


模型 参数量
ELMO 94M
BERT 340M
GPT-2 1542M

        用无标注资料的任务训练完模型以后,它本身没有什么用,GPT 1只能够把一句话补完,可以把 Self-Supervised Learning 的 Model做微微的调整,把它用在其他下游的任务裡面,对于下游任务的训练,仍然需要少量的标记数据

GPT1基本实现

        例如有条训练语句是“台湾大学”,那么输入BOS后训练输出是台,再将BOS和"台"作为输入训练输出是湾,给它BOS "台"和"湾",然后它应该要预测"大",以此类推。模型输出embedding h,h再经过linear classification和softmax后,计算输出分布与正确答案之间的损失cross entropy,希望它越小越好。

李宏毅gpt个人记录_第1张图片

详细计算过程: 

李宏毅gpt个人记录_第2张图片

李宏毅gpt个人记录_第3张图片

你可能感兴趣的:(gpt,自然语言处理,人工智能)