GPT和BERT优缺点比较

  GPT(Generative Pre-training Transformer)和BERT(Bidirectional Encoder Representation from Transformers)都是以Transformer为主题架构的预训练语言模型，都是通过“预训练+fine tuning”的模式下完成下游任务的搭建

从模型的角度上

1） GPT是单向模型，无法利用上下文信息，只能利用上文；而BERT是双向模型。
2） GPT是基于自回归模型，可以应用在NLU和NLG两大任务，而原生的BERT采用的基于自编码模型，只能完成NLU任务，无法直接应用在文本生成上面。
3）同等参数规模下，BERT的效果要好于GPT。