chatGPT笔记

  1. chatGPT使用的语言模型instructGPT跟传统语言LM模型最大的不同是:目标不一样。传统语言模型主要是预测一句话中下一个词是什么。而instructGPT的目标是:follow the user’s instructions helpfully and safely
  2. instructGPT跟GPT-3的网络结构是一样的,区别在于训练阶段的不同,instructGPT使用了标注数据进行fine-tune
    参考文献
  • Training langeuage models to follow instructions with human feedback

你可能感兴趣的:(chatgpt)