LLM微调 | Prompt-tuning

简单水一下,不知我理解的prompt-tuning是不是这样。

prompt-tuning其实就是给每个任务定义了自己的prompt,拼接到数据上作为输入,然后微调。
在prompt-tuning中,我们需要使用特定的prompt和任务数据集对模型进行微调,以适应特定的任务和prompt。这个微调的过程是非常重要的,它可以让模型更好地适应特定的任务和prompt,从而获得更好的性能。

  • 如情感分类任务中,给句子拼接上一句prompt:[CLS]我今天非常开心。[SEP]这句话的情感是[MASK] [SEP]。然后预测mask位置。
  • 如翻译任务中,给句子前加上一句prompt:请将该句中文翻译成英文…
  • prompt-tuning的微调方法可以是MLM,也可是seq2seq类的预训练等方法。

你可能感兴趣的:(#,LLM微调,自然语言处理,prompt-tuning,prompt,大模型,人工智能,深度学习)