Self-Alignment with Instruction Backtranslation

Self-Alignment with Instruction Backtranslation

  • Introduction
  • Method
    • Initialization
    • Self-Augmentation(generating instructions)
    • Self-Curation(Selceting high quality examples)
    • Iterative self-curation
  • 实验
  • 参考

Introduction

目前Alignment LLM 的数据主要的来源为用户手写与 powerful LLM 生成,但如果要生成高质量的一批数据,是十分昂贵的。这篇文章作者提出了Self-alignment方法,从 unlabeled数据中生成instruction,然后逐步迭代。

Self-Alignment with Instruction Backtranslation_第1张图片

你可能感兴趣的:(深度学习理论,自然语言处理)