【大模型理论基础】(大模型的能力)学习笔记

学习教程文档【大模型理论基础】

语言模型的适应性:从语言模型到任务模型的转化

【大模型理论基础】(大模型的能力)学习笔记_第1张图片
【大模型理论基础】(大模型的能力)学习笔记_第2张图片

Language Modeling

【大模型理论基础】(大模型的能力)学习笔记_第3张图片

采用几何平均,每个词标记的概率都被同等看待,并且一个极低的概率(如0)将会导致整个几何平均大幅度下降
【大模型理论基础】(大模型的能力)学习笔记_第4张图片

数据集

  • Penn Tree Bank
    自然语言处理中的一个经典数据集,最初是为了进行句法解析而标注的
  • LAMBADA
    【大模型理论基础】(大模型的能力)学习笔记_第5张图片
  • HellaSwag
    【大模型理论基础】(大模型的能力)学习笔记_第6张图片
  • Question answering
    (闭卷)问答题,其中输入是一个问题,输出是一个答案
  • TriviaQA
    任务:给定一问题后生成答案
  • WebQuestions
    任务:和TriviaQA类似是问答任务
  • NaturalQuestions
    任务:回答问题
  • Translation
    翻译任务是将源语言(例如,德语)中的句子翻译成目标语言(例如,英语)中的句子
  • Arithmetic
    任务:做算术题(2-5位数的加法,减法,乘法)
  • News article generation
    任务:给定标题和副标题,生成新闻文章
  • Novel tasks
    使用新词;纠正英语语法

你可能感兴趣的:(学习,笔记)