几个nlp的小任务(生成任务(摘要生成))

几个nlp的小任务生成任务——摘要生成

  • 安装库
  • 选择模型
  • 加载数据集
  • 展示数据集
  • 数据预处理 tokenizer
  • 注意特殊的 token处理
  • 组成预处理函数
  • 调用map,对数据集进行预处理
  • 微调模型,设置参数
  • 设置数据收集器,将处理好的数据喂给模型
  • 封装测评方法
  • 将参数传给 trainer,开始训练

安装库

在这里插入图片描述
几个nlp的小任务(生成任务(摘要生成))_第1张图片

选择模型

在这里插入图片描述

你可能感兴趣的:(人工智能学习,自然语言处理,人工智能)