几个nlp的小任务(序列标注)

几个nlp的小任务(序列标注)

  • 安装一个 评估的库
  • 序列标注的介绍
  • 初始化参数
  • 加载数据集
  • 查看数据集
  • 编码
  • 选出示例展示
  • 数据预处理类,转token
  • 判断是否为 transformers.PreTrainedTokenizerFast类型
  • 继续分割word
  • 介绍对齐
  • 解决对齐
  • 对数据集进行批量预处理
  • 微调预处理模型
  • 设置 参数args
  • 使用数据收集器,将处理好的模型喂给模型
  • 设置评估方法
  • 评估测试
  • 整体评估函数
  • 设置训练函数,并开始训练

安装一个 评估的库

你可能感兴趣的:(人工智能学习,自然语言处理,人工智能)