【OpenPrompt】源码学习笔记

说明:文章为学习清华NLP实验室开源套件OpenPrompt源代码的记录,欢迎大佬批评指正
GitHub网址:https://github.com/thunlp/OpenPrompt

文章目录

  • 简介
  • 1. pipeline_base.py
  • 2. 先鸽着


简介

OpenPrompt 实现了多种prompting的方法,并实现了templating,verbalizing 和 optimization 策略的标准化,使得 prompt-learning 更方便。


提示:以下是本篇文章正文内容,下面案例可供参考

1. pipeline_base.py

PromptModel
封装了 Template 和 pre-trained model (plm与Huggingface Transformer 模型一致),
提供了了控制模型参数的接口,如freeze_plmplm_eval_mode
模型的输入格式可以通过template进行自定义,
模型的输出为transformers.modeling_outputs.MaskedLMOutput
如果有特殊需要,可以在template里面对输出进行post process

PromptForClassification
调用了PromptModel,获得transformer模型的输出(MaskedLMOutput格式),
然后通过extract_at_maskverbalizer.process_outputs函数将输出的logits映射成label

PromptForGeneration
同样调用了PromptModel,然后进行后处理使得其适配生成任务。


2. 先鸽着

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

你可能感兴趣的:(学习,深度学习,自然语言处理)