Prompt Learning全面梳理扫盲

Prompt Learning(PL)对工业界few-shot等场景的潜力是巨大的,在此参考各大牛的整理,根据自己的理解重新进行了PL的全面梳理扫盲,后续读者可以根据各个探索方向(如Answer Engineering)进行相关论文文献的跟进。以下内容均为PPT形式。

Prompt Learning全面梳理扫盲_第1张图片
Prompt Learning全面梳理扫盲_第2张图片

1. 发展过程

Prompt Learning全面梳理扫盲_第3张图片
Prompt Learning全面梳理扫盲_第4张图片

2. Prompt Learning 工作流

Prompt Learning全面梳理扫盲_第5张图片
Prompt Learning全面梳理扫盲_第6张图片
Prompt Learning全面梳理扫盲_第7张图片
Prompt Learning全面梳理扫盲_第8张图片
Prompt Learning全面梳理扫盲_第9张图片
Prompt Learning全面梳理扫盲_第10张图片
Prompt Learning全面梳理扫盲_第11张图片

3. 探索方向

Prompt Learning全面梳理扫盲_第12张图片
Prompt Learning全面梳理扫盲_第13张图片

3.1 Template设计(Prompt Template Engineering)

Prompt Learning全面梳理扫盲_第14张图片
Prompt Learning全面梳理扫盲_第15张图片
Prompt Learning全面梳理扫盲_第16张图片

3.2 Verbalizer相关设计 (Answer Engineering)

Prompt Learning全面梳理扫盲_第17张图片

3.3 训练策略(Prompt-based Training Strategies)

Prompt Learning全面梳理扫盲_第18张图片

4. 总结

Prompt Learning全面梳理扫盲_第19张图片
Prompt Learning全面梳理扫盲_第20张图片
Prompt Learning全面梳理扫盲_第21张图片

5. 参考资料

hugging face
NLP新宠——浅谈Prompt的前世今生
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification (KPT)
Prompt 如何更好地应用于工业界?
【NLP】Prompt Learning 超强入门教程
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

Prompt Learning全面梳理扫盲_第22张图片

你可能感兴趣的:(NLP(包含深度学习),深度学习,自然语言处理,prompt,learning,小样本学习,few-shot)