【(强推)李宏毅2021/2022春机器学习课程】2022-如何有效的使用自监督模型-Data-Efficient &Parameter-Efficient Tuning

资料：pdf | 视频

1. self-pretrain是什么

两种训练方式：

1. 预测 下个 词
2. 掩码学习

fine-tune：胚胎干细胞，还需要fine-tune才能发挥威力

2. 存在问题

微调还是需要一些数据的

模型太大了

3. Data-Efficient Fine-tuning：Prompt Tuning（提示，更有效地利用数据，比如数据量少的情况下）

跟 Standard fine-tuning的差别

Prompt Tuning在数据量少的情况下会有很好的表现

数据量更少

4. Data-Efficient Fine-tuning：Semi-supervised Learning（半监督）

5. zero-shot

6. PLMs Are Gigantic -> Reducing the Number of Parameters（对于model很大的时候的解决方法）

Parameter-Efficient Fine-tuning

Adapter

LoRA（比Adapter参数量更少（feature压缩得小），推理更快（平行插入））

Prefix Tuning（核心：fine-tuning就是要改变hidden representations）

复习Self-attention

Soft Prompting

4个方法总结

Early Exit（减少inference推理时间）

7. Closing Remarks