nlp大模型课程笔记

自然语言处理基础和应用

nlp大模型课程笔记_第1张图片nlp大模型课程笔记_第2张图片
nlp大模型课程笔记_第3张图片
nlp大模型课程笔记_第4张图片
说明之前的大模型其实有很多都是基于迁移学习的方法。
nlp大模型课程笔记_第5张图片
nlp大模型课程笔记_第6张图片

attention机制的总结,解决了信息瓶颈的问题。
nlp大模型课程笔记_第7张图片
处理词组时BPE的过程
nlp大模型课程笔记_第8张图片
pos表示的是token所在的位置
nlp大模型课程笔记_第9张图片
技巧是layer normalization。nlp大模型课程笔记_第10张图片
nlp大模型课程笔记_第11张图片
nlp大模型课程笔记_第12张图片

你可能感兴趣的:(自然语言处理,笔记,人工智能)