第一节课笔记——书生·浦语大模型实战营

书生·浦语大模型全链路开源体系

最近报名了书生·浦语大模型实战营,第一节课大致介绍了书生·浦语大模型全链路开源体系,做个笔记,也算给训练营打个广告,毕竟让本菜鸡免费学习~~

书生·浦语大模型

1.大模型系列

第一节课笔记——书生·浦语大模型实战营_第1张图片

2.大模型性能

第一节课笔记——书生·浦语大模型实战营_第2张图片

全链路开源体系

0.开源体系介绍

这里部署和评测的位置应该换一换~
第一节课笔记——书生·浦语大模型实战营_第3张图片

1.数据

第一节课笔记——书生·浦语大模型实战营_第4张图片

2.预训练

重点关注预训练和微调的区别

第一节课笔记——书生·浦语大模型实战营_第5张图片

3.微调

增量续训基本与预训练一致,有监督微调参照lora大模型微调方式。
第一节课笔记——书生·浦语大模型实战营_第6张图片

8G显存,2080Ti就能微调大模型,还是挺香的~~

第一节课笔记——书生·浦语大模型实战营_第7张图片

4.评测

第一节课笔记——书生·浦语大模型实战营_第8张图片

5.部署

大语言模型结构相对于计算机视觉模型结构简单,算子种类少,相对容易部署

第一节课笔记——书生·浦语大模型实战营_第9张图片

部署用pytorch做推理引擎吗?估计没啥加速效果,另一个turbomind不是很了解。
第一节课笔记——书生·浦语大模型实战营_第10张图片

6.应用(智能体)

用LLM做工具调用接口。

第一节课笔记——书生·浦语大模型实战营_第11张图片
第一节课笔记——书生·浦语大模型实战营_第12张图片
第一节课笔记——书生·浦语大模型实战营_第13张图片

你可能感兴趣的:(语言模型)