在基于LLamaFactory微调完具备思维链的DeepSeek模型之后(详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示<think>思考过程的问题》),接下来就需要针对微调好的模型或者是原始模型(注意需要有一个本地的模型文件,全量微调就是saves下面的文件夹,如果是LoRA,还需要进行一步导出模型的操作),实现快速高效的模型推理。本文将详细分享如何基于Transformer框架,通过多GPU并行实现DeepSeek模型的非流式批量推理,并解决在实践中遇到的关键技术挑战如输出结果错乱、tokenizer编码参数、tokenizer解码输出、推理效果不一致、开启多卡多进程推理等等。
进入大模型应用与实战专栏 | 查看更多专栏内容