Mindie在华为910B推理大模型

Mindie在华为910B推理大模型 - 掘金 (juejin.cn)

之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型,但是用Mindie RC1.0版本无法兼容openai接口,传递的文本字符数有限,不能超过16000.因此,选用了最新版本的Mindie RC2.0版本,成功推理。步骤和上述链接一致,但是下载镜像的时候用MindieRC2.0.

---------------------------------------------------------------------------------------------------------------------------------

目前利用Mindie启动了大模型服务,fastchat启动了embedding服务,然后再启动langchain-chatchat就成功运行,且推理速度和V100卡差不多。

如果大家有部署问题,可以后台私信我~

你可能感兴趣的:(python,fastapi)