【第五课课后作业】LMDeploy 的安装、量化和部署

LMDeploy 的安装、量化和部署

【第五课课后作业】LMDeploy 的安装、量化和部署_第1张图片

基础作业

启动Turbomind本地服务

【第五课课后作业】LMDeploy 的安装、量化和部署_第2张图片

启动Gradio和ApiServer服务

【第五课课后作业】LMDeploy 的安装、量化和部署_第3张图片

运行Gradio客户端,输入“讲一个300字的睡前故事”

【第五课课后作业】LMDeploy 的安装、量化和部署_第4张图片

进阶作业

你可能感兴趣的:(大模型,自然语言处理,笔记)