【LMDeploy 大模型量化部署实践】学习笔记

参考学习教程【LMDeploy 的量化和部署】

理论

作业

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事

本地对话

【LMDeploy 大模型量化部署实践】学习笔记_第1张图片

API服务

Client 命令

【LMDeploy 大模型量化部署实践】学习笔记_第2张图片
【LMDeploy 大模型量化部署实践】学习笔记_第3张图片

端口转发

【LMDeploy 大模型量化部署实践】学习笔记_第4张图片
【LMDeploy 大模型量化部署实践】学习笔记_第5张图片
【LMDeploy 大模型量化部署实践】学习笔记_第6张图片

网页Gradio

【LMDeploy 大模型量化部署实践】学习笔记_第7张图片
【LMDeploy 大模型量化部署实践】学习笔记_第8张图片

你可能感兴趣的:(学习,笔记)