大模型学习第五课

学习目标：

• LMDeploy大模型量化部署实践

---

学习内容：

1. 大模型部署背景
2. LMDeploy简介
3. 动手实践环节

---

学习时间：

• 20240115

---

学习产出：

1，大模型部署背景

        模型部署

                定义，产品形态，计算设备

        大模型特点

                内存开销巨大，动态shape，相对视觉模型，LLM结构简单

        大模型部署挑战

                设备，推理，服务

        大模型部署方案

                技术点，方案

2，LMDeploy简介

        是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化，推理和服务。

        推理性能

        核心功能-量化，推理引擎TurboMind，推理服务api server

3，动手实践环节-安装、部署、量化