MLC LLM

MLC LLM 是一种通用解决方案,它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上,此外还提供了一个高效的框架,供每个人根据自己的用例进一步优化模型性能。

我们的使命是让每个人都能在每个人的设备上本地开发、优化和部署 AI 模型。

一切都在本地运行,无需服务器支持,并通过手机和笔记本电脑上的本地 GPU 加速。支持的平台包括:

你可能感兴趣的:(python)