我把ChatGPT部署到我的手机上

正常的大模型部署都是在服务器上的

但是最近我看到一个手机上可以运行的大模型

分享给大家

MiniCPM

MiniCPM是基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行。

使用起来很简单，下载好安装包后

按照教程安装好

下载2个模型

一个是MiniCPM

一个是MiniCPM-v

MiniCPM-v是可以处理图像的

下载好后，点击模型的进行对话即可

安装

MiniCPM只占2GB空间

意味着你手机只要有2g以上空间即可安装

1. 下载APK安装包

2. 允许相册、拍照权限：MiniCPM-V 模型处理多模态数据，需要相应权限来获取图片

   

3. 下载模型：（1）点击下载按钮 (2) 等待进度条 (3) 开始对话

   注意：当前两个模型不能同时下载，会造成闪退（软件上存在一些 bug，待修复）

   

4. 和 MiniCPM 对话: (1) 等待模型初始化，直到 "Ready to chat" 弹出。 (2) 打字并点击发送交流

5. 和 MiniCPM-V 对话: (1) 等待模型初始化，直到 "Ready to chat" 弹出。 (2) 上传图像 (3) 等待 "process image done" 出现 (4) 打字并点击发送交流

   注意：图像处理需要花费一些时间。

   

6. 演示：

注意模型在部署到手机时使用了 4-bit 量化，可能会损失一定的性能. 性能请参考 原版模型.

安装包获取

公众号回复MiniCPM

本文由mdnice多平台发布