1文件+2个命令,无需安装,单机离线运行70亿大模型

1文件+2个命令,无需安装,单机离线运行70亿大模型

大家好,我是老章

最近苹果发布了自己的深度学习框架--MLX,专门为自家M系列芯片优化。看了展示视频,这个框架还能直接运行Llama 7B的大模型,在M2 Ultral上运行流畅。但是我尝试了一下,我的M2 Mac mini根本跑不动,模型权重太大了。

这倒勾起了我继续单机玩大模型的兴趣,然后就发现了llamafile的玩法:下载模型文件、直接执行即可浏览器中运行,就可以开始聊天,还可以上传图片进行提问。

先不介绍原理,直接看看如何运行吧:

1、下载llava-v1.5-7b-q4-server.llama 文件(对应模型是[LLaVA 1.5](https://llava-vl.github.io/),在 Llama 2 之上进行微调的大型多模式模型 )

![](https://my-wechat.oss-cn-beijing.aliyuncs.com/image-20231208145027864.png)

下载地址:https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-server.llamafile?download=true

鉴于有些同学可能无法访问huggingface,我也准备了这个文件在网盘,有需要可以找我要一下。

2、MacOS和linux用户需要在命令行中先授权这个文件可执行

```
chmod +x llava-v1.5-7b-q4-server.llamafile
# 然后运行
./llava-v1.5-7b-q4-server.llamafile
```

![](https://my-wechat.oss-cn-beijing.aliyuncs.com/Xnapper-2023-12-08-14.17.26.png)

如果是windows用户,那就更省事了,直接重命名这个文件,后面加上 .exe 即可

3、浏览器会自动弹开聊天界面(如果没有,浏览器中直接打开[https://localhost:8080](https://localhost:8080/)即可)

![](https://my-wechat.oss-cn-beijing.aliyuncs.com/Xnapper-2023-12-08-14.18.50.png)

首次打开需要配置一些参数,也可以直接使用默认值。

除了聊天,也可以上传图片让它识别。聊天完毕后,返回终端并点击 Control-C关闭 llamafile。

![](https://my-wechat.oss-cn-beijing.aliyuncs.com/llamafile-20231208154051192.jpg)

顺便简单介绍一下llamafile:

这个大模型文件是Mozilla 团队发布的,这个文件包含 LLM 的模型权重和运行该模型所需的代码 ,可以将它视为一个完整的本地服务器,带有用于与其交互的 Web UI。

llamafile是基于[llama.cpp](https://github.com/ggerganov/llama.cpp)(一个领先的开源 LLM 聊天机器人框架)和[Cosmopolitan Libc](https://github.com/jart/cosmopolitan)(一个开源项目,使 C 程序能够在大量平台和架构上编译和运行)实现的。使用 llamafile,可以将大型语言模型 (LLM) 权重文件转换为可在六种操作系统(macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD)上运行的二进制文件,而无需安装,确保给定的一组权重将永远保持可用并一致且可重复地执行。

想要了解更多,可以参考一下资料:

模型演示:https://llava.hliu.cc/

模型简介:https://llava-vl.github.io/

模型代码:https://github.com/haotian-liu/LLaVA

llamafile开源地址:https://github.com/Mozilla-Ocho/llamafile

llamafile简介:https://hacks.mozilla.org/2023/11/introducing-llamafile/

你可能感兴趣的:(人工智能)