大模型小助手，Mac工程师如何拥有自己的人工智能

前言

历史的车轮滚滚向前，大模型的发展让 AI 离每个人都更近了一步。今年 3 月的时候简单聊了一下 AIGC，现如今半年多过去了，ChatGPT 依旧大放异彩。无论是百度的文心一言还是阿里的通义千问，在 GPTs 面前都变成了拙劣的模仿。

现如今每隔几天就有新鲜的技术出炉，让人目不暇接，同时具备可玩性和想象空间的各种应用和开源库，仿佛让自己回到了第一次设置 JAVA_HOME 的日子，于是我便蹦出了一个对自己的工作和生活可能有帮助的想法——“拥有自己的人工智能”。

目标是搭建出一个不依赖云端服务，可以在本地运行，且效果可以接受的类 ChatGPT 服务。为什么要在本地搭建而不是直接采用现成的云服务呢？从数据安全的角度看，一些数据还是不太方便随意上传至云端的，而且云端的问题回答也会经过各个服务商审核，不可避免会出现降智的情况。另一方面，这些在线的云服务成本较高，chatGPT plus 每个月 20 美元，还要熟练掌握各种上网技巧，虽然能力很强大，但是在没有一个完美的变现渠道的情况下，对于我的荷包来说还是有很大负担。最后对于一个工程师来说，能自己搭建一个完整的方案，使用一个自己调教出来的 AI，也是出于对技术探索的本能使然。

方案概述

由于是在本地运行的，选择一个好的设备则是第一步要考虑的事情了。笔者家中刚好有一台 2020 年 M1 芯片的 Mac Mini，一直作为家里的 homelab 长期运行。除了平时在家里用它编译代码、还会用它来设置苹果的内容缓存^[1]，提高局域网内苹果服务的连通性。如今廉颇尚未老矣，还是可以再战 AI 的。

由于 M1 芯片的统一内存架构和开源社区对 Apple 芯片在 AI 方面的支持， 如今用它作为一个本地运行大模型的载体再合适不过了。

我的方案如下图所示 。