MacOS M2使用llama2

unsetunset前言unsetunset

看见老扎说Meta要弄llama3了，用35w张H100来搞，然后开源。

因为工作中一直用OpenAI，所以没弄过llama2，想着试一下llama2跑本地的效果，llama2官方下载地址：https://ai.meta.com/llama/

官方是需要填表的，我们直接使用社区的方案，不需要填任何东西，直接下载。

对了，我的环境是MacOS M2，windows或Linux请找其他文章了解。

unsetunset安装环境unsetunset

首先，弄一下环境，创建一个Python 3.10.9的python虚拟环境，建议使用跟我一样的python环境，如果是python 3.11，安装环境的方式会有问题。

在python 3.10.9虚拟环境中安装一下llm库：

pip install llm

然后使用llm安装llm-llama-cpp和llama-cpp-python就好了，llm库帮我们处理好所有的细节。

llm install llm-llama-cpp

llm install llama-cpp-python

使用llm下载llama-2-7b-chat模型，这个模型只有7b的参数，还有13b等更大的模型。

llm llama-cpp download-model \
  https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q8_0.bin \
  --alias llama2-chat --alias l2c --llama2-chat

因为我们这里下载的是ggmlv3，是旧的model format，新的modle format已经改成了gguf，为了使用ggmlv3，我们需要安装旧版本的llama-cpp-python。（https://stackoverflow.com/questions/76986412/assertionerror-when-using-llama-cpp-python-in-google-colab）

pip install llama-cpp-python==0.1.78

unsetunset使用unsetunset

命令行方式使用：

llm -m l2c '你好，使用python写一段生成斐波那契数列的代码'

python代码里使用.

结论：测了一些我这边工作上的业务问题，效果一般，可能升到更多参数的模型效果会好一些。

如果效果差不多，我其实是偏向于使用llama的，比较本地llama不需要考虑openai api的ratelimit（当然你可以用Azure的gpt api来缓解）。