建立自己的ChatGPT：LLama私有化部署及测试

大语言模型（LLM）现在非常流行，可惜ChatGPT等都不开源。大家没法搭建一个自己的环境来感受以下。幸好Meta开源了LLama，这是LLama的介绍：

https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

具体技术细节请看论文：

LLaMA: Open and Efficient Foundation Language Models

以 Meta 开源 LLaMA（直译为「大羊驼」）系列模型为起点，斯坦福大学等机构的研究人员先后在其上进行「二创」，开源了基于 LLaMA 的 Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型，大大降低了这类模型的研究、应用门槛，训练、推理成本一再降低。

近日，来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学、加州大学圣迭戈分校的研究者们又提出了一个新的模型 ——Vicuna（小羊驼）。这个模型也是基于 LLaMA，不过用到的是 13B 参数量的版本。

这个项目有趣的地方在于，作者在评测环节并没有通过某种「标准化考试」来测定模型性能（因为他们认为这些问题测不出模型在对话中的变通能力），而是让 GPT-4 当「考官」，看看 GPT-4 更倾向于 Vicuna-13B 还是其他基线模型的答案。结果显示，GPT-4 在超过 90% 的问题中更倾向于 Vicuna，并且 Vicuna 在总分上达到了 ChatGPT 的 92%。

经过他们优化后，大家也可以在自己的CPU环境上体验一下了。

LLama共有4种模型：

一般的笔记本也就只能玩得起7B和13B两种了。下面是我在CPU环境上的搭建过程。

模型下载地址：

eachadea/ggml-vicuna-13b-4bit · Hugging Face

运行程序可以使用LLAMA.cpp, github地址：

https://github.com/ggerganov/llama.cpp

可以直接下载编译后的程序：

https://github.com/ggerganov/llama.cpp/releases

随便选一个编译的解压（我用的llama-master-698f7b5-bin-win-avx2-x64.zip）并把模型文件放在同一个目录下

然后为了方便每次使用，写一个bat文件，内容如下:

@echo off
".\main.exe" -ins -m .\ggml-vicuna-13b-4bit-rev1.bin

直接执行这个Bat文件或者命令行执行这个命令都行。

效果如图：

7B的与13B的类似，就不重复说了。