AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

Llamp.cpp环境配置

git clone [email protected]:ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

生成的文件在.\build\bin\，我们要用的是main.exe，bin\main.exe -h查看使用帮助

Chinese-LLaMA-Alpaca-2模型介绍

本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升

项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2

模型下载

我们选择2-7B的版本，进入huggingface：https://huggingface.co/hfl/chinese-llama-2-7b