llama.cpp LLM模型 windows cpu安装部署

参考:
https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/
https://blog.csdn.net/qq_38238956/article/details/130113599

cmake windows安装参考:https://blog.csdn.net/weixin_42357472/article/details/131314105

llama.cpp下载编译

1、下载:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

2、编译

mkdir build
cd build
cmake ..
cmake --build . --config Release

llama.cpp LLM模型 windows cpu安装部署_第1张图片

3、测试运行

cd bin\Release
./main -h

llama.cpp LLM模型 windows cpu安装部署_第2张图片

你可能感兴趣的:(c++,深度学习,llama)