在Windows CPU上使用oobabooga webui部署llama.cpp量化的LLaMA2模型
首先安装oobabooga/text-generation-webuigitclonehttps://github.com/oobabooga/text-generation-webui.git运行start_windows.bat进行配置,先在脚本里安装miniconda环境,然后运行one_click.py配置python环境,可以改one_click.py的部分代码使用清华的镜像源,其中re