使用llama.cpp在本地搭建vicuna 13B语言模型

有人做了windows下的脚本放到github上了,直接运行就可以了。我在本机试了一下13B的模型能运行,但生成速度非常慢,回复一个问题基本上要花5分钟以上的时间。我的机器配置 3900X 32G内存。

https://github.com/mps256/vicuna.ps1

使用llama.cpp在本地搭建vicuna 13B语言模型_第1张图片

你可能感兴趣的:(llama,语言模型,人工智能)