基于llama.cpp学习开源LLM本地部署

目录

前言

一、llama.cpp是什么?

二、使用步骤

1.下载编译llama.cpp

2. 普通编译

3. BLAS编译

3.1、OpenBLAS 编译 CPU版

3.2 cuBLAS 编译GPU版本

4. 模型量化

4.1、模型文件下载:

你可能感兴趣的:(llama,学习)