(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
由于本文太长,分开发布,方便阅读.3.1CPU(i5-6200U,2C/4T/2.8GHz)x86_64AVX2在4号PC(物理机)上运行.版本:>./llama-b3617-bin-ubuntu-x64/build/bin/llama-cli--versionversion:3617(a07c32ea)builtwithcc(Ubuntu11.4.0-1ubuntu1~22.04)11.4.0f