5000元组装一台本地运行中、小模型主机,参考配置 (运行DeepSeek、Qwen)

5000元组装一台本地运行中、小模型主机,参考配置 (运行DeepSeek、Qwen)

5000元组装一台本地运行中、小模型主机,参考配置 (运行DeepSeek、Qwen)_第1张图片

5000元中、小模型主机 DeepSeek、Qwen 各精度模型推荐启动方式

模型名称

参数量

精度

模型大小

推荐运行模式

DeepSeek R1

7b

Q4

5 GB

LM Studio纯GPU

14b

Q4

9 GB

LM Studio纯GPU

32b

Q4

20 GB

LM Studio纯GPU

Q8

35 GB

Ollama纯CPU

FP16

66 GB

Ollama纯CPU

70b

Q4

43 GB

Ollama纯CPU

Q8

75 GB

FP16

141 GB

671b

Q4

404 GB

不能运行

(增大虚拟内存可启动)

Q8

713 GB

FP16

1.3 TB

Qwen

qwq

32b

Q4

20GB

LM Studio纯GPU

Q8

35GB

LM Studio GPU+CPU

FP16

66GB

Ollama纯CPU

Ollama下载模型拷贝到 LM Studio \models 目录下需要建立两层子目录,并改文件格式为.gguf

C:\Users\Administrator\.lmstudio\models\Qwen\Qwq\qwq-fp16.gguf    

你可能感兴趣的:(DeepSeek,人工智能)