DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 量化高精校准

下载方法

SDK下载

#安装ModelScope

pip install modelscope

#SDK模型下载

from modelscope import snapshot_download

model_dir = snapshot_download('okwinds/DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/okwinds/DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16.git

模型概述

DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 是一个基于 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 的 Int8 量化的模型。

<