DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？

DeepSeek掀起了生成式AI领域的风暴。

首先推出DeepSeek-v3，现在推出DeepSeek-R1，这两款模型都打破了所有基准，并且完全开源。

但今天我们不是在讨论这两款超级模型，而是讨论DeepSeek-R1的一个蒸馏版本——DeepSeek-R1-Distill-Qwen-1.5B，它可能是今天被低估的版本，虽然只有15亿个参数，但它悄无声息地在一些主要基准上超越了GPT-4和Claude 3.5 Sonnet。

首先，让我们了解一下：

什么是DeepSeek-R1的蒸馏模型？

DeepSeek-R1的蒸馏模型是通过蒸馏技术从更大版本的DeepSeek-R1模型中提取出来的紧凑高效版本。

这个过程将大型模型的知识和推理能力转移到更小的模型中，使它们能够在推理任务上表现良好，同时更加轻量、节省资源，并且更容易部署。

DeepSeek-R1发布的不同蒸馏模型包括：

• DeepSeek-R1-Distill-Qwen系列：1.5B，7B，14B，32B。

• DeepSeek-R1-Distill-Llama系列：8B，70B。