清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。

清华和哈工大把大模型量化做到了1比特。

在追求更高效的机器学习模型部署时，模型量化技术应运而生，它通过降低权重矩阵的位宽来显著减少大型语言模型的存储和计算需求。

我们一般的双精度浮点型double是64位，单精度浮点型float是32位。早年RoBERTa等大模型训练时把精度压缩到了16位的半精度FP16。近年来，大语言模型量化一般都只敢玩到4位或8位量化，因为要是把位宽压得太狠，性能就会直线下滑。

最近，清华和哈工大提出了一个名为OneBit的1位量化感知训练框架把大模型量化做到了1比特，同时保证了时间和空间效率以及模型性能之间的平衡，至少能达到非量化性能的83%，而且训练过程还特别稳定。

OneBit框架采用创新的1比特参数表示方法，精确量化LLM。同时，结合高效的矩阵分解初始化策略——Sign-Value-Independent Decomposition（SVID），显著提升框架收敛