正式支持 NVIDIA A100，吞吐量提高 10 倍的Milvus Cloud2.3 使用指南

Milvus 2.3 正式支持 NVIDIA A100！

作为为数不多的支持 GPU 的向量数据库产品，Milvus 2.3 在吞吐量和低延迟方面都带来了显著的变化，尤其是与此前的 CPU 版本相比，不仅吞吐量提高了 10 倍，还能将延迟控制在极低的水准。

不过，正如我前面提到的，鲜有向量数据库支持 GPU，这其中除了有技术门槛较高的因素外，还涉及诸多不确定性的问题。那么，Milvus 为什么要做一件充满挑战的事情？

回想 Milvus 决定支持 GPU 的场景，很多细节仍旧历历在目。当时，随着 LLM 的兴起，用户对于向量数据库的性能提出了更高的要求，尤其是在一些对性能、延迟有着极高要求的场景，只通过 CPU 索引来支撑的难度越来越高，而 GPU 有着非常强大的并行处理能力。

因此，我们决定在 Milvus 2.3 版本中支持 GPU。幸运的是，来自 NVIDIA 的小伙伴给予了我们诸多支持，他们主动给我们提供了Rapid Raft GPU 索引接入 Milvus 的支持代码。在 NVIDIA 和 Milvus 团队的共同努力下，Milvus GPU 版本如约而至。