Milvus的索引方式

索引方式:

Milvus的索引方式_第1张图片

FLAT:准确率高, 适合数据量小

        暴力求解相似。

IVF-FLAT:量化操作, 准确率和速度的平衡

        IVF:inverted file

                   先对空间的点进行聚类,查询时先比较聚类中心距离,再找到最近的N个点。

IVF-SQ8:量化操作,disk cpu GPU 友好

SQ8:对向量做标量量化,浮点数表示转为int型表示,4字节->1字节。

IVF-PQ:快速,但是准确率降低

        把向量切分成m段,对每段进行聚类;查询时,查询向量分端后与聚类中心计算距离,各段相加后即为最终距离。使用对称距离(聚类中心之前的距离)不需要计算直接查表,但是误差回更大一些。

HNSW:基于图的索引,高效搜索场景

HNSW:构建多层的NSW。

ANN召回算法之HNSW - 知乎

ANNOY:基于树的索引,高召回率

 

相关学习链接:

官方地址

milvus向量索引

ANN召回算法之IVFPQ

Faiss中的IVF和PQ原理

你可能感兴趣的:(深度学习,自然语言处理,milvus,自然语言处理,transformer)