Faiss(二)基础索引

参考链接:

Faiss入门及应用经验记录 - 知乎

Faiss indexes · facebookresearch/faiss Wiki · GitHub

Faiss提供了多种索引,本篇介绍一些基础索引。

基础索引
Method Class name index_factory Main param Exhaustive Comments
精确搜索--L2 IndexFlatL2 "Flat" d--向量维数 暴力搜索
精确搜索--内积(IP) IndexFlatIP "Flat" d 也可以将向量标准化后使用cosine相似度
Hierarchical Navigable Small World(HNSW)图搜索 IndexHNSWFlat "HNSWx,Flat" d x表示构建图索引时每个节点最多连接多少个节点
倒排索引(IVF) IndexIVFFlat "IVFx,Flat" quantizer(量化器),d,nlists(聚类个数),metric(相似度度量) x对应参数中的nlists,表示聚类个数
局部敏感哈希表(LSH) IndexLSH - d,nbits
标量量化(SQ)(flat) IndexScalarQuantizer "SQx" d x表示编码位数,可以是4bits,6bits,8bits
乘积量化(PQ)(flat) IndexPQ

"PQx",

"PQ"x"x"nbits

d,M,nbits x对应参数中的M,表示将d维向量分成几个子向量,nbits表示用几个bit表示向量
IVF + SQ IndexIVF-ScalarQuantizer

"IVFx,SQ4"

"IVFx,SQ8"

quantizer.d.

nlists,qtype

IVFADC(粗量化器+PQ残差) IndexIVFPQ "IVFx,PQ"y"x"nbits

quantizer.d.nlists,

M,nbits

IVFADC+R(与IVFADC相同,增加了重新排序-re-ranking) IndexIVFPQR "IVFx,PQy+z"

quantizer.d.

nlists,M,nbits,

M_refine,

nbits_refine


(1)Flat---暴力检索

Flat indexes只是将向量编码为固定大小的代码,并将它们存储在ntotal * code_size字节数组中。
在搜索时,所有索引向量被顺序解码,并与查询向量进行比较。对于IndexPQ,比较是在压缩域中完成的,速度更快。

  • 优点:该方法是Faiss所有index中最准确的,召回率最高的方法,没有之一;
  • 缺点:速度慢,占内存大。
  • 使用情况:向量候选集很少,在50万以内,并且内存不紧张。

代码示例:

param =  'Flat'
index = faiss.index_factory(dim, param, faiss.METRIC_L2)
index.is_trained                                   # 输出为True
index.add(xb)                                      # 向index中添加向量

(2)IVFx Flat---倒排暴力检索

采用一种像k-means的分区技术加快检索进程,但损失一定精确度。相应的算法有时被称为cell-probe方法。

  • 优点:IVF主要利用倒排的思想,在文档检索场景下的倒排技术是指,一个kw后面挂上很多个包含该词的doc,由于kw数量远远小于doc,因此会大大减少了检索的时间。在向量中如何使用倒排呢?可以拿出每个聚类中心下的向量ID,每个中心ID后面挂上一堆非中心向量,每次查询向量的时候找到最近的几个中心ID,分别搜索这几个中心下的非中心向量。通过减小搜索范围,提升搜索效率。
  • 缺点:速度也还不是很快。
  • 使用情况:同Flat,
  • 参数:IVFx中的x是k-means聚类中心的个数

代码示例:

param =  'IVF100, Flat'                          # 代表k-means聚类中心为100,   
index = faiss.index_factory(dim, param, faiss.METRIC_L2 )
print(index.is_trained)                          # 此时输出为False,因为倒排索引需要训练k-means,
index.train(xb)                                  # 因此需要先训练index,再add向量
index.add(xb)    

(3)PQx---乘积量化

  • 优点:利用乘积量化的方法,改进了普通检索,将一个向量的维度切成x段,每段分别进行检索,每段向量的检索结果取交集后得出最后的TopK。因此速度很快,而且占用内存较小,召回率也相对较高。
  • 缺点:召回率相较于暴力检索,下降较多。
  • 使用情况:内存及其稀缺,并且需要较快的检索速度,不那么在意召回率
  • 参数:PQx中的x为将向量切分的段数,因此,x需要被向量维度整除,且x越大,切分越细致,时间复杂度越高;nbits表示用几个bit表示向量,只能取8,12,16。

代码示例:

param =  'PQ16' 
index = faiss.index_factory(dim, param, faiss.METRIC_L2 )
print(index.is_trained)                          # 此时输出为False,因为倒排索引需要训练k-means,
index.train(xb)                                  # 因此需要先训练index,再add向量
index.add(xb) 

(4)IVFxPQy---倒排乘积量化

  • 优点:工业界大量使用此方法,各项指标都均可以接受,利用乘积量化的方法,改进了IVF的k-means,将一个向量的维度切成x段,每段分别进行k-means再检索。
  • 缺点:集百家之长,自然也集百家之短
  • 使用情况:一般来说,各方面没啥特殊的极端要求的话,最推荐使用这种方法
  • 参数:IVFx,PQy,其中的x和y同上

代码示例:

coarse_quantizer = faiss.IndexFlatL2 (d)
index = faiss.IndexIVFPQ (coarse_quantizer, d,
                          ncentroids, code_size, 8)
index.nprobe = 5

(5)LSH---局部敏感哈希

  • 原理:哈希对大家再熟悉不过,向量
  • 也可以采用哈希来加速查找,我们这里说的哈希指的是局部敏感哈希(Locality Sensitive Hashing,LSH),不同于传统哈希尽量不产生碰撞,局部敏感哈希依赖碰撞来查找近邻。高维空间的两点若距离很近,那么设计一种哈希函数对这两点进行哈希值计算,使得他们哈希值有很大的概率是一样的,若两点之间的距离较远,他们哈希值相同的概率会很小。不同距离度量的哈希函数不同,不是所有距离度量(如内积)都能找到对应局部敏感哈希。摘自这篇文章。
  • 优点:训练非常快,支持分批导入,index占内存很小,检索也比较快
  • 缺点:召回率非常拉垮。在候选语料比较多的时候(亿级别),检索也不是特别快,大概是秒级别的。
  • 使用情况:候选向量库非常大,离线检索,内存资源比较稀缺的情况

代码示例:

n_bits = 2 * d
lsh = faiss.IndexLSH (d, n_bits)
lsh.train (x_train)
lsh.add (x_base)
D, I = lsh.search (x_query, k)

(6)HNSWx

  • 优点:该方法为基于图检索的改进方法,检索速度极快,10亿级别秒出检索结果,而且召回率几乎可以媲美Flat,能达到惊人的97%。检索的时间复杂度为loglogn,几乎可以无视候选向量的量级了。并且支持分批导入,极其适合线上任务,毫秒级别体验。
  • 缺点:构建索引极慢,占用内存极大(是Faiss中最大的,大于原向量占用的内存大小)
  • 参数:HNSWx中的x为构建图时每个点最多连接多少个节点,x越大,构图越复杂,查询越精确,当然构建index时间也就越慢,x取4~64中的任何一个整数。
  • 使用情况:不在乎内存,并且有充裕的时间来构建index
  • IndexHNSW支持的Flat索引有IndexHNSWFlat (no encoding)IndexHNSWSQ (scalar quantizer)IndexHNSWPQ (product quantizer)IndexHNSW2Level (two-level encoding).

代码示例:

param =  'HNSW64' 
index = faiss.index_factory(dim, param, faiss.METRIC_L2 )  
print(index.is_trained)                          # 此时输出为True 
index.add(xb)

其中(1)(2)(3)(6)通过类构造器建立索引,(4)(5)通过index_factory建立索引,两种方式都可以。

你可能感兴趣的:(Faiss,python)