Faiss的第一个示例 Flat

Faiss的第一个示例 Flat

flyfish

代码分析
将数据的维度变小，代码量变小以便分析

import mkl
mkl.get_max_threads()
import numpy as np

d = 3#                           # dimension
nb = 10#                  # database size
nq = 2#                    # nb of queries
np.random.seed(1234)             # make reproducible
xb = np.random.random((nb, d)).astype('float32')
print("xb:",xb)
xb[:, 0] += np.arange(nb) / 1000.
xq = np.random.random((nq, d)).astype('float32')
print("xq：",xq)
xq[:, 0] += np.arange(nq) / 1000.
print("xb:",xb)
print("xq：",xq)
import faiss                   # make faiss available
index = faiss.IndexFlatL2(d)   # build the index
print(index.is_trained)
index.add(xb)                  # add vectors to the index
print(index.ntotal)

k = 4                          # we want to see 4 nearest neighbors
D, I = index.search(xq, k)     # actual search

print("I:",I)
print("D:",D)

xb：数据库向量，维度是(nb,d) 这里是（10,3）
xq：查询向量，维度是(nq,d) 这里是（2,3）

np.random.seed(1234)
指定生成“特定”的随机数-与seed 1234 相关，下次生成的数据会与第一次生成的随机数相同
如果seed中参数为空，则生成的随机数“完全”随机

xb[:, 0] += np.arange(nb) / 1000. 的作用
每条数据的第一个元素全都加上了该条数据的index
np.random.random产生的数据是[0.0, 1.0)
如果不加， 则top1是该条数据本身。

#输出
xb: [[0.19151945 0.62210876 0.43772775]
 [0.7853586  0.77997583 0.2725926 ]
 [0.27646425 0.8018722  0.95813936]
 [0.87593263 0.35781726 0.5009951 ]
 [0.6834629  0.71270204 0.37025076]
 [0.5611962  0.50308317 0.01376845]
 [0.7728266  0.8826412  0.364886  ]
 [0.6153962  0.07538124 0.368824  ]
 [0.9331401  0.65137815 0.39720258]
 [0.78873014 0.31683612 0.56809866]]
xq： [[0.8691274  0.4361734  0.8021476 ]
 [0.14376682 0.70426095 0.7045813 ]]
xb: [[0.19151945 0.62210876 0.43772775]
 [0.7863586  0.77997583 0.2725926 ]
 [0.27846426 0.8018722  0.95813936]
 [0.87893265 0.35781726 0.5009951 ]
 [0.6874629  0.71270204 0.37025076]
 [0.5661962  0.50308317 0.01376845]
 [0.7788266  0.8826412  0.364886  ]
 [0.62239623 0.07538124 0.368824  ]
 [0.9411401  0.65137815 0.39720258]
 [0.79773015 0.31683612 0.56809866]]
xq： [[0.8691274  0.4361734  0.8021476 ]
 [0.14476682 0.70426095 0.7045813 ]]
True
10
I: [[9 3 8 4]
 [0 2 4 6]]
D: [[0.07411814 0.09692883 0.21547961 0.296005  ]
 [0.08014572 0.09169459 0.40636742 0.54924417]]

is_trianed：索引是否已经被训练过
ntotal：得到当前索引中向量的个数
IndexFlatL2，这是暴力检索L2距离

add方法用于向Index中添加xb向量
search方法用于在add向量后的索引中检索xq的k个近邻

最后的输出
I表示索引，D表示距离
例如以查找对象xq的第一个向量[0.8691274 0.4361734 0.8021476 ]为例
4个近邻的索引[9 3 8 4]
每个向量与xq的第一个向量的距离是 [0.07411814 0.09692883 0.21547961 0.296005 ]