近似最近邻搜索算法

定义：

采用分而治之思想，将原始数据通过映射方法划分到不同的向量空间，针对大规模的搜索任务，通过映射函数在向量相似的空间进行遍历查询。

常用的几种算法：

基于图的索引量化法：HNSW
基于树：Annoy
基于哈希：SLH

HNSW（Hierarchical Navigable Small World）

是通过贪心算法遍历图，找出当前数据集中的最近邻点（局部最小值），以此作为插入并构建生成层状网络图，通过在下一层中不断寻找最近邻点插入构建，从而完成对特征向量集的维度分层、数据压缩、索引生成。检索时，采用自上而下的搜索方式，即从最顶层开始粗略搜索，然后逐步向下层搜索，直到最底层精确搜索。

根据Benchmark上的ANN算法的测试，HNSW算法在查询速度和精度上优于其他算法，但是占用内存大。

HNSW代码

import hnswlib
import time
import os
import psutil
def get_ann(length,dimen):
    start_time = time.time()
    pid = os.getpid()
    pp = psutil.Process(pid)
    info_start = pp.memory_full_info().uss/1024/1024
    #向量维度
    dim = dimen
    num_elements = length
    data = X
    data_labels = np.arange(num_elements)
    # 声明索引
    p = hnswlib.Index(space = 'l2', dim = dim) # hnswlib支持的距离有L2距离，向量内积以及cosine相似度
    # 初始化index
    p.init_index(max_elements = num_elements, ef_construction = 100, M = 16)
    # ef: 动态检索链表的大小。ef必须设置的比检索最近邻的个数K大。ef取值范围为k到集合大小之间的任意值。
    p.set_ef(50) 
    p.set_num_threads(4)#cpu多线程并行计算时所占用的线程数
    
    #构建items
    p.add_items(X, data_labels)
    index_path = 'data.bin'
    p.save_index(index_path)
    global labels, distances
    labels, distances = p.knn_query(data, k = 10)
    
    info_end=pp.memory_full_info().uss/1024/1024
    print('用时：%.2f s' % (time.time()-start_time))
    print('运行占内存'+str(info_end-info_start)+'MB')
get_ann(X.shape[0],X.shape[1])  

Annoy

基本思路：
给定一个查询向量，在一个庞大的向量集合中，找到与查询向量最相似的k个目标向量。工作原理：采用随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到一个可接受的范围，然后建立多个随机投影树构成随机投影森林，将森林的综合结果作为最终结果。
如何构建随机森林：
随机选取一个向量，该向量经过原点，垂直于该向量的直线将平面内的点划分为两个部分，这两个部分的点分别划分给左子树和右子树。用数学语言是说，计算各个点与垂直向量的点积，若点积大于零的点划分到左子树，点积小于零的点划分到右子树。
优点：
索引小、内存占用小

Annoy代码

from annoy import AnnoyIndex
import time
import os
import psutil
# from guppy3 import hpy
def get_nn(length,dimen):
    start_time = time.time()#开始时间
    pid = os.getpid()
    p = psutil.Process(pid)
#     根据pid找到进程，进而找到占用的内存值
    info_start = p.memory_full_info().uss/1024/1024
    
    f = dimen#X的维度
    t = AnnoyIndex(f,'angular')#返回可读写的新索引，用于存储f维度向量
    for i in range(length):
        v = X[i]
        t.add_item(i,v)#构建 n_trees 的森林。查询时，树越多，精度越高。在调用build后，无法再添加任何向量。
    t.build(10)
    t.save('ann.ann')#将索引保存
    u = AnnoyIndex(f,'angular')
    u.load('ann.ann')
    global nn_list
    nn_list = []
    for i in range(length):
        nn_list.append(u.get_nns_by_item(i,10))#返回第i 个item的n个最近邻的item
        
 
    info_end=p.memory_full_info().uss/1024/1024
    print('用时：%s秒' % (time.time()-start_time))
    print('运行占内存'+str(info_end-info_start)+'MB')
    
    return nn_list
    
get_nn(len(X),X.shape[1])