开源向量数据库--milvus

Milvus 是一款开源的向量相似度搜索引擎，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。Milvus 集成了 Faiss、NMSLIB、Annoy 等广泛应用的向量索引库，提供了一整套简单直观的 API，让你可以针对不同场景选择不同的索引类型。此外，Milvus 还可以对标量数据进行过滤，进一步提高了召回率，增强了搜索的灵活性。

特性

• 异构计算

1. 优化了基于 GPU 搜索向量和建立索引的性能
2. 可以在单台通用服务器上完成对 TB 级数据的毫秒级搜索
3. 动态数据管理

• 支持主流索引库、距离计算方式和监控工具

1. 集成了 Faiss、NMSLIB、Annoy 等向量索引库
2. 支持基于量化的索引、基于图的索引和基于树的索引
3. 相似度计算方式包括欧氏距离 (L2)、内积 (IP)、汉明距离、杰卡德距离等
4. Prometheus 作为监控和性能指标存储方案，Grafana 作为可视化组件进行数据展示

• 近实时搜索

1. 插入 Milvus 的数据默认在 1 秒后即可被搜索到

向量距离

欧式距离L2

内积

杰卡德距离

谷本距离

汉明距离

---

python SDK

pip3 install pymilvus

from milvus import Milvus, IndexType, MetricType, Status


milvus = Milvus(host='localhost', port='19530')
milvus = Milvus(uri='tcp://localhost:19530')

• 创建集合
  • 创建集合名为 test01，维度为 256，自动创建索引的数据文件大小为 1024 MB，距离度量方式为欧氏距离（L2）的集合

param = {'collection_name':'test01', 'dimension':256, 'index_file_size':1024, 'metric_type':MetricType.L2}


milvus.create_collection(param)

• 删除集合

milvus.drop_collection(collection_name='test01')

• 创建分区

milvus.create_partition('test01', 'tag01')

• 删除分区

milvus.drop_partition(collection_name='test01', partition_tag='tag01')

• 在集合中插入向量

import random
vectors = [[random.random() for _ in range(256)] for _ in range(20)]

milvus.insert(collection_name='test01', records=vectors)


自定义id
vector_ids = [id for id in range(20)]
milvus.insert(collection_name='test01', records=vectors, ids=vector_ids)

• 在分区中插入向量

milvus.insert('test01', vectors, partition_tag="tag01")

• 通过id删除

ids = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19]

milvus.delete_entity_by_id(collection_name='test01', id_array=ids)

• 创建索引

ivf_param = {'nlist': 16384}
milvus.create_index('test01', IndexType.IVF_FLAT, ivf_param)

• 删除索引

milvus.drop_index('test01')

• 查询向量

search_param = {'nprobe': 16}
q_records = [[random.random() for _ in range(256)] for _ in range(5)]
milvus.search(collection_name='test01', query_records=q_records, top_k=2, params=search_param)


top_k 指的是向量空间中距离目标向量最近的 k 个向量
top_k 的范围为：[1, 16384]。

• 分区中查询向量

q_records = [[random.random() for _ in range(256)] for _ in range(5)]
milvus.search(collection_name='test01', query_records=q_records, top_k=1, partition_tags=['tag01'], params=search_param)

• 数据落盘 对数据进行修改后 落时间1s

milvus.flush(collection_name_array=['test01'])

• 数据段整理

一个集合可包含多个数据段。如果一个数据段中的向量数据被删除，其所占据的空间并不会自动释放。

milvus.compact(collection_name='test01', timeout=1)