Milvus检索数据库安装和使用(一)

Milvus基本概念（类比mysql等关系数据库）：

	数据库： default
	表：     collection
	表结构：  CollectionSchema
	一条数据： entitie

如需安装Milvus，见下面第二点

1 python 操作Milvus

1.1 Milvus 连接

• 安装pymilvus包
  pip install PyMilvus==2.2.11
• 连接milvus数据库，选择数据库名称（默认default）,输入ip和端口

from pymilvus import (
    connections,
    utility,
    FieldSchema,
    CollectionSchema,
    DataType,
    Collection,
)
# 使用默认数据库 ‘default’,也可以自己建数据库
connections.connect("default", host="localhost", port="19530")

1.2 创建集合（数据库中的表）

创建Collection（表），需要先定义好表结构（即filelds）
①下面代码先建一个表结构，再封装为一个schema
② 再使用Collection建一个名为”hello_milvus“的集合表

fields = [
    FieldSchema(name="pk", dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(name="random", dtype=DataType.DOUBLE),
    FieldSchema(name="embeddings", dtype=DataType.FLOAT_VECTOR, dim=8)
]
schema = CollectionSchema(fields, "hello_milvus is the simplest demo to introduce the APIs")
hello_milvus = Collection("hello_milvus", schema)

1.3 数据插入

下面的entities 就一条数据，与上面的表结构相对应。
若上面表结构设置

import random
entities = [
    [i for i in range(3000)],  # field pk
    [float(random.randrange(-20, -10)) for _ in range(3000)],  # field random
    [[random.random() for _ in range(8)] for _ in range(3000)],  # field embeddings
]
insert_result = hello_milvus.insert(entities)
hello_milvus.flush()  

1.4 构建索引

只有使用索引，向量检索时才快，不然会使用暴力搜索方式。
索引选择可以参考 https://milvus.io/docs/index.md

index = {
    "index_type": "IVF_FLAT",
    "metric_type": "L2",
    "params": {"nlist": 128},
}
hello_milvus.create_index("embeddings", index)

1.5 向量检索

• 普通查找
  直接在collection全量向量中进行查找Top3

hello_milvus.load()
vectors_to_search =[[random.random() for _ in range(8)]]
search_params = {
    "metric_type": "L2",
    "params": {"nprobe": 10},
}
result = hello_milvus.search(vectors_to_search, "embeddings", search_params, limit=3, output_fields=["random"])

• 带条件查找
  如下查找指定条件下的向量，如下代码为在random值大于-12的向量中进行检索查找Top3.

result = hello_milvus.search(vectors_to_search, "embeddings", search_params, limit=3, expr="random > -12", output_fields=["random"])

• 查找结果分析

for hits in result:
    for hit in hits:
        print(f"hit: {hit}, random field: {hit.entity.get('random')}")

hit: (distance: 0.07080483436584473, id: 2060), random field: -12.0
hit: (distance: 0.0729561522603035, id: 1647), random field: 15.0
hit: (distance: 0.08006095886230469, id: 2530), random field: -15.0
search latency = 0.0080s

1.6 删除指定entities 数据

若需要删除表中数据，可以指定删除条件，
下面代码表示删除第一个，和第二个数据

expr = f"pk in [{entities[0]}, {entities[1]}]"
hello_milvus.delete(expr)

1.7 删掉数据库中表

如需要删除数据库中的表，使用以下命令：

utility.drop_collection("hello_milvus")

2 安装

使用docker安装standalone 模式Milvus集群

• step1:下载docker 编排文件

wget https://github.com/milvus-io/milvus/releases/download/v2.2.11/milvus-standalone-docker-compose.yml -O docker-compose.yml

• step2: 启动docker 文件（第一次会下载所需的docker镜像，比较慢）

 sudo docker-compose up -d

• step3 ：检查docker 容器是否启动，和启动的端口（默认是19530）

sudo docker-compose ps
docker port milvus-standalone 19530/tcp

• step4: 停止Milvus 集群(可选)

sudo docker-compose down