Elasticsearch向量数据存储与搜索
1. 向量数据存储
Elasticsearch 支持向量数据类型，可以通过 dense_vector 字段类型来存储固定长度的浮点数数组，这些数组通常代表向量。这种类型的字段可以用于机器学习模型的特征向量存储。
创建带有向量字段的索引
PUT /my_index
{
"mappings": {
"properties": {
"my_vector": {
"type": "dense_vector",
"dims": 3 // 向量的维度大小。当index为true时，不能超过1024；当index为false时，不能超过2048 。
},
"my_text": {
"type": "keyword"
}
}
}
} 在这个例子中，我们创建了一个名为 my_index 的索引，其中包含一个名为 my_vector 的 dense_vector 字段，该字段用于存储 3 维的向量，还可以添加一些内容比如my_text。
向索引中添加向量数据
POST /my_index/_doc/1
{
"my_text": "一段文字描述的内容",
"my_vector": [4.0, 3.5, 2.5]
} 这将向 my_index 索引中添加一个文档，其中包含一个向量和一些文本。
2. 向量数据搜索
Elasticsearch 允许使用向量字段执行余弦相似度、欧氏距离或点积等相似度度量的搜索查询。
使用脚本查询进行向量相似度搜索
GET /my_index/_search
{
"query": {
"script_score": {
"query": {"match_all": {}},
"script": {
"source": "cosineSimilarity(params.query_vector, 'my_vector') + 1.0",
"params": {
"query_vector": [4, 3.5, 2.5]
}
}
}
}
} 在此查询中，我们使用了 script_score 查询以计算每个文档的 my_vector 字段与查询向量之间的余弦相似度。+1.0 是为了确保脚本返回的分数是非负的，因为余弦相似度的范围是 [-1, 1]。
注意：向量字段下index参数设置false或不要指定，可提高检索效率
使用KNN查询进行向量相似度搜索
注意：创建近似KNN时（近似KNN搜索是在8.0版本新增的），索引mapping必须设置index为true，并指定similarity参数值，Mapping如下
{
"mappings": {
"properties": {
"file-vector": {
"type": "dense_vector",//用来存储浮点数的密集向量。需要设置为dense_vector。
"dims": 3,//向量的维度大小。当index为true时，不能超过1024；当index为false时，不能超过2048 。
"index": true,//是否为kNN生成新的索引。实现近似kNN查询时，需要将index设置为true，默认为false。
"similarity": "l2_norm"//文档间的相似度算法。index为true时，此值必须设置，可以是 l2_norm 、dot_product、cosine 其中之一
},
"title": {
"type": "text"
},
"name": {
"type": "keyword"
}
}
}
}检索
{
"knn": {
"field": "file-vector",
"query_vector": [-5, 9, -12],
"k": 10,
"num_candidates": 100
},
"fields": [ "title", "name" ]
}| 参数 | 是否必选 | 说明 |
|---|---|---|
| field | 是 | 要搜索的向量字段名称。必须是向量字段 |
| query_vector | 是 | 查询向量，必须与field指定的向量数据具有相同的维度。 |
| k | 是 | 返回的最近邻对象的数量。该值必须小于 num_candidates |
| num_candidates | 是 | 每个分片上需查找的最近邻候选对象的个数，不能超过10000。 Elasticsearch 从每个分片收集 num_candidates 个结果，然后将它们合并以查找前 k 个结果。 说明 增加 num_candidates 往往会提高最终 k 结果的准确性，但相应搜索速度会变慢 |
| filter | 否 | 通过DSL语句过滤文档。kNN从过滤后的文档中返回前K个文档，如果不指定过滤器，将对所有文档做kNN近似计算。 |
更详细的可以看这里
使用脚本查询Vs使用KNN查询
KNN查询：
近似kNN以较慢的索引速度和较低的准确性为代价来降低延迟，但无法与 Query DSL 一起使用，即无法进行混合搜索。。
适用于大规模数据集: KNN搜索对大规模数据集进行相似性搜索时具有较好的性能。
脚本查询：
这种搜索方式是先执行 query ，然后对匹配的文档再进行向量相似度算分，其隐含的含义是：
- 向量字段可以与其它字段类型一起使用，也就是支持混合查询（先进行全文搜索，再基于搜索结果进行向量搜索）。
script_score是一种暴力计算，数据集越大，性能损耗就越大。
总结
Elasticsearch的KNN搜索提供了一种高效的方法来找到最相似的文档，搜索速度非常快，但可能会受到资源消耗影响。而"script_score"查询则提供了更大的灵活性和复杂度控制且精确度高，但可能会带来性能开销和可维护性的问题。选择哪种方法取决于特定的用例、性能要求和技术能力。