ElasticSearch实现基于经纬度的附近搜索
ElasticSearch除了支持文本检索外，还支持地理信息检索。它主要支持两种类型的地理查询：一种是地理点(geo_point)，即经纬度查询，另一种是地理形状查询(geo_shape)，即支持点、线、圈、多边形查询等。
ElasticSearch实现经纬度附近搜索
1、创建映射(mapping)
import requests
import json
attractions_url = "http://localhost:9200/attractions?include_type_name=true"
data = {
"mappings": {
"hotel": {
"properties": {
"name": {
"type": "text"
},
"location": {
"type": "geo_point"
}
}
}
}
}
json_data = json.loads(json.dumps(data))
r = requests.put(url=attractions_url, json=json_data)
print(r.status_code)
print(r.text)
对于某些特殊的查询，例如矩形范围查询，可以通过分别对lat和lon进行索引以提高查询速度。因为矩形范围的查询完全可以先通过lat过滤，再通过lon过滤。要实现此功能只需在location节点下添加”lat_lon”: true即可。
2、添加数据（插入文档）
import requests
import json
import pandas as pd
f = pd.read_csv("data.csv")
for index, row in df.iterrows():
url = "http://localhost:9200/attractions/hotel/{0}".format(index)
data = {"name": str(int(row['hotel_id'])), "location": {"lat": row['lat'], "lon": row['lon']}}
json_data = json.loads(json.dumps(data))
r = requests.put(url, json=json_data)
插入文档时，有三种格式的属性可以被映射为 geo_point 类型：
- string：格式为lat,lon
- double []：格式为[lon, lat]
- json：格式为{ “lat”: lat, “lon”: lon}
注意：数组格式是 lon 在前，lat 在后，而字符串格式正好相反。
3、查询
Elasticsearch 的地理位置查询，实际是使用过滤器对所有文档进行过滤。它支持以下四种查询方式：
- geo_bounding_box：查询矩形范围内的点
- geo_distance：查询中心点距离范围内的点
- geo_distance_range：查询中心点最小距离和最大距离之间的点
- geo_polygon：查询多边形范围内的点（不推荐使用）
以下为通过中心点距离范围内的示例：
import requests
import json
url = "http://localhost:9200/attractions/hotel/_search"
lat, lon = 34.514020, 113.191598
data = {
"query": {
"bool": {
"must": {
"match_all": {}
},
"filter": {
"geo_distance": {
"distance": "10km",
"location": {
"lat": lat,
"lon": lon
}
}
}
}
}, "sort": [
{
"_geo_distance": {
"location": [
{
"lat": lat,
"lon": lon
}
],
"unit": "m",
"distance_type": "arc",
"order": "asc",
"validation_method": "STRICT"
}
}
]
}
json_data = json.loads(json.dumps(data))
r = requests.get(url, json=json_data)
除了中心点和距离，我们还需要指定计算距离的方式，每种方式对应着不同的精度和计算速度，常用的有三种：
- arc：最慢但最精确的是 arc 计算方式，这种方式把世界当作球体来处理。不过这种方式的精度有限，因为这个世界并不是完全的球体。
- plane：plane 计算方式把地球当成是平坦的，这种方式快一些但是精度略逊。在赤道附近的位置精度最好，而靠近两极则变差。
- sloppy_arc：如此命名，是因为它使用了 Lucene的SloppyMath 类。这是一种用精度换取速度的计算方式，它使用 Haversine formula 来计算距离。它比 arc 计算方式快 4 到 5 倍，并且距离精度达9%。这也是默认的计算方式。
对于大部分应用来说，plane的精度已经足够了，并且速度是最快的，所以推荐使用它。
ElasticSearch按距离打分的配置
ElasticSearch除了按照距离排序外，还支持按距离打分并且与其他评分一起应用。
有三种衰减函数：linear 、 exp 和 gauss （线性、指数和高斯函数），它们可以操作数值、时间以及经纬度地理坐标点这样的字段。所有三个函数都能接受以下参数：
- Origin：中心点 或字段可能的最佳值，落在原点 origin 上的文档评分 _score 为满分0。
- Scale：衰减率，即一个文档从原点 origin 下落时，评分 _score 改变的速度。
- Decay：从原点 origin 衰减到 scale 所得的评分 _score ，默认值为5 。
- Offset：以原点 origin 为中心点，为其设置一个非零的偏移量 offset 覆盖一个范围，而不只是单个原点。在范围 -offset <= origin <= +offset 内的所有评分 _score 都是0 。
这三个函数的唯一区别就是它们衰减曲线的形状，用图来说明会更为直观：
gauss
$$S(doc) = \exp(-\frac{\max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset})^2}{2\sigma ^2})$$
其中：
$$\sigma ^2=-\frac{\text{scale}^2}{2\cdot \ln(\text{decay})}$$
exp
$$S(doc) = \exp(\lambda \cdot max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset}))$$
其中：
$$\lambda = \frac{\ln(\text{scale})}{\text{scale}}$$
linear
$$S(doc) = \max(\frac{s-\max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset})}{s},0)$$
其中：
$$s = \frac{\text{scale}}{1.0-\text{decay}}$$
参考连接：
- https://www.elastic.co/guide/cn/elasticsearch/guide/current/geopoints.html
- https://www.elastic.co/guide/cn/elasticsearch/guide/current/decay-functions.html
- https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-function-score-query.html
Related posts:
- 使用Python将汉字转成拼音
- 在 Jupyter Notebook/Lab中运行SQL
- Elasticsearch在Centos 7上的安装与配置