ElasticSearch实现基于经纬度的附近搜索

ElasticSearch除了支持文本检索外,还支持地理信息检索。它主要支持两种类型的地理查询:一种是地理点(geo_point),即经纬度查询,另一种是地理形状查询(geo_shape),即支持点、线、圈、多边形查询等。

ElasticSearch实现经纬度附近搜索

1、创建映射(mapping)

import requests
import json
attractions_url = "http://localhost:9200/attractions?include_type_name=true"
data = {
    "mappings": {
        "hotel": {
            "properties": {
                "name": {
                    "type": "text"
                },
                "location": {
                    "type": "geo_point"
                }
            }
        }
    }
}

json_data = json.loads(json.dumps(data))
r = requests.put(url=attractions_url, json=json_data)
print(r.status_code)
print(r.text)

对于某些特殊的查询,例如矩形范围查询,可以通过分别对lat和lon进行索引以提高查询速度。因为矩形范围的查询完全可以先通过lat过滤,再通过lon过滤。要实现此功能只需在location节点下添加”lat_lon”: true即可。

2、添加数据(插入文档)

import requests
import json
import pandas as pd
f = pd.read_csv("data.csv")
for index, row in df.iterrows():
    url = "http://localhost:9200/attractions/hotel/{0}".format(index)
    data = {"name": str(int(row['hotel_id'])), "location": {"lat": row['lat'], "lon": row['lon']}}
    json_data = json.loads(json.dumps(data))
    r = requests.put(url, json=json_data)

插入文档时,有三种格式的属性可以被映射为 geo_point 类型:

  • string:格式为lat,lon
  • double []:格式为[lon, lat]
  • json:格式为{ “lat”: lat, “lon”: lon}

注意:数组格式是 lon 在前,lat 在后,而字符串格式正好相反。

3、查询

Elasticsearch 的地理位置查询,实际是使用过滤器对所有文档进行过滤。它支持以下四种查询方式:

  • geo_bounding_box:查询矩形范围内的点
  • geo_distance:查询中心点距离范围内的点
  • geo_distance_range:查询中心点最小距离和最大距离之间的点
  • geo_polygon:查询多边形范围内的点(不推荐使用)

以下为通过中心点距离范围内的示例:

import requests
import json
url = "http://localhost:9200/attractions/hotel/_search"
lat, lon = 34.514020, 113.191598
data = {
    "query": {
        "bool": {
            "must": {
                "match_all": {}
            },
            "filter": {
                "geo_distance": {
                    "distance": "10km",
                    "location": {
                        "lat": lat,
                        "lon": lon
                    }
                }
            }
        }
    }, "sort": [
        {
            "_geo_distance": {
                "location": [
                    {
                        "lat": lat,
                        "lon": lon
                    }
                ],
                "unit": "m",
                "distance_type": "arc",
                "order": "asc",
                "validation_method": "STRICT"
            }
        }
    ]
}
json_data = json.loads(json.dumps(data))
r = requests.get(url, json=json_data)

除了中心点和距离,我们还需要指定计算距离的方式,每种方式对应着不同的精度和计算速度,常用的有三种:

  • arc:最慢但最精确的是 arc 计算方式,这种方式把世界当作球体来处理。不过这种方式的精度有限,因为这个世界并不是完全的球体。
  • plane:plane 计算方式把地球当成是平坦的,这种方式快一些但是精度略逊。在赤道附近的位置精度最好,而靠近两极则变差。
  • sloppy_arc:如此命名,是因为它使用了 Lucene的SloppyMath 类。这是一种用精度换取速度的计算方式,它使用 Haversine formula 来计算距离。它比 arc 计算方式快 4 到 5 倍,并且距离精度达9%。这也是默认的计算方式。

对于大部分应用来说,plane的精度已经足够了,并且速度是最快的,所以推荐使用它。

ElasticSearch按距离打分的配置

ElasticSearch除了按照距离排序外,还支持按距离打分并且与其他评分一起应用。

有三种衰减函数:linear 、 exp 和 gauss (线性、指数和高斯函数),它们可以操作数值、时间以及经纬度地理坐标点这样的字段。所有三个函数都能接受以下参数:

  • Origin:中心点 或字段可能的最佳值,落在原点 origin 上的文档评分 _score 为满分0。
  • Scale:衰减率,即一个文档从原点 origin 下落时,评分 _score 改变的速度。
  • Decay:从原点 origin 衰减到 scale 所得的评分 _score ,默认值为5 。
  • Offset:以原点 origin 为中心点,为其设置一个非零的偏移量 offset 覆盖一个范围,而不只是单个原点。在范围 -offset <= origin <= +offset 内的所有评分 _score 都是0 。

这三个函数的唯一区别就是它们衰减曲线的形状,用图来说明会更为直观:

gauss

$$S(doc) = \exp(-\frac{\max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset})^2}{2\sigma ^2})$$

其中:

$$\sigma ^2=-\frac{\text{scale}^2}{2\cdot \ln(\text{decay})}$$

exp

$$S(doc) =  \exp(\lambda \cdot max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset}))$$

其中:

$$\lambda  = \frac{\ln(\text{scale})}{\text{scale}}$$

linear

$$S(doc) =  \max(\frac{s-\max(0,|\text{fieldvalue}_{doc}-\text{origin}|-\text{offset})}{s},0)$$

其中:

$$s = \frac{\text{scale}}{1.0-\text{decay}}$$

参考连接:

  • https://www.elastic.co/guide/cn/elasticsearch/guide/current/geopoints.html
  • https://www.elastic.co/guide/cn/elasticsearch/guide/current/decay-functions.html
  • https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-function-score-query.html

Related posts:

  1. 使用Python将汉字转成拼音
  2. 在 Jupyter Notebook/Lab中运行SQL
  3. Elasticsearch在Centos 7上的安装与配置

你可能感兴趣的:(分享)