Elasticsearch 的安装与使用（三）: python操作Elasticsearch增删改查
1.python链接ES：
from elasticsearch import Elasticsearch
self.es = Elasticsearch([{'host': "", 'port': }])
可以指定链接的ES的IP
2.ES插入数据:
2.1 插入单条数据
for i in range(10):
self.es.index(index="my-index", doc_type="test-type", body={"any": "data01", "timestamp": i})
2.2批量插入数据 [{},{}]
from elasticsearch import helpers
helpers.bulk(self.es, [{'_index':"my-index",'_type':'test-type'}, {}])
3.ES删除数据:
3.1 删除单条数据 指定id
self.es.delete(index='my-index', doc_type='test-type', id='jqcvIGsB6xO89rzf_sKP')
3.2 删除指定条件数据 批量删除
# 根据指定条件删除 查询条件必须符合DLS格式
query = {
# 查询语句
"query": {
'range': {'timestamp': {'lte': "2019-06-04T10:06:12.629748"}}
}
}
self.es.delete_by_query(index='my-index', doc_type='test-type', body=query)
4.ES更新数据:
ES不支持更新操作，具体更新操作底层实现的原理是: 删除原来索引的数据，插入新索引的数据。每一次更新，es的_version字段内容会递增。
4.1 依据id更新单条数据：
# 更新单条数据
doc = {
'doc': {'test': "哈哈哈",
'sdfs':"fdasfsdf"
}
}
self.es.update(index='my-index', doc_type='test-type', id="tqdHIGsB6xO89rzfnsIL", body=doc)
4.2 依据条件，批量更新数据:
body = {
# 查询条件
'query': {
'term': {
"timestamp": 6
}
},
# 更新内容 第一种更新方式
'script': {
"source": "ctx._source.key_name = 'update_value'",
},
# 更新内容 第二种更新方式
'script': {
'source': "ctx._source.key_name = params.tags",
"params": {
"tags": "hahhah"
},
},
# 更新内容 第三种更新方式
'script': {
"source": "if(ctx._source.key_name == 'es_value'){ctx._source.key2_name='update_value'}else{ctx._source.key2_name='update_value'}", # if else 更新
}
}
self.es.update_by_query(index='my-index', doc_type='test-type', body=body)
5.ES查询数据:
5.1 普通查询:
第一种方式:
# 返回全部数据
result = self.es.search(index='my-index', doc_type='test-type')
第二种方式:
body ={
'query':{
'match_all':{}
}
}
result = self.es.search(index='my-index',doc_type='test-type',body=body)
5.2 条件查询:
5.2.1 term 精确查询
# term 查询timestamp为0的所有数据
body = {
'query': {
'term': {
'properties.provinces_name.keyword': '陕西'
}
},
}
5.2.2 terms查询多个条件
# terms 查询多个条件 返回timestamp为0或者1的所有数据
body = {
'query': {
'terms': {
'timestamp': [0, 1]
}
}
}
5.2.3 match 匹配多个分词
# # match 精确匹配 test 值为lalalla的数据
body = {
'query': {
'match': {
'properties.provinces_name.keyword': '陕西省'
}
}
}
match 的效果 测试 对于中文来说，等价于term，如果匹配的是英文词语，例如 ‘pre fix hha’ 则会匹配 包含 pre 和 fix 已经 hha三个词的key。
5.2.4 multi_match 匹配多个key中包含关键字的数据
# multi_match 匹配多个key中包含关键字的数据
body = {
'query': {
'multi_match': {
"query": "关键字",
"fields": ['test', '待匹配key']
}
}
}
5.2.5 ids 依据id匹配多个值
body = {
'query': {
'ids': {
'values': ['SacWIGsB6xO89rzf1RBH', 'VqcWIGsB6xO89rzf1RBH','id值']
}
}
}
5.2.6 range 范围查询
# 范围查询 range
body = {
'query': {
'range': {
'properties.id': {
'gte': 11777028, # >
'lte': 11777151, # <
}
}
}
}
5.2.7 前缀查询 prefix
# 前缀查询 prefix
body = {
'query': {
'prefix': {
'properties.addr.keyword': '陕西省'
}
}
}
5.2.8 wildcard 通配符查询
# 通配符查询 wildcard
body = {
'query': {
'wildcard':{
'properties.addr.keyword': '陕西*'
}
}
}
wildcard 也可以用做 模糊查询，* 代表着一个任意值。
5.3 复合查询 bool查询, must ，should,must_not
5.3.1 must 返回满足所有条件的值。 and 与
# must [] 满足所有条件才会返回
body = {
'query': {
'bool': {
'must': [
{
'term': {
'properties.addr.keyword': '安康市旬阳县一零二省道',
}
},
{
'term': {
"properties.name.keyword": "大岭铺"
}
}
]
}
}
}
5.3.2 should 返回满足任意一个条件的值。 or 或
# should [] 满足任意一个条件
body = {
'query': {
'bool': {
'should': [
{
'term': {
'properties.addr.keyword': '陕西省安康市汉滨区G69(银百高速)',
}
},
{
'term': {
"properties.name.keyword": "大岭铺"
}
}
]
}
}
}
5.3.3 must _not 返回不满足所有条件的值。 ! 非
# must_not ! 非 所有条件都不满足
body = {
'query': {
'bool': {
'must_not': [
{
'term': {
'properties.addr.keyword': '陕西省安康市汉滨区G69(银百高速)',
}
},
{
'term': {
"properties.name.keyword": "大岭铺"
}
}
]
}
},
'from': 0, # 返回指定数量
'size': 50,
}
ES的条件查询，默认是返回10条数据。 可以通过 “from”,“size”， 来指定返回数据的数量和位置。
5.4 sort 排序
body = {
'query': {
'match_all': {}
},
'sort': {
'properties.id': { # 根据某个字段升序降序
"order": "desc" # asc升序， desc降序
}
}
}
5.5 响应过滤 file_path
# 只需要获取_id数据，多个条件用逗号隔开
result = self.es.search(index='map_data', doc_type='Feature',
filter_path=['hits.hits._id,hits.hits._source.properties.area_name'])
5.6 count 查询数量
# 查询数据数量 count
result = self.es.count(index='map_data', doc_type='Feature')
print(result)
最终的查询语句如下:
result = self.es.search(index='map_data', doc_type='Feature', body=body)
print(result['hits']['hits'])
print(len(result['hits']['hits']))
body 对应的是各个查询方法的语句。
至此 就是python 操作Elasticsearch常用的增删改查的操作。
想要完整代码，还有哪些不懂的小伙伴可以私我留言，或者加我QQ3479920009，备注CSDN。