七、ElasticSearch之批量操作API

_mget

一条一条的查询,比如说要查询100条数据,那么就要发送100次网络请求,这个开销还是很大的
如果进行批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的性能开销缩减100倍

(1)mget批量查询不同index

GET /_mget
{
    "docs": [{
        "_index": "test_index",
        "_type": "test_type",
        "_id": 1
    }, {
        "_index": "test_index2",
        "_type": "test_type2",
        "_id": 2
    }]
}

(2)如果查询的document是一个index下的不同type

GET /test_index/_mget
{
    "docs": [{
        "_type": "test_type",
        "_id": 1
    }, {
        "_type": "test_type",
        "_id": 2
    }]
}

(3)如果查询的数据都在同一个index下的同一个type下,最简单了

GET /test_index/test_type/_mget
{
  "ids": [1, 2]
}

bulk语法

POST /_bulk
{ "delete": { "_index": "test_index", "_type": "test_type", "_id": "3" }} 
{ "create": { "_index": "test_index", "_type": "test_type", "_id": "12" }}
{ "test_field":    "test12" }
{ "index":  { "_index": "test_index", "_type": "test_type", "_id": "2" }}
{ "test_field":    "replaced test2" }
{ "update": { "_index": "test_index", "_type": "test_type", "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }

每一个操作要两个json串,语法如下:

{"action": {"metadata"}}
{"data"}

举例,比如你现在要创建一个文档,放bulk里面,看起来会是这样子的:

{"index": {"index": "test_index", "type", "test_type", "_id": "1"}}
{"test_field1": "test1", "test_field2": "test2"}

有哪些类型的操作可以执行呢?

(1)delete:删除一个文档,只要1个json串就可以了
(2)create:PUT /index/type/id/_create,强制创建
(3)index:普通的put操作,可以是创建文档,也可以是全量替换文档
(4)update:执行的partial update操作

注意:

(1)bulk api对json的语法,有严格的要求,每个json串不能换行,不同json串间,必须有一个换行;
(2)bulk操作中,任意一个操作失败,是不会影响其他的操作的,但是在返回结果里,会告诉你异常日志;
(3)bulk request会加载到内存里,如果太大的话,性能反而会下降,因此需要反复尝试一个最佳的bulk size。一般从10005000条数据开始,尝试逐渐增加。另外,如果看大小的话,最好是在515MB之间。

为什么bulk有换行的奇怪格式要求?

如果是任意换行的格式

可读性好。bulk中的每个操作都可能要转发到不同的node的shard去执行

但es必须要按照下述流程去进行处理
(1)将json数组解析为JSONArray对象,这个时候,整个数据,就会在内存中出现一份一模一样的拷贝,一份数据是json文本,一份数据是JSONArray对象
(2)解析json数组里的每个json,对每个请求中的document进行路由
(3)为路由到同一个shard上的多个请求,创建一个请求数组
(4)将这个请求数组序列化
(5)将序列化后的请求数组发送到对应的节点上去

耗费更多内存(bulk size会翻倍,因为每个请求的json都copy一份为jsonarray对象),更多的jvm gc开销

现在的奇特格式

{"action": {"meta"}}\n
{"data"}\n
{"action": {"meta"}}\n
{"data"}\n

(1)不用将其转换为json对象,不会出现内存中的相同数据的拷贝,直接按照换行符切割json
(2)对每两个一组的json,读取meta,进行document路由
(3)直接将对应的json发送到node上去

最大的优势在于,不需要将json数组解析为一个JSONArray对象,形成一份大数据的拷贝,浪费内存空间,尽可能地保证性能

你可能感兴趣的:(七、ElasticSearch之批量操作API)