【Elasticsearch-05】文档基本CRDU与批量操作
1. 文档CRDU规则
- 规则：
PUT/POST/GET/DELETE 索引名称/_doc
- 文档相关的操作Type都用_doc
| 操作 | 举个栗子 | 说明 |
|---|---|---|
| index | PUT my_index/_doc/1 {“user”:“Mike”, “comment”:“You know, for search”} |
如果ID不存在，创建新的文档，否则，先删除现有的文档，再创建新的文档，版本会增加 |
| create | PUT my_index/_create/1 {“user”:“Mike”, “comment”:“You know, for search”} POST my_index/_doc (不指定ID, 自动生成) {“user”:“Mike”, “comment”:“You know, for search”} |
- 有两种方式， - 1. 指定ID - 2. 不指定ID，系统自动生成一串随机字符串 - 如果ID已经存在，会失败 |
| read | GET my_index/_update/1 | 无 |
| update | POST my_index/_update {“doc”: {“user”:“Mike”, “comment”:“You know, for search”}} |
文档必须已经存在，更新只会对相应字段做增量修改 |
| delete | DELETE my_index/_doc/1 | 无 |
Kibana 实际操作
- 打开Dev Tool，先创建一个索引
Create 一个文档
- 支持自动生成文档ID和指定文档ID两种方式：
-
- 指定文档ID创建：
-
PUT users/_create/1
{
"firstName":"Jinjuan",
"lastName": "Wu",
"tags":["Java", "ElasticSearch"]
}
-
1.1 操作成功
-
- 不指定文档ID创建
POST /users/_doc
{
"firstName":"Jinjuan1",
"lastName": "Wu",
"tags":["Java", "ElasticSearch"]
}
-
2.1 创建成功
-
使用HTTP PUT users/_create/1创建时，URI中显示指定_create，此时如果该ID的文档已经存在，显示操作失败
Get一个文档
- 文档源信息：
| 字段 | 说明 |
|---|---|
| _index | 索引名称 |
| _type | 版本信息，同一个Id的文档，即使被删除，Version号也会不断增加 |
| version | 版本信息，同一个Id的文档，即使被删除，Version号也会不断增加 |
| _source | 默认包含了文档的所有原始信息 |
Index文档
- Index和Update还有Create不一样的地方：如果文档不存在，就索引新的文档，否则现有文档会被删除，新的文档会被索引，版本信息 + 1
PUT users/_doc/1
{
"tags":["少女", "女汉子"]
}
- GET users/_doc/1 查看一下，firstName和lastName都没了
Update文档
- Update方法不会删除原来的文档，而是实现真正的数据更新
- Post方法 / Payload，注意：需要包含在**“doc”**中
更新没有的字段
Get一下
更新已存在的字段
POST users/_update/1
{
"doc":{
"tags" : [
"是少女啊",
"女汉子"
],
"emails":["[email protected]","[email protected]"]
}
}
Bulk API
背景：频繁地调用API查询会增加时间成本，就像多次连接数据库带来的成本一样，Bulk API能做到：
- 在一次API调用中，对不同的索引进行操作
- 支持四种类型操作
- index
- create
- update
- delete
- 可以在URI中指定index，也可以在请求的Payload中进行
- 操作中单条操作失败，并不会影响其他操作
- 返回结果包罗了每一条操作执行的结果
Bulk的格式
{action:{metadata}}\n
{requestbody}
| action（行为） | 说明 |
|---|---|
| create | 文档不存在时创建 |
| create | 更新文档 |
| index | 创建新文档或替换已有文档 |
| delete | 删除一个文档 |
- metadata：_index, _type, _id
- requestbody: 请求体参数们
示例
POST _bulk
{"index":{"_index":"users", "_id":"1"}}
{"tags":"[email protected]"}
- 如果你不想每个操作都写_index的话，你可以在POST后面指定索引名，比如这样：（前提是操作同一个索引）
POST /users/_bulk
{"index":{"_id":"1"}}
{"tags":"[email protected]"}
批量添加
POST /users/_bulk
{"create":{"_id":5}}
{"firstName" : "San", "lastName" : "Zhang"}
{"create":{"_id":6}}
{"firstName" : "Wu", "lastName" : "Zhao"}
批量删除
POST /users/_bulk
{"delete":{"_id":5}}
{"index":{"_id":8}}
{"name":"zhangsan"}
{"delete":{"_id":6}}
bulk一次最大处理多少数据量
- bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。
- 一般建议是1000-5000个文档，大小建议是5-15MB，默认不能超过100M，可以在es的配置文件（即$ES_HOME下的config下的elasticsearch.yml）中。
批量获取 - mget
- 批量操作，可以减少网络连接所产生的开销，提高性能
GET /users/_mget
{
"ids":["1","2","3","4","5","6"]
}
- 查询结果太长，截图不全就放到代码块了。可见，查不到的数据会显示found:false
{
"docs" : [
{
"_index" : "users",
"_type" : "_doc",
"_id" : "1",
"_version" : 16,
"_seq_no" : 19,
"_primary_term" : 1,
"found" : true,
"_source" : {
"tags" : [
"是少女啊",
"女汉子"
],
"emails" : [
"[email protected]",
"[email protected]"
],
"firstName" : "Jinjuan",
"lastName" : "Wu"
}
},
{
"_index" : "users",
"_type" : "_doc",
"_id" : "2",
"_version" : 2,
"_seq_no" : 16,
"_primary_term" : 1,
"found" : true,
"_source" : {
"title" : "Html5",
"price" : 45
}
},
{
"_index" : "users",
"_type" : "_doc",
"_id" : "3",
"_version" : 1,
"_seq_no" : 3,
"_primary_term" : 1,
"found" : true,
"_source" : {
"firstName" : "Da",
"lastName" : "Wu",
"tags" : [
"Java",
"ElasticSearch"
]
}
},
{
"_index" : "users",
"_type" : "_doc",
"_id" : "4",
"found" : false
},
{
"_index" : "users",
"_type" : "_doc",
"_id" : "5",
"_version" : 1,
"_seq_no" : 20,
"_primary_term" : 1,
"found" : true,
"_source" : {
"firstName" : "San",
"lastName" : "Zhang"
}
},
{
"_index" : "users",
"_type" : "_doc",
"_id" : "6",
"_version" : 1,
"_seq_no" : 21,
"_primary_term" : 1,
"found" : true,
"_source" : {
"firstName" : "Wu",
"lastName" : "Zhao"
}
}
]
}
常见错误返回
| 问题 | 原因 |
|---|---|
| 无法连接 | 网络故障或集群挂了 |
| 连接无法关闭 | 网络故障或节点出错 |
| 429 | 集群过于繁忙 |
| 4xx | 请求体格式有错 |
| 500 | 集群内部错误 |