elasticsearch-es查询并清理重复数据

需求背景

• 由于数据入库时发生一些错误，导致录入重复数据到es内

第一种办法

• 根据单个字段进行查询重复数据

POST index/type/_search
{
  "size": 10,
  "aggs": {
    "duplicateCount": {
      "terms": {
      "field": "link",
        "min_doc_count": 10
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}
size : hits中展示的数据
min_doc_count : link重复数量大于10的
嵌套里面的那个aggs ： 标识再把duplicateDocuments的细节展示出来

• 根据多个字段进行查询重复数据

{
  "size": 0,
  "aggs": {
    "duplicateCount": {"terms": {
      "script": "doc['name'].values + doc['employeeID'].values+doc['organisation'].values",
      "min_doc_count": 2
    },      
    "aggs": {}
      "duplicateDocuments": {
        "top_hits": {}
      }
    }
  }
}

参考链接-https://qbox.io/blog/minimizing-document-duplication-in-elasticsearch

实操过程

• 根据以上步骤查询出来重复数据的link字段和重复数据的数量
• 使用delete_by_query删除数据（size填重复数据数量-1）