【elasticsearch】reindex 断点续传

在进行大规模 reindex 时，由于数据量庞大或者网络/硬件故障，可能会发生中断。为了确保数据的完整性并支持中断后的续传，Elasticsearch 提供了一些方法来实现 断点续传。尽管 reindex 操作本身没有直接的“断点续传”选项，但可以通过一些技巧和配置来模拟这一过程。

---

POST _reindex
{
  "source": {
    "remote": {
      "host": "http://远程ip:9200"
    },
    "index": "source_index"
  },
  "dest": {
    "index": "destination_index",
    "version_type": "external" # 只插入新文档，避免覆盖已存在文档
  },
  "conflicts": "proceed" # 冲突跳过
}

其他方法：

reindex 操作本质上是对一个索引的内容进行批量处理。为了支持断点续传，可以将 scroll 和 bulk 操作结合使用，手动管理数据批次。这样，如果 reindex 中途中断，可以从最后处理的文档继续。

虽然 Elasticsearch 的 reindex 命令本身没有直接的断点续传功能，但结合以下方法可以有效实现：

1. 使用 scroll 和 bulk 配合：通过手动分页和批量插入模拟断点续传。
2. 使用 slices 分片功能：将任务拆分成多个切片，支持并行和容错。
3. 保存和恢复进度：定期保存当前进度（如 _scroll_id 或最后处理的文档ID），从中断点继续操作。
4. 外部任务调度：结合任务调度系统管理任务进度，自动恢复中断点。

这些方法可以帮助你在进行大规模数据迁移时，减少操作中断造成的影响。