【Elasticsearch】 之 Translog

es是近实时的存储搜索引，。近实时，并不能保证被立刻看到。数据被看到的时候数据已经作为一个提交点，被写入到了文件系统中（这个过程称为refresh）。因为一次写入的成本相对比较大，所以用攒一波批量提交的方式，写入性能会更好。不管这些数据都是在堆内存中还是在文件系统中（Filesystem Cache），如果发生断电，或者JVM的崩溃，则这部分数据一定会丢失。为了防止数据丢失，这部分数据会被写入到traslog中一份。当然这个写入translog的代价远小于作为一个提交点写入到分片中（lucene实例中）的代价小。commit 是一个开销比较大的操作，因此不可能每次写入或删除都调用 commit，为了保证数据的可靠性，ES 引入了 Translog。ES 每次调用 Lucene 的接口写入或删除数据后，都会将操作日志记录到 Translog 中防止意外断电或程序奔溃导致数据丢失。写入时机如下：

2. 设置

• 同步间隔（index.translog.sync_interval）
  Translog 的日志每次都会写入到操作系统的缓存中，只有执行 fsync 刷盘后才是安全的。因此 ES 会每隔一段时间执行 fsync 刷盘。默认时间间隔是 5s，最低不能低于 500ms。注：改参数只针对异步落盘方式才生效。
• 刷盘方式（index.translog.durability）
  Translog 的刷盘方式有两种：同步（request）和异步（async）
  ES 默认使用的是 request，即每次写入、更新、删除操作后立刻执行 fsync 落盘。
  如果使用异步的方式，则根据同步间隔周期性的刷盘。
  两种方式各有千秋，同步刷盘具备更强数据可靠性保障，但同时带来更高的 IO 开销，性能更低。异步刷盘牺牲了一定的可靠性保障，但是降低了 IO 的开销，性能更佳，因此需要根据不同的场景需求选择合适的方式。
• 大小阈值 （index.translog.flush_threshold_size）
  我们不可能让 translog 的大小无限增长。translog 的大小过大会带来如下问题：占用磁盘空间；节点恢复需要同步 translog 回放日志，如果太大会导致恢复时间过长。因此，需要设定一个阈值，当日志量达到该阈值时，触发 flush，生成一个新的提交点，提交点之前的日志便可以删除了（具体能否删除还需结合日志的保留时长和保留大小而定）。
• 日志保留大小（index.translog.retention.size）
  该设置项控制 translog 保留的大小。translog 保留的目的是为了在副本故障恢复时，提高恢复速度（主保留 translog，从恢复时，只需将 global checkpoint 后的日志发送给从就 ok 了）
• 日志保留时长（index.translog.retention.age）
  同上，满足任一条件即可
• 日志 generation 阈值大小（index.translog.generation_threshold_size）
  为了避免 translog 越来越大，增加恢复的时间。在 translog 达到阈值时，会执行 flush，触发 lucene commit，并滚动 translog 生成新的文件，当前 generation 前的操作数据都会提交到 lucene 持久化，恢复时，只需恢复当前 translog 中的操作即可。