【Elastic Search权威指南 读书小记8】ES之深入分片
有道云排版好一点：https://note.youdao.com/ynoteshare1/index.html?id=a38978147bd85dd15148027aeadd1c92&type=note
倒排索引存储了比包含了一个特定term的文档列表多地多的信息。它可能存储包含每个term的文档数量，一个term出现在指定文档中的频次，每个文档中term的顺序，每个文档的长
度，所有文档的平均长度，等等。这些统计信息让Elasticsearch知道哪些term更重要，哪些
文档更重要，也就是相关性。
1.不可变性
写入磁盘的倒排索引是不可变的，它有如下好处：
1.不需要锁。如果从来不需要更新一个索引，就不必担心多个程序同时尝试修改。
2.一旦索引被读入文件系统的缓存(译者:在内存)，它就一直在那儿，因为不会改变。只要文件系统缓存有足够的空间，大部分的读会直接访问内存而不是磁盘。这有助于性能提升。
3.在索引的声明周期内，所有的其他缓存都可用。它们不需要在每次数据变化了都重建，因为数据不会变。
4.写入单个大的倒排索引，可以压缩数据，较少磁盘IO和需要缓存索引的内存大小。
此处的不可变可以理解为已写入的索引不会局部变化，只会不断累加或者重写。有点类似redis持久化里面的aof，不断累加日志，然后到一定量之后经行“重写”。
2.动态索引
既然要不可变，那么更新的话只能选择多个索引。不是重写整个倒排索引，而是增加额外的索引反映最近的变化。每个倒排索引都可以按顺序查询，从最老的开始，最后把结果聚合。有点像累加，但是每次累加都是独立的小索引。
Elasticsearch底层依赖的Lucene，引入了 per-segment search 的概念。一个段(segment)是有
完整功能的倒排索引，但是现在Lucene中的索引指的是段的集合，再加上提交点。
索引vs分片
为了避免混淆，需要说明，Lucene索引是Elasticsearch中的分片，Elasticsearch中的索引是分片的集合。当Elasticsearch搜索索引时，它发送查询请求给该索引下的所有分
片，然后过滤这些结果，聚合成全局的结果。
更新过程
1. 新的文档首先写入内存区的索引缓存。
2. 不时，这些buffer被提交：
2.1)一个新的段——额外的倒排索引——写入磁盘。
2.2)新的提交点写入磁盘，包括新段的名称。
2.3)磁盘是fsync’ed(文件同步)——所有写操作等待文件系统缓存同步到磁盘，确保它们
可以被物理写入。
3. 新段被打开，它包含的文档可以被检索
4. 内存的缓存被清除，等待接受新的文档。
3.缓存进磁盘
在缓存区数据，不可能实时往磁盘写入同步，这样太耗费磁盘性能了。但是同步太慢的话，又会有写入的数据无法快速查到的问题。ES提供了每秒自动同步一次的服务，并且提供了refeash API用于手动同步。
POST /_refresh <1>POST /blogs/_refresh <2>PUT /my_logs//设置自动同步时间{ "settings": { "refresh_interval": "30s" <1> }}
4.持久化
这一点和mysql的redolog，防止内存中的提交因为关机而丢失，专门针对这部分未提交的内存中的数据做持久化。在ES中称为事务日志translog
1. 当一个文档被索引，它被加入到内存缓存，同时加到事务日志。
2. refresh使得分片的进入如下图描述的状态。每秒分片都进行refeash：
内存缓冲区的文档写入到段中，但没有fsync。
段被打开，使得新的文档可以搜索。
缓存被清除
3. 随着更多的文档加入到缓存区，写入日志，这个过程会继续
4. 不时地，比如日志很大了，新的日志会创建，会进行一次全提交：
内存缓存区的所有文档会写入到新段中。
清除缓存
一个提交点写入硬盘
文件系统缓存通过fsync操作flush到硬盘
事务日志被清除
事务日志记录了没有flush到硬盘的所有操作。当故障重启后，ES会用最近一次提交点从硬盘恢复所有已知的段，并且从日志里恢复所有的操作。事务日志还用来提供实时的CRUD操作。当你尝试用ID进行CRUD时，它在检索相关段内的文档前会首先检查日志最新的改动。这意味着ES可以实时地获取文档的最新版本。
5.合并段
此处类似redis aof的重写达到的效果。
ES通过后台合并段解决这个问题。小段被合并成大段，再合并成更大的段。这是旧的文档从文件系统删除的时候。旧的段不会再复制到更大的新段中。修改和删除在这里免除了重复，得到了真正的实现。
1. 索引过程中，refresh会创建新的段，并打开它。
2. 合并过程会在后台选择一些小的段合并成大的段，这个过程不会中断索引和搜索。
3. 下图描述了合并后的操作：
新的段flush到了硬盘。
新的提交点写入新的段，排除旧的段。
新的段打开供搜索。
旧的段被删除。