ES优化参考【分片、路由】

分片优化
每个分片大小不要超过30GB，常规需要y = x/30个分片，增长速度快建议修正为y = x/30+1
每个节点建议的单个索引分片数＜3，即按6个节点计算，最多有12个分片。
即分片数满足条件为y=x/30或y=x/30+1且y<=12，
更改分片数量，需要重建索引结构、刷数据。
路由控制
默认路由计算方式：shard_num = hash(_routing) % num_primary_shards _routing默认为_id，每个文档_id都不一样，可以指定_routing为group_id，即同集团数据在一个分片
增加routing_partition_size配置路由计算方式：shard_num = (hash(_routing) + hash(_id) % routing_partition_size) % num_primary_shards
指定路由为group_id可以使用，hash(_routing)为固定值，hash(_id) %routing_partition_size为变化值，计算结果只有routing_partition_size个值。
出现数据倾斜设定，使数据均匀分布在一组分片
如果数据量过大，满足条件 x/30 > 12，可使用按时间分段索引，使用分段索引时要求所有的查询必须有对应的时间查询条件且格式为范围查询，系统会根据时间范围确定要查询哪个索引。

参考资料

内存

官方建议： Min（32GB，机器内存大小/2）。
磁盘需求最优比例=1:50 256g=12800G=13T
8G内存对应8*50=400G磁盘
总体内存大小没有具体要求，但肯定是内容越大，检索性能越好。
除了JVM之外的预留内存要充足，否则也会经常OOM。

节点类型优化分配

集群节点数：<=3，建议：所有节点的master：true， data：true。既是主节点也是路由节点。
集群节点数：>3, 根据业务场景需要，建议：逐步独立出Master节点和协调/路由节点。

角色隔离

ES 集群中的数据节点负责对数据进行增、删、改、查和聚合等操作，所以对 CPU、内存和 I/O 的消耗很大。
在搭建 ES 集群时，我们应该对 ES 集群中的节点进行角色划分和隔离。
候选主节点：node.master= true node. data= false
数据节点：node.master= false node. data= true

避免脑裂

网络异常可能会导致集群中节点划分出多个区域，区域发现没有 Master 节点的时候，会选举出了自己区域内 Maste 节点 r，导致一个集群被分裂为多个集群，使集群之间的数据无法同步，我们称这种现象为脑裂。
为了防止脑裂，我们需要在 Master 节点的配置文件中添加如下参数：
discovery.zen.minimum_master_nodes=（master_eligible_nodes /2）+1 //默认值为 1
其中 master_eligible_nodes 为 Master 集群中的节点数。这样做可以避免脑裂的现象都出现，最大限度地提升集群的高可用性。
只要不少于 discovery.zen.minimum_master_nodes 个候选节点存活，选举工作就可以顺利进行，即保持至少一半节点存活。

分片

设置多少分片？

建议根据数据量衡量。经验值：建议每个分片大小不要超过30GB。

分片数设置？

单个索引分片数=数据量÷30g
每个节点建议的单个索引分片数＜3：因为分片分布在同一个服务器上。请求开始竞争相同的硬件资源时, 性能便会逐步下降。
如果该索引分片数过多可以考虑业务需求是否需要分割索引。周表，天表，月表等划分。

注意：除非reindex操作，分片数是不可以修改的。

PS:分片的大小如何影响性能？

在Elasticsearch中，每个查询在每个分片的单个线程中执行。然而，可以并行处理多个分片，并可以在相同分片上执行多个查询和聚合。
【小分片的利弊】这意味着，在不涉及高速缓存时，最小查询延迟将取决于数据、查询的类型、分片的大小。查询大量小分片将使得每个分片的处理速度更快，但是随着更多的任务需要按顺序排队和处理，它不一定要比查询较小数量的更大的分片更快。如果有多个并发查询，则有很多小碎片也会降低查询吞吐量。

副本数设置？

除非你对系统的健壮性有异常高的要求，比如：银行系统。可以考虑2个副本以上。否则，1个副本足够。
注意：副本数是可以通过配置随时修改的。

MAPPING

限制写入ES的字段

根据业务需要选择合适的类型，有利于节省空间和提升精度。Fetch方法只返回要查询的字段，对每组数据做校验，可以避免使用默认mapping的字段类型，增加写入速度、节省空间。

字段类型

尽量避免使用nested或 parent/child，能不用就不用；nested query慢， parent/child query 更慢，比nested query慢上百倍；因此能在mapping设计阶段搞定的（大宽表设计或采用比较smart的数据结构），就不要用父子关系的mapping。如果一定要使用nested fields，保证nested fields字段不能过多，目前ES默认限制是50。
index.mapping.nested_fields.limit ：50

附录

ES 配置说明
配置文件：elasticsearch.yaml。
ES 的配置信息有很多种，大部分配置都可以通过 elasticsearch.yaml 和接口的方式进行。
下面我们列出一些比较重要的配置信息：

l cluster.name：elasticsearch：配置 ES 的集群名称，默认值是 ES，建议改成与所存数据相关的名称，ES 会自动发现在同一网段下的集群名称相同的节点。
l node.nam： "node1"：集群中的节点名，在同一个集群中不能重复。节点的名称一旦设置，就不能再改变了。当然，也可以设置成服务器的主机名称，例如 node.name:${HOSTNAME}。
l noed.master：true：指定该节点是否有资格被选举成为 Master 节点，默认是 True，如果被设置为 True，则只是有资格成为 Master 节点，具体能否成为 Master 节点，需要通过选举产生。
l node.data：true：指定该节点是否存储索引数据，默认为 True。数据的增、删、改、查都是在 Data 节点完成的。
l discovery.zen.minimum_master_nodes：1：设置在选举 Master 节点时需要参与的最少的候选主节点数，默认为 1。如果使用默认值，则当网络不稳定时有可能会出现脑裂。合理的数值为(master_eligible_nodes/2)+1，其中 master_eligible_nodes 表示集群中的候选主节点数。
l index.number_of_shards：5：设置都索引分片个数，默认是 5 片。也可以在创建索引时设置该值，具体设置为多大都值要根据数据量的大小来定。如果数据量不大，则设置成 1 时效率最高。
l index.number_of_replicas：1：设置默认的索引副本个数，默认为 1 个。副本数越多，集群的可用性越好，但是写索引时需要同步的数据越多。
l path.conf：/path/to/conf：设置配置文件的存储路径，默认是 ES 目录下的 Conf 文件夹。建议使用默认值。
l path.data：/path/to/data1,/path/to/data2：设置索引数据多存储路径，默认是 ES 根目录下的 Data 文件夹。切记不要使用默认值，因为若 ES 进行了升级，则有可能数据全部丢失。可以用半角逗号隔开设置的多个存储路径，在多硬盘的服务器上设置多个存储路径是很有必要的。
l path.logs：/path/to/logs：设置日志文件的存储路径，默认是 ES 根目录下的 Logs，建议修改到其他地方。
l path.plugins：/path/to/plugins：设置第三方插件的存放路径，默认是 ES 根目录下的 Plugins 文件夹。
l bootstrap.mlockall：true：设置为 True 时可锁住内存。因为当 JVM 开始 Swap 时，ES 的效率会降低，所以要保证它不 Swap。
l network.bind_host：192.168.0.1：设置本节点绑定的 IP 地址，IP 地址类型是 IPv4 或 IPv6，默认为 0.0.0.0。
l network.publish_host：192.168.0.1：设置其他节点和该节点交互的 IP 地址，如果不设置，则会进行自我判断。
l network.host：192.168.0.1：用于同时设置 bind_host 和 publish_host 这两个参数。
l http.port：9200：设置对外服务的 HTTP 端口，默认为 9200。ES 的节点需要配置两个端口号，一个对外提供服务的端口号，一个是集群内部使用的端口号。 http.port 设置的是对外提供服务的端口号。注意，如果在一个服务器上配置多个节点，则切记对端口号进行区分。
l transport.tcp.port：9300：设置集群内部的节点间交互的 TCP 端口，默认是 9300。注意，如果在一个服务器配置多个节点，则切记对端口号进行区分。
l transport.tcp.compress：true：设置在节点间传输数据时是否压缩，默认为 False，不压缩。
l discovery.zen.ping.timeout：3s：设置在集群中自动发现其他节点时 Ping 连接的超时时间，默认为 3 秒。在较差的网络环境下需要设置得大一点，防止因误判该节点的存活状态而导致分片的转移