elk之磁盘写入性能

1.基本概念

index的shard的数量会决定数据同时写入多少个磁盘

注：默认JVM是1GB，未调整

注：未调整index的副本数

注：未调整index的shard数

以上三点均会影响写入效率。

环境1：

1.数据流：logstash(127.0.0.1)->elasticsearch

2.磁盘：12个盘，SATA

3.集群规模：2台

4.qps峰值：1700/s

5.磁盘IO：100%

环境2：

1.数据流 ：logstash(127.0.0.1)->elasticsearch

2.磁盘：单磁盘，SSD

3.集群规模：3台

4.qps峰值：30000/s

5.磁盘IO：50%

2.注意事项

如果index太大，比如数据超过500GB，则会影响数据的写入速度，建议按天/小时或者更小的粒度切割index

小结：

1.热数据一定要写到SSD

2.需要控制index的大小

End;