ES数据压缩、解压调研测试

ES数据压缩、解压调研测试

设置 best_compression 压缩方式 所占磁盘空间

查询速度(解压)

设置默认压缩方式(LZ4) 所占磁盘空间

5分钟后压缩再次触发 变为149M

查询速度(解压)

结论
针对压缩来说，压缩触发的因素不单纯是数据落到ES就开始压缩，比如系统负载情况、持久化磁盘后 都会进行压缩，所以才出现了 ecs_http20250208 开始161M 几分钟后变为了149M 但是就目前情况看 best_compression压缩比肯定是比LZ4要高的，如果磁盘空间比较敏感可以考虑使用best_compression。
针对解压来说，解压过程是ES自动触发的，一旦查询ES时，就会根据索引配置对段文件进行解压。因为数据量太少目前两种方式查询速度差不多，除非数据堆到几亿再测试。
但是在互联网调研来说，LZ4解压与压缩速度都比best_compression快，具体快多少目前无从测试，但是压缩比LZ4与best_compression差太多。