37.索引生命周期管理—kibana 索引配置

37.1 背景

  • 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化
    • 如通过spark streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每分钟接近100w,希望es能够对单分片超过50g或者30天前的索引进行归档,并能够自动删除90天前的索引
    • 这个场景可以通过ILM进行策略配置来实现

37.2 介绍

  • ES索引生命周期管理分为4个阶段:hot、warm、cold、delete
    • 其中hot主要负责对索引进行rollover操作
    • warm、cold、delete分别对rollover后的数据进一步处理(前提是配置了hot)
      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p4B2O3XF-1655369268458)(https://upload-images.jianshu.io/upload_images/19745945-79fde35d3a273e5d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

37.3 kibana 索引配置

  • 配置索引生命周期
    • 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期
      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a5npnC0G-1655369268465)(https://upload-images.jianshu.io/upload_images/19745945-6ecbf71aa149e1aa.png?imageMogr2/auto-o

你可能感兴趣的:(ELK,elasticsearch,大数据,big,data)