解决ES数据量过大导致的”Data too large“问题

对线上nginx日志监控,采用的Elasticsearch+Logstash+Grafand架构的模式,本来运行的很正常的,今天上去看的时候,监控图标出现了以下报错:
解决ES数据量过大导致的”Data too large“问题_第1张图片
后查阅相关资料,启动es的时候忘记设置堆内存(ES_HEAP_SIZE)导致这种情况。es默认启动是指定堆内存为1G,在生产环境肯定是不能满足的。于是,对ES的堆内存进行重新指定,修改方式如下:
打开ES的配置文件目录,找到ES的内存配置文件,文件名如下:
解决ES数据量过大导致的”Data too large“问题_第2张图片打开jvm.optinons将原本默认的 -Xms1g 、-Xms1g两个参数的值进行修改(实际配置大小根据主机资源大小决定):

解决ES数据量过大导致的”Data too large“问题_第3张图片
除此之外,还需要修改ES默认保存缓存的大小,方法为在 elasticsearch.yml 配置文件加上如下配置:

vim /etc/ elasticsearch/ elasticsearch.yml

# 避免发生OOM,发生OOM对集群影响很大的
indices.breaker.total.limit: 80%

# 有了这个设置,最久未使用(LRU)的 fielddata 会被回收为新数据腾出空间   
indices.fielddata.cache.size: 10%

# fielddata 断路器默认设置堆的  作为 fielddata 大小的上限。
indices.breaker.fielddata.limit: 60%

# request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存
indices.breaker.request.limit: 60%

之后重启ES
执行清除缓存命令
curl -XPOST -u admin:Admin@123 ‘http://xxx:9200/elasticsearch/_cache/clear?fielddata=true’

然后重新查看granfa,发现问题得到解决

你可能感兴趣的:(ELK,elasticsearch)