ElasticSearch monitor体系搭建

Base on v7.8.0。本文介绍es的指标与日志采集方式

1、metric

指标的采集使用下面2种任意一种都可。

（1）内置collector

下面2个参数开启即可。

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.elasticsearch.collection.enabled": true
  }
}

有个缺点，就是是在跟es的机器上运行，maybe可能影响到es。

（2）Metricbeat

因为内置的collector是需要部署在跟es的机器上的，我们可以使用es官网推荐的metricbeat来实现。

1. 把xpack.monitoring.collection.enabled关闭

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": false
  }
}

2.安装Metricbeat

Metricbeat的下载与安装略过...自行看官网即可。推荐使用rpm包
2.1配置metricbeat.yml（用rpm安装的默认在/etc/metricbeat下面）

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.period: 10s
  reload.enabled: false
output.elasticsearch:
  hosts: ["要存储指标的esip:port"]
setup.kibana:
  host: "[KIBANAIP:PORT]"

2.2 加载es-xpack模块

metricbeat modules enable elasticsearch-xpack

到/etc/metricbeat/modules.d下面编辑elasticsearch-xpack.yml文件

- module: elasticsearch
  xpack.enabled: true
  period: 10s
  hosts: ["要采集的es集群的地址"]

2.3加载配置

metricbeat setup

2.4启动

service metricbeat start

选用任意一种采集方式以后，都可以在es中看到".monitor-xxxxx"的index，使用kibana即可看到指标信息

image.png

2、log

（1）采集

es自身服务log的采集需要依赖filebeat来实现（logstash也行，但是比较繁琐，我们选用简单的来）
filebeat的下载与安装略过...自行看官网即可。推荐使用rpm包
1.配置文件修改
修改filebeat.yml（用rpm安装的默认在/etc/filebeat下面）
搜索"output.elasticsearch"，添加要存储指标的es地址
搜索"setup.kibana"，添加kibana地址
2.启用es模块

filebeat modules enable elasticsearch

到/etc/filebeat/modules.d修改elasticsearch.yml（下面只开启服务的日志，如果其他不需要，需要显示关闭）

- module: elasticsearch
  # Server log
  server:
    enabled: true
    var.paths:
      - /var/log/elasticsearch/ops-cluster.log
  gc:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log
  audit:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/*_access.log  # Plain text logs
      - /var/log/elasticsearch/*_audit.json
  deprecation:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   # Plain text logs
      - /var/log/elasticsearch/*_deprecation.json

3.加载

filebeat setup

4.启动

service filebeat start

（2）可视化