elasticsearch+grafna监控指标

参考资源：
集群监控视图参考:https://grafana.com/grafana/dashboards/8642
es监控指标解读与获取：https://www.jianshu.com/p/f97011deb520

当前elasticsearch监控指标：

1. 集群层面(/_cluster/stats?human=true)
   集群统计信息(集群状态、集群节点数、集群分片、文档数等)
   集群未分片等信息。
2. 节点层面(/_nodess/stats/indices,os,jvm,fs,thread_pool?human)
   节点统计(cpu、cpuload、索引数、文档存储大小、磁盘使用空间等)
   指标：gc时间(yong、old)、gc次数、jvm堆使用百分比、jvm young/old区、cpu使用、thread pool、search rate latency、index rate latency
   3.索引层面(/your_index_name/_stats)
   search rate latency、index rate latency、索引内存、segment count、文档数等信息
3. grafana介绍
   grafana是当前开源的一款可视化图表工具，支持mysql、elasticsearch等多种数据源。
   安装grafana：

   1. PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo apt-get install -y apt-transport-https
   2. PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo apt-get install -y software-properties-common wget
   3. PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
   4. 在/etc/apt/sources.list.d  建立grafana.list文件，内容：deb https://packages.grafana.com/oss/deb stable main
   5. sudo wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
    6. PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo apt-get install grafana
    7. 启动grafana
     PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo service grafana-server start
   8.重启grafana
     PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo service grafana-server restart 
    9.查看状态
     PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin sudo service grafana-server status
   

4. grafana图表使用
   主要用到了两种图表：table和graph
   table 如何画：
   -> metric:选择Raw Document

   
   
   image.png
   
   

   -> 在Columns添加上列，在Column Styles给列起名字

   
   
   image.png

graph：

image.png

3. 踩过的坑
   -> grafana在es中使用是必须有一个时间字段的，使用13位时间戳即可，默认情况会和当前时间少8个小时，需要设置dash board的时间为浏览器的时间

   
   
   image.png
   
   

   ->可以配置变量，变量可以用在查询或者统计中，可以做到级联的效果

   
   
   image.png
   
   配置后显示效果：
   
   image.png
   
   -> ngnix 500 Internal Server Error
   

   由于内外网关系，访问grafana做了一层ngnix代码，当添加的图表比较多时，发送post请求数据比较大，会被nginx给限制住。
   错误提示框如下：

 
  
500 Internal Server Error
 
nginx/1.0.4  
  
  
  
 
  
 

解决办法：
添加
client_max_body_size 100m;
client_body_buffer_size 128k;

image.png

-> net::ERR_CONTENT_LENGTH_MISMATCH 错误解决
在配置ngnix的grafana下加上
proxy_max_temp_file_size 0;

总的配置如下：

image.png