prometheus 接入 Yarn 监控

  1. jmx 配置。
    准备 jmx_prometheus_javaagent 和 resourcemanager.yaml
    prometheus 接入 Yarn 监控_第1张图片

  2. 修改 /usr/local/fqlhadoop/hadoop/bin/yarn
    追加如下内容。(监控数据上报后,再注释掉新增的内容)

## yarn jmx monitor
YARN_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=6464 -javaagent:/usr/local/fqlhadoop/hadoop/prometheus/jmx_prometheus_javaagent-0.13.0.jar=17104:/usr/local/fqlhadoop/hadoop/prometheus/resourcemanager.yaml $YARN_OPTS"
  1. 重启 Yarn ResourceManager。

  2. 启动指标采集器(网上找的开源项目 hadoop_jmx_exporter)
    python hadoop_jmx_exporter.py -cluster hadoop_gz -rms http://1.hadoop.com:8088/jmx

  3. 在 prometheus 中配置 reourcemanager 的主机。

  4. 配置 grafana 图表。。

  5. 配置 prometheus 告警。

参考
https://github.com/opsnull/hadoop_jmx_exporter
https://www.jianshu.com/p/4e155ed1ed60
https://www.jianshu.com/p/5e8dc06c123e

你可能感兴趣的:(DevOps,大数据,运维,架构)