Docker部署Prometheus+Grafana+Node_exporter（保姆级）
Docker部署Prometheus+Grafana+Node_exporter
环境：
- Docker version 20.10.12
| 服务器 | 公网IP | 内网IP | 服务 |
|---|---|---|---|
| lb | 172.10.10.100 | 192.168.142.101 | node_export、cadvisor、Nginx（docker） |
| web | 192.168.142.102 | node_export、cadvisor、grafana | |
| server | 192.168.142.103 | node_export、cadvisor、prometheus |
准备工作
就三台机器就不用ansible了。。(╯‵□′)╯︵┻━┻
设置本地解析以及推送免秘钥登入
vim /etc/hosts
192.168.142.101 lb
192.168.142.102 web
192.168.142.103 server
ssh创建并推送秘钥到各个服务器（提示：第一次推送，需要密码登入）
ssh-copy-id -i ~/.ssh/id_rsa.pub web
ssh-copy-id -i ~/.ssh/id_rsa.pub server
export一键部署脚本
node_exporter.sh
#!/bin/bash
#解压并且移动到对应目录
tar xf node_exporter-0.17.0.linux-amd64.tar.gz
mv node_exporter-0.17.0.linux-amd64 /usr/local/node_exporter
#使用systemctl管理
cat <<EOF >/usr/lib/systemd/system/node_exporter.service
[Unit]
Description=https://prometheus.io
[Service]
Restart=on-failure
ExecStart=/usr/local/node_exporter/node_exporter --collector.systemd --collector.systemd.unit-whitelist=(docker|kubelet|kube-proxy|flanneld).service
[Install]
WantedBy=multi-user.target
EOF
#刷新systemctl、设置开机自启动并启动node_exporter
systemctl daemon-reload
systemctl enable node_exporter
systemctl restart node_exporter
1 镜像下载
拉取镜像、构建测试nginx容器以及下载、推送、构建资源及脚本
操作服务器：lb 192.168.142.101
pull.sh
#!/bin/bash
echo -e "\033[32m------1.拉取需要的镜像------\033[0m"
docker pull prom/prometheus
docker pull google/cadvisor
docker pull grafana/grafana
docker pull nginx:1.14.2
sleep 1
echo -e "\033[32m------2.启动nginx容器------\033[0m"
docker run -itd -p 80:80 --name=nginx-test nginx:1.14.2
sleep 1
echo -e "\033[32m------3.打包镜像------\033[0m"
docker save -o prom.tar.gz prom/prometheus
docker save -o cad.tar.gz google/cadvisor
docker save -o grafa.tar.gz grafana/grafana
echo -e "\033[32m------4.下载node_exporter------\033[0m"
wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz
if [ -f `ls | grep node_exporter-0.17.0.linux-amd64.tar.gz` ];then
echo '下载成功'
else
echo '下载失败'
exit 0
fi
ls /root | grep *.tar.gz
sleep 1
echo -e "\033[32m------5.推送对应的镜像包、安装包以及脚本至web服务器------\033[0m"
scp node_exporter-0.17.0.linux-amd64.tar.gz web:/root
scp cad.tar.gz web:/root
scp grafa.tar.gz web:/root
scp node_exporter.sh web:/root
sleep 1
echo -e "\033[32m------6.推送对应的镜像包、安装包以及脚本至server服务器------\033[0m"
scp node_exporter-0.17.0.linux-amd64.tar.gz server:/root
scp cad.tar.gz server:/root
scp prom.tar.gz server:/root
scp node_exporter.sh server:/root
sleep 1
echo -e "\033[32m------7.执行本地、远程脚本器------\033[0m"
sh /root/node_exporter.sh
mv /root/*.tar.gz /tmp/
ssh web "sh /root/node_exporter.sh"
ssh web "mv /root/*.tar.gz /tmp/"
ssh server "sh /root/node_exporter.sh"
ssh server "mv /root/*.tar.gz /tmp/"
sleep 1
echo -e "\033[32m------8.执行本地、远程命令------\033[0m"
ps -ef |grep exporter|grep -v grep
echo -e "\033[33m-------server服务器有返回值即成功，没有即失败-----------\033[0m"
echo -e "\033[33m-------(╯‵□′)╯︵┻━┻----------华丽的分割线-----------\033[0m"
sleep 1
ssh web "ps -ef |grep exporter|grep -v grep"
echo -e "\033[33m-------server服务器有返回值即成功，没有即失败-----------\033[0m"
echo -e "\033[33m-------(╯‵□′)╯︵┻━┻----------华丽的分割线-----------\033[0m"
sleep 1
ssh server "ps -ef |grep exporter|grep -v grep"
echo -e "\033[33m-------server服务器有返回值即成功，没有即失败-----------\033[0m"
echo -e "\033[33m-------(╯‵□′)╯︵┻━┻----------华丽的分割线-----------\033[0m"
执行脚本:sh pull.sh
2 部署容器
Prometheus部署
操作服务器：server 192.168.142.103
1、解压镜像
docker load -i /tmp/cad.tar.gz
docker load -i /tmp/prom.tar.gz
2、挂载prometheus挂载配置文件目录
mkdir -p /data/prometheus
vim /data/prometheus/prometheus.yml
global:
scrape_interval: 15s # By default, scrape targets every 15 seconds.
evaluation_interval: 15s # By default, scrape targets every 15 seconds.
rule_files:
- "rules/node.rules"
scrape_configs:
- job_name: 'Prometheus'
scrape_interval: 5s
static_configs:
- targets: ['192.168.142.103:9090']
- job_name: 'Docker'
scrape_interval: 8s
static_configs:
- targets: ['192.168.142.101:8080','192.168.142.102:8080','192.168.142.103:8080']
- job_name: 'Linux'
static_configs:
- targets: ['192.168.142.101:9100','192.168.142.102:9100','192.168.142.103:9100']
3、Prometheus容器部署
docker run -d \
--name=prometheus \
-p 9090:9090 \
-v /data/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \
prom/prometheus
4、cAdvisor采集容器部署
docker run -d \
-v /:/rootfs:ro \
-v /var/run:/var/run:ro \
-v /sys:/sys:ro \
-v /var/lib/docker/:/var/lib/docker:ro \
-v /dev/disk/:/dev/disk:ro \
-p 8080:8080 \
-d --name=cadvisor-server \
google/cadvisor:latest
Grafana部署
操作服务器：web 192.168.142.102
1、解压镜像
docker load -i /tmp/cad.tar.gz
docker load -i /tmp/grafa.tar.gz
2、挂载Grafana挂载配置文件目录
#创建目录，拷贝配置文件，并授权，否则会报错
mkdir -p /data/grafana/grafana-etc && mkdir -p /data/grafana/grafana
docker run -d --name=grafana -p 3000:3000 grafana/grafana
docker cp grafana:/etc/grafana/grafana.ini /data/grafana/grafana-etc
chmod 777 /data/grafana && chmod 777 /data/grafana/grafana
#删除容器
docker rm -f grafana
#修改配置文件
vim /data/grafana/grafana-etc/grafana.ini
38行 http_port = 3000
41行 domain = 192.168.142.102
#重新挂载数据目录以及配置文件
docker run -d --name=grafana -p 3000:3000 \
-v /data/grafana/grafana:/var/lib/grafana \
-v /data/grafana/grafana-etc/grafana.ini:/etc/grafana/grafana.ini \
grafana/grafana
#也可以添加一下配置直接修改（未验证）
-e "GF_SERVER_ROOT_URL=http://grafana.server.com"
-e "GF_SECURITY_ADMIN_PASSWORD=jack2019"
3、cAdvisor采集容器部署
docker run -d \
-v /:/rootfs:ro \
-v /var/run:/var/run:ro \
-v /sys:/sys:ro \
-v /var/lib/docker/:/var/lib/docker:ro \
-v /dev/disk/:/dev/disk:ro \
-p 8080:8080 \
-d --name=cadvisor-web \
google/cadvisor:latest
4、Grafana常用模板
#模板网址：https://grafana.com/grafana/dashboards/
#第一部分
监控容器模板
推荐ID：
Kubernetes Pods：3146
K8s Cluster Summary：8685
Cluster Monitoring for Kubernetes：10000
1. Kubernetes Deployment Statefulset Daemonset metrics：8588
Kubernetes cluster monitoring (via Prometheus)：315
#第二部分
监控物理机/虚拟机(linux)模板
推荐ID：9276
监控物理机/虚拟机(windows)模板
推荐ID：10467、10171、2129
#第三部分
监控协议http/icmp/tcp/dns/模板
http监控某个网站、icmp监控某台机器、tcp监控某个端口、dns监控dns
推荐ID：9965
Nginx转发部署
操作服务器：lb 192.168.142.101
1、创建nginx配置目录并拷贝出来
mkdir -p /data/nginx/ && docker cp nginx-test:/etc/nginx/nginx.conf /data/nginx/
2、vim /data/nginx/nginx.conf
stream {
upstream grafana {
server 192.168.142.102:3000;
}
server {
listen 3000;
proxy_pass grafana;
}
upstream prometheus {
server 192.168.142.103:9090;
}
server {
listen 9090;
proxy_pass prometheus;
}
}
3、启动并挂载配置文件
docker run -itd -p 80:80 -p 3000:3000 -p 9090:9090 \
-v /data/nginx/nginx.conf:/etc/nginx/nginx.conf \
--name nginx-lb nginx:1.14.2
4、nginx平滑重启脚本
#!/bin/bash
ng_name='nginx-lb'
nginx_t=`docker exec -it ${ng_name} /bin/bash -c 'nginx -t'| grep -o successful`
if
[[ $nginx_t == successful ]];then
docker exec -it ${ng_name} /bin/bash -c 'nginx -s reload'
echo -e "\033[33m---------------Nginx配置成功---------------\033[0m"
exit 0
else
docker exec -it ${ng_name} /bin/bash -c 'nginx -t'
echo -e "\033[33m---------------Nginx配置错误---------------\033[0m"
exit 0
fi
5、cAdvisor采集容器部署
docker run -d \
-v /:/rootfs:ro \
-v /var/run:/var/run:ro \
-v /sys:/sys:ro \
-v /var/lib/docker/:/var/lib/docker:ro \
-v /dev/disk/:/dev/disk:ro \
-p 8080:8080 \
-d --name=cadvisor-lb \
google/cadvisor:latest
3 配置Grafana插件以及模板
1、查看网页
192.168.142.101:3000
192.168.142.101:9090
#默认登入账号密码为admin，登入后会强制更改密码
#grafana账号密码
admin
sleep_2019
2、添加Prometheus插件
3、选择模板
添加成功
再次添加容器模块
进入某块官网，选择喜欢的Docker模块
完工撒花！！！喜欢的可以关注~不定期更新技术帖子。