使用Docker+Grafana+InfluxDB可视化展示Jenkins构建信息

20210410 Update docker-compose.yml.

环境搭建完成后，最终展示效果如下图所示：

docker-compose.yml

内容如下：

version: '3'
services:
    influxdb:
        image: influxdb:1.8.0
        container_name: influxdb
        restart: always
        ports:
            - "8086:8086"
        volumes:
            - /opt/docker/influxdb:/var/lib/influxdb
            - /etc/localtime:/etc/localtime
        hostname: influxdb
        environment:
            - ADMIN_USER=root
            - INFLUXDB_INIT_PWD=YOUR_PWD
            - PRE_CREATE_DB=jenkins
    chronograf:
        image: chronograf:1.8
        container_name: chronograf
        restart: always
        ports:
            - 8888:8888
        volumes:
            - /opt/docker/chronograf:/var/lib/chronograf
    grafana:
        image: grafana/grafana:7.3.0
        container_name: grafana
        restart: always
        links:
            - influxdb:influxdb
        ports:
            - "3000:3000"
        user: root
        volumes:
            - /etc/localtime:/etc/localtime
            - /opt/docker/grafana/grafana-data:/var/lib/grafana
            - /opt/docker/grafana/grafana-logs:/var/log/grafana
        environment:
            - INFLUXDB_HOST=influxdb
            - INFLUXDB_PORT=8086
            # 设置管理员登录密码, 默认为admin, 首次登录时需要进行修改
            - GF_SECURITY_ADMIN_PASSWORD=YOUR_PWD
            # 设置要安装的插件
            - GF_INSTALL_PLUGINS=grafana-piechart-panel

搭建过程中，有几个需要注意的地方，下面来稍微说说。

1. 不需要额外为influxDB容器开放8083端口，这是因为从InfluxDB 1.3以及之后的版本，已经取消了自带的web管理页面了，取而代之的是使用Chronograf；
2. 创建Chronograf容器是可选的，容器启动后，访问:HTTP://IP:8888，可以进入chronograf 控制台页面，如下：
   第一项Connection URL不要用localhost，可能出现访问不通的情况，Username 和 Password可以保持空白后面再设置，Telegraf的默认数据库名称为telegraf，直接点击按钮下一步就好。
3. influxdb 容器启动成功后，进入容器内的/usr/bin目录，这里面存放了Influxdb相关的工具，如下。 当然也可以在Chronograf控制台页面进行数据库的CURD相关操作。

docker exec -it influxdb bash
cd /usr/bin
find | grep influx
./influx_stress
./influx_inspect
./influx
./influxd
./influx_tsm

# 查看版本
./influx -version
InfluxDB shell version: 1.8.0

# 进入Influxdb客户端命令行
./influx

# 创建jenkins数据库
`CREATE DATABASE  jenkins

4. grafana这里使用了7.3.0版本，如果从低版本迁移到高版本会有权限问题（坑!!），详见:https://grafana.com/docs/grafana/latest/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later。 另外，考虑到要为Jenkins做一个构建成功率和构成失败率统计，所以为Grafana预安装了饼图插件，相关的方法在上面的链接中也有详细介绍。

Jenkins

Jenkins需要安装influxdb插件，承担数据采集的角色，在项目构建完成后，将本次构建信息推送到数据库中，后续Grafana配置好数据源后，就可以将数据进行可视化展示。

插件安装完成后，进入系统配置页面，设置下InfluxDB Targets：

image.png

配置保存成功后，进入项目配置页面，添加构建后操作。

当项目构建完成后，会自动上报十分详细的构建信息到数据库中，可以看到一些数据表已经自动被创建了。

Grafana目录代理(可选)

使用Nginx为grafana做了代理，以实现在公网下通过域名+"/grafana"的形式访问，点击查看官方文档，步骤如下：

1. 修改Nginx配置(nginx.conf)，红色部分为新增，proxy_pass后面一定要有"/"（用以去掉/grafana/匹配本身）

server {

listen 80;
root /usr/share/nginx/www;
index index.html index.htm;

location /grafana/ {
proxy_pass http://localhost:3000/;
}
}

2. 修改grafana配置(grafana.ini），由于grafana以容器形式启动，所以先拷贝配置文件到宿主机

 docker cp grafana:/etc/grafana/grafana.ini /opt/docker/grafana-data/etc

然后修改配置文件中的以下内容：

[server]
domain = 你的域名
root_url = %(protocol)s://%(domain)s/grafana/

配置文件修改完成后，重启容器再挂载宿主机配置文件目录到容器中。

docker kill grafana
docker rm grafana
docker run  --user root -d --name grafana -p 3000:3000  -v /opt/docker/grafana-data/etc:/etc/grafana/ -v /opt/docker/grafana-data/grafana:/var/lib/grafana  grafana:mc

3. reload nginx

---

配置Grafana 数据源

数据源可以配置多个，配置项和Jenkins中一致就可以了。

Jenkins Dashboard

Grafana提供了导入Dashboards模板的功能，在官网可以搜索很多别人已经实现的模板，我们只需要按需导入即可，十分方便，这里以Jmeter为例，进入官网 Grafana Dashboards 搜索页面，点击搜索结果中的第一条：

在页面右侧可以看到模板ID为5496，复制此ID，进入Grafana控制台页面，点击左侧的加号，选择Import然后输入模板ID，并导入即可，导入成功后，会自动新建一个 Jmeter Dashboard。

这里尝试去搜索Jenkins相关的模板，发现并没有符合我们要求的模板，所以后续是通过手动配置的方式来完成的，需要手动创建一个名为Jenkins的Dashboard，然后在进行后续操作。

创建环境变量
采集到的数据是包括所有jenkins项目的构建数据，在利用这部分数据时，可以创建项目名称变量（projectName），这个变量实际就是Jenkins的Job Name，配置如下：

保存完成后，在Dashboard页面，会发现多了一个名为"项目名称"的筛选项：

后续配置Panel时，在InfluxQL中可以通过$projectName的方式使用这个自定义的变量。

**Add Panel **
下面是一些我用到视图类型以及对应的InlfuxQL，Visualization配置可以按照喜欢自行调整。

• Pie Chart

# Title构建成功
SELECT count("build_result") FROM jenkins_data  WHERE ("build_result" = 'SUCCESS' AND "project_path" =~ /^$projectName$/) AND $timeFilter GROUP BY time($__interval) fill(null)

# Title 构建成功
SELECT count("build_result") FROM jenkins_data  WHERE ("build_result" = 'FAILURE' AND "project_path" =~ /^$projectName$/) AND $timeFilter GROUP BY time($__interval) fill(null)

• Graph

# Title  构建耗时
SELECT "build_time" FROM "jenkins_data" WHERE ("project_path" =~ /^$projectName$/) AND $timeFilter ORDER BY time DESC tz('Asia/Shanghai')

• Gauge

# Title 健康指数
SELECT project_build_health FROM jenkins_data  WHERE ("project_path" =~ /^$projectName$/) AND $timeFilter

• Table

# Title 构建记录
SELECT "build_agent_name", "build_number", "build_result", "build_status_message", "build_time", "project_build_health" FROM "jenkins_data" WHERE ("project_path" =~ /^$projectName$/) AND $timeFilter GROUP BY "project_name" ORDER BY time DESC

---

除了Jenkins构建结果外，Jmeter压测结果也可以通过后置处理器非常方便的采集到InfluxDB中，并利用Grafana进行展示。
To be continued....