Prometheus+Grafana搭建日志采集

介绍

一、什么是日志数据采集

日志数据采集是指通过各种手段获取应用程序运行时产生的各类日志信息，并将这些信息存储到特定的地方，以便后续分析和使用。通常情况下，这些日志信息包括系统运行状态、错误信息、用户操作记录等等。通过对这些信息的统计和分析，可以有效地监控应用程序的运行状况，及时发现和解决问题。

二、为什么需要进行日志数据采集

对于企业应用系统而言，日志数据采集至关重要。首先，在应用程序出现问题时，通过查看相关日志信息可以快速定位原因，并进行相应处理。其次，在系统运行期间，通过对日志信息的统计和分析，可以发现系统存在的潜在问题，进而进行优化和改进。此外，对于一些业务场景，如在线广告、电商等，日志数据采集更是必不可少，它可以帮助企业更好地了解用户行为、偏好等信息，从而提升营销效果和用户体验。

三、常见的日志采集方案

方案介绍

• Promtail 是日志收集器，负责收集应用的日志并发送给 Loki。
• Loki 用于日志的存储和解析，并提供查询 API 给下游展示。
• Grafana 负责将 Loki 的日志可视化

Grafana搭建

之前写过，见文章：Prometheus+Grafana搭建

Loki安装

下载

https://github.com/grafana/loki/releases

#规划：安装在/usr/local下面，数据放在/data下
#以root账号，在/usr/local创建文件夹loki，并将安装包放置在此目录下
mkdir loki
#新建存储路径，数据放在/data下
mkdir  /data
mkdir  /data/loki
mkdir  /data/loki/{chunks,index}
#将安装包loki-linux-amd64.zip移动到/usr/local下，解压
unzip loki-linux-amd64.zip
#解压后重新生成文件夹loki-linux-amd64 ，将文件移动到loki目录下
mv loki-linux-amd64 /usr/local/loki/

在/usr/local/loki目录下，修改配置，如没有则新增
vi config.yaml

#在编辑页面可以插入下述脚本，可自行调整部分配置
auth_enabled: false
server:
  http_listen_port: 3100
ingester:
  lifecycler:
    address: xx.xx.xx.xx #ip地址
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
 
schema_config:
  configs:
  - from: 2022-07-01
    store: boltdb
    object_store: filesystem
    schema: v11
    index:
      prefix: index_
      period: 168h   #每张表的时间范围7天
 
storage_config:
  boltdb:
    directory: /data/loki/index   #索引文件存储地址
 
  filesystem:
    directory: /data/loki/chunks  #块存储地址
 
limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
chunk_store_config:
#最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数，否则报错。
  max_look_back_period: 672h
#表的保留期28天
table_manager:
  retention_deletes_enabled: true
  retention_period: 672h

#启动服务
nohup ./loki-linux-amd64 -config.file=./config.yaml >./loki.log 2>&1 &
#设置开机自启动
cd /etc/systemd/system/
vi loki.service

#可复制下述页面，调整文件路径即可
[Unit]
Description=loki
After=network.target 

[Service]
ExecStart=/usr/local/loki/loki-linux-amd64 \
        -config.file=/usr/local/loki/config.yaml &>> /usr/local/loki/loki.log
Restart=on-failure

[Install]
WantedBy=multi-user.target

设置自启动

systemctl daemon-reload

启动服务

systemctl start loki #systemctl stop loki systemctl restart loki

查看启动结果

systemctl status loki

加入开机自启动

systemctl enable loki

部署promtail

需要到日志采集端部署

下载

wget https://github.com/grafana/loki/releases/download/v2.8.0/promtail-linux-amd64.zip
#规划：安装在/usr/local下面
#以root账号，在/usr/local创建文件夹promtail，并将安装包放置在此目录下
mkdir promtail
#将安装包promtail-linux-amd64.zip移动到/usr/local下，解压
unzip promtail-linux-amd64.zip
#解压后重新生成文件夹promtail-linux-amd64 ，将文件移动到promtail目录下
mv promtail-linux-amd64  /usr/local/promtail/

在/usr/local/promtail目录下，修改配置，如没有则新增
vi promtail.yaml

#在编辑页面可以插入下述脚本，可自行调整部分配置
server:
  http_listen_port: 9080
  grpc_listen_port: 0
 
positions:
  filename: ./positions.yaml
 
clients:
  - url: http://xx.xx.xx.xx:3100/loki/api/v1/push   #loki地址,xx是ip地址
 
scrape_configs:
##jobname
 - job_name: centername                         #jobname
   static_configs:
   - targets: 
       - xx.xx.xx.xx                           #xx是ip地址
   - labels:
      job: centername                          #jobname
      host: xx.xx.xx.xx                        #xx是ip地址
      __path__: /home/script/log/*.log        #监控的日志地址，你们根据具体情况选择自己的路径

Promtail默认端口是9080，启动完成后，可以采用上边的方式查看进程是否启动成功

nohup ./promtail-linux-amd64 -config.file=promtail-local-config.yaml > promtail.log 2>&1 &

同样按照上面loki自启动的写法，也可以加入自启动中去

Grafana展示

模版导入

配置Loki数据源，导入监控模版 13639