ELK 日志收集分析系统

相关组件

• Elastic search 服务用于分词并索引日志数据
• Logstash / filebeat 服务用于从主机上收集日志文件内容并发送到 Elastic search 服务索引存储
• Kibana 服务通过 Elastic search 服务提供的 rest api 查询和可视化展示日志

服务搭建

通过 docker 部署，创建一个部署脚本 elk.sh 内容如下，直接运行脚本即可完成部署，部署完成后通过浏览器访问两 Kibana 管理入口：http://localhost:9200 和 Elastic Search 服务入口 http://localhost:5601 验证是否正确部署完成，服务搭建完成后，Elastic search 中没有任何日志数据，需要通过在其他主机上配置 filebeat 将某个应用的数据发送到服务器中。

docker stop elk
docker rm -f elk
docker run -d \
--restart always \
--name elk \
-p 9200:9200 \
-p 5601:5601 \
nshou/elasticsearch-kibana

Windows 10 filebeat 服务安装配置

下载开源版本 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-windows-x86_64.zip，解压缩到 C 盘根目录下， 如下图修改配置文件，在 c:\logs 目录下创建一个错误日志文件 error.log 并添加日志内容，通过管理员权限打开 powershell，拖放文件 install-service-filebeat.ps1 运行服务。

filebeat.inputs:
- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - C:\Program Files (x86)\CMOS-UE\logs\*.log
    #- c:\programdata\elasticsearch\logs\*


#============================= Filebeat modules ===============================

filebeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: false

  # Period on which files under path should be checked for changes
  #reload.period: 10s

#==================== Elasticsearch template setting ==========================

setup.template.settings:
  index.number_of_shards: 1
  #index.codec: best_compression
  #_source.enabled: false



#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["10.0.23.198:9200"]

  # Protocol - either `http` (default) or `https`.
  # protocol: "https"

Ubuntu 18.04 filebeat 服务安装配置

从官方地址 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-amd64.deb 下载对应的版本安装完成后，修改配置文件 /etc/filebeat/filebeat.yml，完成后重启服务.

# 安装服务，停止和启动服务，查看服务状态
dpkg -i filebeat-oss-7.6.1.deb
service filebeat stop
service filebeat start
service filebeat staus 

Kibana 使用

完成了第一阶段的配置后，登录 http://localhost:9200 即可查看日志，如何使用 Kibana 请参见官方帮助文档。