ELK+Filebeat + kibana 容器化

基于 Docker18.09.0


声明

本文是以下面的文章知识作为基础的

  1. filebeat 容器化
  2. logstash 容器化
  3. elaticsearch 容器化

工作流程图

ELK+Filebeat + kibana 容器化_第1张图片
image.png

编写 Dockerfile

创建上下文环境

先为这个小测试创建一个目录,作为各个容器的上下文环境

mkdir  elk/{filebeat,logstash,elasticsearch}

创建自定义的网络

当在一台宿主机上创建多个可以网络互通的容器时,建议不要使用默认的网桥,
因为我们之前在基础部分说过,默认的网桥,容器之间的通信需要使用彼此的 IP,这样比较麻烦。
所以我们使用自己创建的网桥,就可以使用彼此的容器名进行互相通信了,容器的名称会被转换为容器的主机名。

# 创建
$ docker network create -d bridge elk-net
14c05413eb5b45d5fac79f2346bdd03263cc3a01ce86d44b8f3d54b6eeebd90e

# 查看
$ docker network ls |grep elk-net
14c05413eb5b        elk-net               bridge              local

1. Elasticsearch

a.容器的默认值:

  • JVM
-Xms1g
-Xmx1g
  • elasticsearch.yml
cluster.name: "docker-cluster"
network.host: 0.0.0.0
  • 端口号
    92009300

所以这里我们作为测试,不必修改任何配置就可以启动他。

b. 运行容器

docker run -itd --rm --name=elasticsearch --network=elk-net  -p 9200:9200 docker.elastic.co/elasticsearch/elasticsearch:6.5.2

-d 后台运行此容器
--rm 由于是测试,所以当停止这个容器的时候同时删除这个容器
--network 连接到指定的网络
-p 映射端口到宿主机

请允许我无耻的插播一条广告_, 这里有一整套完整的 Python3 基础教程,图文并茂。点我传送门:Python3 完整基础教程
同时欢迎购买我的基础全套视频微我 y86000153优惠100 点我

c. 检查 elasticserch 集群状态

用浏览器访问宿主机的9200 端口
http://127.0.0.1:9200/_cat/heath

ELK+Filebeat + kibana 容器化_第2张图片
image.png


2. Logstash

a. 准备管道配置文件

下面的配置是监听本机的 5044 端口接收 Fielbeat 的输入
并且将处理清洗过的事件数据输出到 elasticsearch

elk/logstash/logstash_nginx.conf

input {
  beats {
    port => 5044
    host => "0.0.0.0"
  }
}
filter {
  if ([fileset][module]) == "nginx" {
    if ([fileset][name] == "access") {
      grok {
        match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
        remove_field => "message"
      }
      mutate {
        add_field => { "read_timestamp" => "%{@timestamp}" }
      }
      date {
        match => [ "[nginx][access][time]", "dd/MMM/YYYY:H:m:s Z" ]
        remove_field => "[nginx][access][time]"
      }
      useragent {
        source => "[nginx][access][agent]"
        target => "[nginx][access][user_agent]"
        remove_field => "[nginx][access][agent]"
      }
      geoip {
        source => "[nginx][access][remote_ip]"
        target => "[nginx][access][geoip]"
      }
    }
    else if [fileset][name] == "error" {
      grok {
        match => { "message" => ["%{DATA:[nginx][error][time]} \[%{DATA:[nginx][error][level]}\] %{NUMBER:[nginx][error][pid]}#%{NUMBER:[nginx][error][tid]}: (\*%{NUMBER:[nginx][error][connection_id]} )?%{GREEDYDATA:[nginx][error][message]}"] }
        remove_field => "message"
      }
      mutate {
        rename => { "@timestamp" => "read_timestamp" }
      }
      date {
        match => [ "[nginx][error][time]", "YYYY/MM/dd H:m:s" ]
        remove_field => "[nginx][error][time]"
      }
    }
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"] 
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
  # stdout { codec => rubydebug }  # 假如有问题,可以打开此行进行调试
}

关于文件中的 filter 部分会在以后专门讨论。

关于 output

  • hosts ==>["elasticsearch:9200"] 指定机群的主机名,主机名就是容器名
  • manage_template => false 禁用默认的模板,详细官方介绍
  • index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    • %{[@metadata][beat]} 从源数据获取到处理日志的插件,比如Filebeat
    • %{[@metadata][version]} 从源数据获取到版本号
    • %{+YYYY.MM.dd} 以 Logstash 的时间戳格式显示的时间

b. Dockerfile

elk/logstash/Dockerfile

FROM docker.elastic.co/logstash/logstash:6.5.2
COPY ./logstash_nginx.conf /usr/share/logstash/pipeline/logstash.conf

c. 这样构建和运行

cd elk/logstash
docker build -t elk_logstash .

docker run -itd --rm --name=logstash65 --network=elk-net elk_logstash


3. Filebeat

a. 准备源数据

elk/filebeat/example.log

95.213.177.126 - - [18/Jul/2017:00:01:09 +0800] "POST http://check.proxyradar.com/azenv.php HTTP/1.1" 404 326 "https://proxyradar.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)" "-"
202.108.211.56 - - [18/Jul/2017:00:03:23 +0800] "GET http://1.1.1.1/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21" "-"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/ HTTP/1.1" 200 6228 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:17 +0800] "GET http://www.sharkyun.com/css/style_eeoweb.css HTTP/1.1" 200 11988 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/mobile/js/deviceType.js HTTP/1.1" 200 1055 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jplayer/skin/black/css/style.css HTTP/1.1" 200 3339 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/index_eeoweb.js HTTP/1.1" 200 910 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/easySlider.js HTTP/1.1" 200 2431 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/require_eeoweb.js HTTP/1.1" 200 7161 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"
221.228.109.90 - - [18/Jul/2017:01:52:18 +0800] "GET http://www.sharkyun.com/js/jquery.js HTTP/1.1" 200 46467 "https://www.sharkyun.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0" "119.61.20.114"

你可以自己准备一个日志文件,或者将上面的内容多复制1000行到文件中

b. 准备配置文件

elk/filebeat/filebeat_to_logstash.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /*.log

output.logstash:
  # The Logstash hosts
  hosts: ["logstash65:5044"]

c. Dockerfile

elk/filebeat/Dockerfile

FROM docker.elastic.co/beats/filebeat:6.5.2
COPY ./example.log /example.log
COPY ./filebeat_to_logstash.yml /usr/share/filebeat/filebeat.yml

d. 这样构建和运行

cd elk/filebeat/
docker build -t elk_filebeat .

docker run -itd --rm --name=filebeat65 --network=elk-net elk_filebeat

4. kibana

a. 默认的配置

kibana 的容器其实处于测试性的目的就可以直接运行了。
因为默认的配置文件中集群的 url 就是 http://elasticsearch:9200

下面是容器内默认的配置文件内容
/usr/share/kibana/config/kibana.yml

---
# Default Kibana configuration from kibana-docker.

server.name: kibana
server.host: "0"
elasticsearch.url: http://elasticsearch:9200
xpack.monitoring.ui.container.elasticsearch.enabled: true

b. 这样运行 kibana 容器

docker run -itd --rm --name=kibana65 --network=elk-net -p 5601:5601 docker.elastic.co/kibana/kibana:6.5.2

c. 检查是否自动发现了我们创建的索引

使用浏览器访问宿主机的 5601 端口
比如 http://127.0.0.1:5601

ELK+Filebeat + kibana 容器化_第3张图片
image.png
ELK+Filebeat + kibana 容器化_第4张图片
image.png

d. 为 kibana 添加匹配索引的索引模式

要想让 kibana 识别到 elasticsearch 的数据,需要把我们在 elasticsearch 创建好的索引告诉他.

Kibana使用索引模式从Elasticsearch索引中检索可视化等内容。

ELK+Filebeat + kibana 容器化_第5张图片
image.png
ELK+Filebeat + kibana 容器化_第6张图片
image.png

ELK+Filebeat + kibana 容器化_第7张图片
image.png

ELK+Filebeat + kibana 容器化_第8张图片
image.png

ELK+Filebeat + kibana 容器化_第9张图片
image.png

你可能感兴趣的:(ELK+Filebeat + kibana 容器化)