【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]

        如果您对 elk 还不了解,那么可以先直戳下方官方链接,官方通过图形化界面很形象地介绍了elk stack(Elastic  Stack)。

 ELK Stack:Elasticsearch 的开发者倾心打造 | Elastic

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第1张图片

| 准备工作(统一版本7.16.1)

本文使用软件(centos7,moba)

| 拉取es镜像

docker pull elasticsearch:7.16.1

|| 拉取kibana镜像 

docker pull kibana:7.16.1

||| 拉取logstash镜像

docker pull logstash:7.16.1

|||| 拉取filebeat镜像

docker pull docker.elastic.co/beats/filebeat:7.16.1

拉取完成后使用命令查看镜像信息,如下所示:

docker images

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第2张图片

| 设置elk的网络

这里取名为elbk-net(都是首字母啦)

docker network create elbk-net

 若你拥有可视化界面portainer,则可在network中查看

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第3张图片

| 分别启动各容器

1.启动es(本文以单节点演示)

docker run \
-d --name es \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
--net elbk-net \
elasticsearch:7.16.1

2.启动 kibana

docker run \
-v /opt/docker/elbk/kibana:/usr/local/etc/elbk/kibana/config \
-p 5601:5601 -d \
--net elbk-net \
--name kibana \
kibana:7.16.1

若您等待了很长时间访问kibana见到如下界面,请参考:

【解决】Kibana server is not ready yet:Docker启动kibana迟迟未成功_hah杨大仙的博客-CSDN博客

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第4张图片

启动成功可看到如下界面

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第5张图片

3.配置启动logstash

| 添加如下两个文件,需将文件中 ip地址 修改为 你的ip地址 

目录结构如下图所示:

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第6张图片

logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: 192.168.21.128:9200

logstash.conf

input {
  beats {
    port => 5678
  }
}
filter {
  # Only matched data are send to output.
}
output {
  elasticsearch {
    hosts  => ["http://192.168.21.128:9200"]    # ElasticSearch host, can be array.
    index  => "mylog-%{+YYYY.MM}"         		# The index to write data to.
  }
}
  • input:输入
    • beats是我们后面要启动的filebeat,filebeat通过port:5678将收集的日志发送给logstash
  • filter:过滤
  • output:输出

启动 logstash

docker run -d \
-p 5678:5678 --net elbk-net \
--name logstash -p 5066:5066 -p 5067:5067 \
-v /opt/docker/elbk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
-v /opt/docker/elbk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml \
logstash:7.16.1

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第7张图片

使用docker ps查看正在运行的容器,启动成功 

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第8张图片

4.配置启动filebeat

  • 新建需要收集的日志文件:
  • 内容大致如下(springcloud微服务中的网关模块启动日志,这里仅做demo演示)

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第9张图片

创建filebeat文件夹并创建 filebeat.yml 文件,目录如下图所示(规范一点多多益善啦)

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第10张图片

filebeat.yml 内容如下

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/docker/elbk/test/elbk-test.log
output.logstash:
    hosts: ["192.168.21.128:5678"]
  • paths:测试日志的存放位置
  • hosts:你的ip地址,5678端口是与上面启动的logstash对应

启动filebeat

同样记得修改ip为你的ip

docker run \
-u root \
-v /opt/docker/elbk/test:/opt/docker/elbk/test:rw \
-v /opt/docker/elbk/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro \
-e setup.kibana.host=192.168.21.128:5601 -d \
--name filebeat --net elbk-net \
docker.elastic.co/beats/filebeat:7.16.1
  •  ro:
    • 文件:容器内不能修改,会提示read-only
    • 文件夹:容器内不能修改、新增、删除文件夹中的文件,会提示read-only
  • rw:
    • 文件:不管是宿主机还是容器内修改,都会相互同步,但容器内不允许删除,会提示Device or resource busy;宿主机删除文件,容器内的不会被同步

    • 文件夹:不管是宿主机还是容器内修改、新增、删除文件,都会相互同步

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第11张图片

启动成功后查看正在运行的容器

docker ps

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第12张图片

也可通过可视化界面查看

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第13张图片

全部启动成功!!

接下来我们使用 kibana 看一下效果

| 测试

1.使用您的ip地址加5601(启动kibana指定的端口)即可看到如下界面 

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第14张图片

2.点击可看到如下界面

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第15张图片

3.这里还是切回英文版演示(ps:kibana是可以设置为中文的,找找度娘,很简单,在这里不是重点,就不操作啦)

4.选择堆栈管理

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第16张图片

5.选择索引配置

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第17张图片

6.点击后关闭弹出框

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第18张图片

7.该界面告诉你已有数据,点击创建索引进入 正则选择索引库,若如下图所示匹配到上面logstash.conf定义的索引即代表成功!!

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第19张图片

8.即可进入如下界面 

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第20张图片

9.此时再使用es-head头插件查看即可看到已生成索引库!!

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第21张图片

10.且已存入数据~

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第22张图片

11.接下来如下图所示操作即可看到创建时写入的数据!!

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第23张图片

12.根据条件筛选

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第24张图片

13.此时在该日志文件再写入一条信息

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第25张图片

14.回到kibana查看

【图文详解】Docker搭建 ELK Stack (elk) [使用es-logstash-filebeat-kibana]_第26张图片

15.ok,至此 elk stack 搭建 及 demo测试 就到此结束啦!!good luck!!

..


Thanks 

..

你可能感兴趣的:(软件安装,Linux,ElasticSearch,elk,docker,大数据,elasticsearch,运维)