DOCKer elastics filbeat kibana logstash

万能付博

 

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash 是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用 

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

+

Filebeat 是用于单用途数据托运人的平台。它们以轻量级代理的形式安装,并将来自成百上千台机器的数据发送到 Logstash 或 Elasticsearch。

 

 

 Docker 镜像统一从 https://hub.docker.com/ 下载 (安装时请使用统一版本)

 

、Docker 安装 Elasticsearch

官网镜像地址:https://hub.docker.com/_/elasticsearch

找到目前最新的(Tags)是 7.1.1

# 下载镜像 查看镜像
docker pull elasticsearch:7.1.1
docker images

复制代码

# 创建自定义的网络(用于连接到连接到同一网络的其他服务(例如Kibana))
docker network create somenetwork 

# 运行 elasticsearch
docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1

# 查看容器状态
docker ps

复制代码

# 检测 elasticsearch 是否启动成功
curl 127.0.0.1:9200

DOCKer elastics filbeat kibana logstash_第1张图片

Elasticsearch 安装启动完成

 

二、Docker 安装 Kibana

官网镜像地址:https://hub.docker.com/_/kibana

使用和 elasticsearch 相同版本镜像 7.1.1 (不一样可能会出现问题)

# 下载镜像 查看镜像
docker pull kibana:7.1.1
docker images

注意:在本例中,Kibana使用默认配置,并希望连接到正在运行的Elasticsearch实例http://localhost:9200

# 运行 Kibana
docker run -d --name kibana --net somenetwork -p 5601:5601 kibana:7.1.1

# 查看容器启动状态
docker ps

 

访问 http://127.0.0.1:5601  (启动可能会较慢,如失败等几秒再尝试刷新一下)

DOCKer elastics filbeat kibana logstash_第2张图片

 

Kibana 安装启动完成

 

三、Docker 安装 Logstash

官网镜像地址:https://hub.docker.com/_/logstash

使用同版本镜像 7.1.1 

# 下载镜像 查看镜像
docker pull logstash:7.1.1
docker images

 

我在工作目录建立一个 docker 目录 并在里面创建了 logstash 目录,用来存放所有配置

 

DOCKer elastics filbeat kibana logstash_第3张图片

1

里面放了 logstash 的配置文件

 DOCKer elastics filbeat kibana logstash_第4张图片

logstash.yml (文件内容)

path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash

复制代码

conf.d/test.conf (文件内容)

input {
    beats {
    port => 5044
    codec => "json"
}
}

output {
  elasticsearch { hosts => ["elasticsearch:9200"] }
  stdout { codec => rubydebug }
}

复制代码

复制代码

复制代码

启动 Logstash 

记得映射上面两个目录 {path}

docker run -it -d -p 5044:5044 --name logstash --net somenetwork -v {path}/logstash.yml:/usr/share/logstash/config/logstash.yml -v {path}/conf.d/:/usr/share/logstash/conf.d/ logstash:7.1.1

查看容器运行状态
docker ps 

复制代码

复制代码

启动成功

 

四、Docker 安装 Filebeat

官网镜像地址:https://hub.docker.com/_/filebeat

使用同版本镜像 7.1.1 

# 下载镜像 查看镜像
docker pull store/elastic/filebeat:7.1.1
docker images

复制代码

复制代码

# 下载默认官方配置文件 (暂时在当前目录创建一个 filebeat 目录 用来放 filebeat 配置文件)
curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml

# 打开配置文件
vim filebeat.docker.yml

DOCKer elastics filbeat kibana logstash_第5张图片

# 增加下面的配置 (收集 .log 数据 把数据发送到当前网络5044端口 (logstash 端口) )
# 这个地方的 .log 要保证有几条测试数据
filebeat.inputs:
- type: log
  enabled: true
 paths:  - /var/log/nginx/*.log 
output.logstash:
  hosts: ['{ip}:5044']
 
# 运行Filebeat

# 请更改下面两个路径
{nginx-path} = 本地的日志文件目录(映射到容器中 作为数据源)
{path} = Filebeat配置文件路径 
{ip} = elasticsearch 地址
docker run --name filebeat --user=root -d --net somenetwork --volume="{nginx-path}:/var/log/nginx/" --volume="{path}/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" --volume="/var/lib/docker/containers:/var/lib/docker/containers:ro" --volume="/var/run/docker.sock:/var/run/docker.sock:ro" store/elastic/filebeat:7.1.1
 

复制代码

复制代码

# 查看容器启动状态
docker ps

 

 

 

启动成功 

现在去 Kibana 查看数据,已经有数据了 

DOCKer elastics filbeat kibana logstash_第6张图片

 

复制代码

(大家不要拿来命令就执行啊,中间有些路径之类的要自己改改。)

到此 最基本的几个软件通讯配置 结束了。

还有很多要探索的地方。

待续...

复制代码

 

 

生命在于过程, 每天一点点.

标签: ELK

好文要顶 关注我 收藏该文  

万能付博
关注 - 0
粉丝 - 2

+加关注

2

0

« 上一篇: 工作随笔-日常工作-小说站 PC版
» 下一篇: DockerCompose 搭建 ELK 7.1.1 + Filebeat 监控laravel框架日志

posted @ 2019-06-11 19:39  万能付博  阅读(1035)  评论(1)  编辑 收藏

评论列表

  

#1楼 2019-11-26 18:02 Lance_cc

您好。我用docker创建filebeat的时候 有个问题一直解决。
2019-11-26T09:52:53.764Z INFO registrar/registrar.go:97 No registry file found under: /usr/share/filebeat/data/registry. Creating a new registry file.

我的启动命令是这样的:docker run --privileged=true -v /home/logs/:/usr/share/filebeat/logs/ -v /home/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml filebeat:v6.8.2。

猜测可能是没挂载容器内 /data/registry 的原因,然后又挂载 registry
再上面的命令上又加了 -v /home/filebeat/data/:/usr/share/filebeat/data/

然后又报下面的错:
Exiting: Failed to create Beat meta file: open /usr/share/filebeat/data/meta.json.new: permission denied

支持(0) 反对(0)

刷新评论刷新页面返回顶部

注册用户登录后才能发表评论,请 登录 或 注册, 访问 网站首页。

【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
【推荐】腾讯云海外1核2G云服务器低至2折,半价续费券限量免费领取!
【推荐】阿里云双11返场来袭,热门产品低至一折等你来抢!
【推荐】天翼云双十一翼降到底,云主机11.11元起,抽奖送大礼
【推荐】流程自动化专家UiBot,体系化教程成就高薪RPA工程师
【活动】京东云服务器_云主机低于1折,低价高性能产品备战双11
【优惠】七牛云采购嘉年华,云存储、CDN等云产品低至1折

 

相关博文:
· Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版
· Docker ElK安装部署使用教程
· Filebeat+ELK部署文档
· ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程
· Elasticsearch+Logstash+Kibana教程
» 更多推荐...

精品问答:大数据常见问题之 flink 五十问

 

最新 IT 新闻:
· 高通骁龙865亮相:并未集成5G调制解调器
· 趣头条第三季度净营收14.07亿元 同比增长44%
· Intel 18核心旗舰发烧U国内上市:这价格……
· 突发:皮柴升任Alphabet CEO!佩奇布林卸任,权力交接完成
· 超长寿者携带特殊T细胞
» 更多新闻...

公告

昵称: 万能付博
园龄: 10个月
粉丝: 2
关注: 0

+加关注

< 2019年12月 >
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 1 2 3 4
5 6 7 8 9 10 11

搜索

 

 

我的标签

  • pangshu(4)
  • pangshucaiji(4)
  • fatrat(4)
  • fatratcollect(4)
  • ELK(2)
  • WordPress(2)
  • wordpress采集(1)
  • wordpress列表采集(1)
  • wordpress数据采集(1)
  • wordpress微信采集(1)
  • 更多

随笔分类

  • PHP(2)
  • 学习随笔(2)

随笔档案

  • 2019年6月(2)
  • 2019年2月(1)
  • 2019年1月(5)

最新评论

  • 1. Re:Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)
  • 您好。我用docker创建filebeat的时候 有个问题一直解决。2019-11-26T09:52:53.764Z INFO registrar/registrar.go:97 No registr...
  • --Lance_cc

阅读排行榜

  • 1. WordPress 开源文章采集插件 胖鼠采集(1996)
  • 2. WordPress 胖鼠采集 如何自定义采集规则方法。(1044)
  • 3. Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)(1035)
  • 4. DockerCompose 搭建 ELK 7.1.1 + Filebeat 监控laravel框架日志(387)
  • 5. Wordpress胖鼠采集 FAQ(156)

评论排行榜

  • 1. Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)(1)

推荐排行榜

  • 1. Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)(2)
  • 2. WordPress 开源文章采集插件 胖鼠采集(1)

Copyright © 2019 万能付博
Powered by .NET Core 3.0.1 on Linux

你可能感兴趣的:(docker)