filebeat采集日志

环境：

• 日志所在目录 /home/wwwroot/www_new/trunk/extend/log//.log
• 日志格式

功能：

• 每个客户端需要安装filebeat收集PHP日志
• filebeat把收集到的日志传到redis
• logstash从redis读取日志,读取一条日志就从redis里删除一条日志
• logstash把日志发送到es
• 最后kibana可视化查询日志
• 架构图

-------------------------------------------------start--------------------------------------------------
[TIME]                 18-09-20 10:56:53
[GET]                  []
[POST]                 []
[HTTP_USER_AGENT]      no/no/no/no
[PATH_INFO]            /ydh_api/GetBuyList/1/5
[REMOTE_ADDR]          47.98.147.101
[REQUEST_URI]          //ydh_api/GetBuyList/1/5
[CONTROLLER]           
[FUNCTION]             
[Browser]              Other
[OS]                   Other
-------------------------------------------------end--------------------------------------------------

1. 在日志所在机器安装filebeat，官网下载rpm包
   https://www.elastic.co/cn/products/beats

rpm -ivh  filebeat-6.0.0-x86_64.rpm

2.配置在窗口输出日志

vim /etc/filebeat/filebeat.yml //增加或者更改
filebeat.prospectors:
- type: log
  enabled:true
   paths:
      - /home/wwwroot/www_new/trunk/extend/log/*/*.log 
  multiline.pattern: '^\[|^*end'    #匹配以[开头的行和以*end开头的行
  multiline.negate: false           #默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行合并到上一行
  multiline.match: after            #after 或 before，合并到上一行的末尾或开头
output.console:
  enable: true
service filebeat start

/usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml //可以在屏幕上看到对应的日志信息

3.配置日志输出到elasticsearch:

vim /etc/filebeat/filebeat.yml
output.elasticsearch:
  hosts: ["172.16.142.207:9200"]

4.配置kibana

elasticsearch查看索引，kibana添加索引
curl '172.16.142.207:9200/_cat/indices?v'