filebeat+es 6.5.搭建注意事项

Filebeat修改配置文件
vim /usr/local/filebeat/filebeat.yml文件：

关于json格式的日志可能用到的配置参数：
json.keys_under_root：
json.overwrite_keys：
json.add_error_key：
json.message_key：
https://www.iyunw.cn/archives/filebeat-shou-ji-json-ge-shi-de-nginx-ri-zhi-fa-song-gei-elasticsearch/

修改如下配置
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/a.log
json.keys_under_root: true  #默认这个值是FALSE的,也就是我们的json日志解析后会被放在json键上。设为TRUE,所有的keys就会被放到根节点，所以若收集的日志为json格式的，请开启此配置
json.message_key:         #指定json日志解析后放到哪个key上，默认是json，你也可以指定为log等。
fields:
    ip: IP地址
    belong: 所属应用
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
output.elasticsearch:
  hosts: ["ES服务的IP地址:9200"]

ES日志清理策略
#/bin/bash
#es-index-clear
#只保留7天内的日志索引
LAST_DATA=`date -d "-7 days" "+%Y.%m.%d"`
#删除7天内份所有的索引
curl -XDELETE 'http://10.61.x.xx:9200/*-'${LAST_DATA}'*'
crontab -e每天0点删除日志
0 0 * * * /usr/local/elasticsearch/es-index-clear.sh

4、logstash使用piplline方式来启动
4.1、Vim /usr/local/logstash/config
添加如下内容：
- pipeline.id: pipeline_nginx
  queue.type: memory
  path.config: "/usr/local/logstash/config/logstash.conf"
（可以配置多个配置文件，多个管道）
#- pipeline.id: pipeline_other
#  queue.type: memory
#  path.config: "/usr/local/logstash/logstash-other.conf"
4.2、将所编写的配置文件放置在path.config对应的目录之下
配置文件的内容如下：
input
{
    kafka{
        group_id => "test-consumer-group"
        codec => "json"
        bootstrap_servers => "10.61.x.xx:9092"
        topics_pattern => "cloudlink-.*"
        consumer_threads => 5
        auto_offset_reset => "latest"
    }
}

output
{
    elasticsearch {
        hosts => ["10.61.X.XX:9200"]
        index =>"%{[@metadata][topic]}"
    }
}
4.3、启动方式（不加配置文件，默认是以pipeline方式启动的）
cd /usr/local/logstash/bin/
nohup ./logstash &
5、Logstash的kafka插件介绍（重要）
https://segmentfault.com/a/1190000016595992