fluentd一些插件的使用
geoip的配置模版
@type geoip
geoip_lookup_keys client_ip
backend_library geoip2_c
geoip_database /fluentd/plugin/GeoLite2-City.mmdb
location '[${location.latitude["client_ip"]},${location.longitude["client_ip"]}]'
city ${city.names.en["client_ip"]}
country_name ${country.names.en["client_ip"]}
region_name ${subdivisions.0.names.en["client_ip"]}
健康日志的过滤模版
@type grep
key message
pattern /.*healthcheck.*|.*prometheusMetrics.*|.*(v1+\/)+(configurations)+(\/+versions).*/
删除某些字段
@type record_transformer
remove_keys message
fluentd优化的问题。
1.有日志有些会丢失，
path /log-dir/*-app.log
pos_file /log-dir/app.log.pos多个日志文件的位置记录写入一个位置记录文件，会导致日志位置记录的错误，想的办法：为每个日志文件单独配置一个位置记录的文件。
path /log-dir/*-app.log
pos_file ${path}.ops想通过引用的方式来为每个path创建一个ops,但是结局不生效通过仔细阅读官方文档，发现一个in_tail进程里的ops是可以存放多个path
2.日志会在一分钟后传输到ES上
我把日志写入docker日志文件，发现fluentd处理读取和处理速度并不慢，猜测可能是fluentd传输到ES过程中的问题。
通过在在match输出上面刷新缓冲区，及时把缓冲区的数据送到ES,
@type elasticsearch
host elasticsearchlog-lb.elasticsearch-log
index_name s3-fluentd-idaas
type_name s3-fluentd-idaas
flush_interval 2s
include_timestamp true
ssl_verify false
第二个方法就是找到冲突的地方删除掉冲突点（仅仅是个想法）
3.fluentd报警刷屏
id和key都没问题，因为昨天晚上我从S3上拉取下来过，
今天s3的桶里面加上了路径
Amazon S3 logstash-idaas/2018/10/20/容器日志报出的错误
error_class=Aws::S3::Errors::NoSuchKey error="The specified key does not exist."（1）测试没有前缀的时候是否会报错
结局：报错少了一些，但是还是会报错
（2）排错过程：
1.我想看看logstash中S3插件是否会给我产生灵感 否
2.我想测试fluentd中是否有插件导致了这个问题 否
通过把原有插件卸载，使用最简插件方案来运行这个配置文件
3.Google搜索看看 否
4.SQS队列里含有各桶的数据，相互之间冲突，新建一个SQS解决这个问题 nice
测试出来的原因就是SQS处理多个S3桶数据的时候，每个桶之间的数据会相互杂糅，促使fluentd拉去数据的时候前缀路径冲突，这个时候我们每一个桶分配一个SQS解决这个问题4.这个队列无法访问
2018/11/12 上午11:52:552018-11-12 11:52:55 +0800 [error]: #0 unexpected error error_class=Aws::SQS::Errors::NonExistentQueue error="The specified queue does not exist or you do not have access to it检查队列名字和SQS的权限配置，还有需要检查S3桶的事件通知
5.报出一个错误
2018/11/15 下午7:00:222018-11-15 19:00:22 +0800 [warn]: #0 dump an error event: error_class=Fluent::Plugin::ElasticsearchErrorHandler::ElasticsearchError error="400 - Rejected by Elasticsearch" location=nil tag="app.idaas"通过观看，发现这个问题主要是app.idaas标签产生的，因为这个标签没有filter，后来对app.idaas进行一次filter后，这个警告问题可以大大缓解。
@type parser
key_name thread_name
reserve_data yes
@type regexp
expression /(?[\d\D]+)/
6.ES报出的错误
2018/11/16 下午4:16:072018-11-16 16:16:07 +0800 [warn]: #0 Could not push logs to Elasticsearch, resetting connection and trying again. read timeout reached
2018-11-16 16:16:44 +0800 [warn]: #0 buffer flush took longer time than slow_flush_log_threshold: elapsed_time=66.07182049937546 slow_flush_log_threshold=20.0 plugin_id="object:2ac85a0bd4a0"去除下面buffer中的timekey和timekey_wait
index_name s3-fluentd-request-%Y%m%d
timekey 4s
timekey_wait 1s
fluentd日志处理-安装配置（一）
https://blog.51cto.com/11078047/2316881
Fluentd 日志处理-S3拉取日志处理（二）
https://blog.51cto.com/11078047/2316910
Fluentd日志处理-tail拉取（三）
https://blog.51cto.com/11078047/2316958