聊起日志，大家一定有很多感触。日志首先要格式化，然后记录关键的业务信息，这样在出问题的时候才能方便排查。今天我们分享一下日志的收集(filebeat),检索(ek)。至于像阿里的SLS，日志易等SAS服务，为什么我们不去使用，有两个原因。1 网络 2数据敏感性。
filebeat:轻量级的日志采集器，这是filebeat地址。它的优点比较多，大家可以自己去查看。说到具体如何收集某个模块的日志，假定我们的日志文件的路径是/home/webserver/log/java/test/。现在我们解压filebeat的tar包之后，会有一个配置文件filebeat.yml文件
有几个关键的配置
#=========================== Filebeat inputs =============================
filebeat.inputs：
paths：日志文件的路径
multiline.pattern: ^\[INFO 多行合并的正则
multiline.negate: true 与pattern同时出现
multiline.match: after 与pattern同时出现
multiline.timeout: 10s 定义超时时间，如果开始一个新的事件在超时时间内没有发现匹配，也将发 送日志，默认是5s
ignore_older: 1h
1 可以指定Filebeat忽略指定时间段以外修改的日志内容
2 文件被忽略之前，确保文件不在被读取，必须设置ignore older时间范围大于 close_inactive
3如果一个文件正在读取时候被设置忽略，它会取得到close_inactive后关闭文 件，然后文件被忽略
close_older: 1h 如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle。默认1h
close_inactive:1h
1 启动选项时，如果在制定时间没有被读取，将关闭文件句柄
2 读取的最后一条日志定义为下一次读取的起始点，而不是基于文件的修改时间
3 如果关闭的文件发生变化，一个新的harverster将在scan_frequency运行后被 启动
4 建议至少设置一个大于读取日志频率的值，配置多个prospector来实现针对不 同更新速度的日志文件
5 使用内部时间戳机制，来反映记录日志的读取，每次读取到最后一行日志时开 始倒计时,使用2h 5m 来表示
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
hosts: ["59.37.4.65:9200"] Elasticsearch的地址
index: "filebeat-wuhan-%{+yyyy.MM.dd}" 自定义index的名称，用来区分不同模块的index
setup.template.name: "filebeat-wuhan" 与index同时出现
setup.template.pattern: "filebeat-wuhan" 与index同时出现
这样，日志的采集设置就完成。下面说说检索，一般利用kibaba的discover或者 log来查看，统计，分析。但针对多个index的聚合检索，还是不方便。这里我们使用 logtrail来查询聚合日志，这里降低了查看日志的成本，只要需简单的and,or语法就可以接近实时的情况查看日志。
输入框那里就是lucene的查询语法，这里有详细的说明 query-string-syntax。当然， kibaba还有其它插件，大家也可以分享一下。针对上面阐述的，各位可以实际操作一下，有问题，多多交流。