ELK 收集 Tomcat日志以及修改Tomcat日志格式

ELK 收集 Tomcat日志以及修改Tomcat日志格式
Tomcat日志
想要收集tomcat 日志 首先我们要对tomcat的日志有足够的了解

tomca日志分类

简单的说tomcat logs下日志分为五类:
catalina 、 localhost 、 manager 、 admin 、 host-manager
tomcat 其实还有记录访问日志(localhost_access_log.txt)
 
localhost.log   程序异常没有被捕获的时候抛出的地方【常用】
catalina.log   程序的输出、tomcat的日志输出【常用】
localhost_access_log.txt  tomcat访问日志记录【常用】
manager.log   webapps/manager项目生成的日志文件
host-manager.log   webapps/host-manager项目生成的日志文件
 

tomcat日志还分有级别

SEVERE (highest value) >
WARNING >
INFO >
CONFIG >
FINE >
FINER >
FINEST (lowest value)

日志级别的修改:

修改/conf/logging.properties文件
示例:
①设置 catalina 日志的级别为: FINE
1catalina.org.apache.juli.FileHandler.level = FINE
②禁用 catalina 日志的输出:
1catalina.org.apache.juli.FileHandler.level = OFF
③输出 catalina 所有的日志消息:
1catalina.org.apache.juli.FileHandler.level = ALL
按照我们的需求,我们可以将tomcat日志分为两大类
1、catalina.log 日志记录了tomcat运行状态信息以及异常告警信息等
2、localhost_access.Y-M-D.log:访问日志主要是记录访问的时间,IP以及访问的资料等相关信息
我们要想更好的将tomcat两种日志准确的定位抓取,需要自定义tomcat日志格式
首先是locathost_access.Y-M-D.log访问日志,将日志输出定义为json格式,方便后续kibana展示
 

  

v1
Note: The pattern used is equivalent to using pattern="common" -->

  

v2
    

  

参数详情:
directory:日志文件存放的位置
prefix:日志文件名称前缀
suffix:日志名称后缀
pattern:是一个json解析字段的参数
"client":"%h"其中%h表示请求的主机名称,这里指的是请求端的IP
"client user":"%l"其中%l记录的是刘拉着进行身份验证时提供的名称
"authenticated":"%u" 其中%u代表获得验证的访问请求者,否则就是"-"
"access time":"%t" 其中%t代表请求的时间
"method":"%r" 其中%r代表请求的方法和URL
"status":"%s" 其中%s代表HTTP的响应状态码
"Request time":"%T", 其中%T处理请求的时间,以秒为单位
"send bytes":"%b" 其中%b代表发送请求的字节数,但不包括请求http头部信息
"Query?string":"%q" 其中%q指的是查询字符串的意思
v2 日志内容展示
{"client":"221.226.190.138", "client user":"-", "authenticated":"-", "access time":"[03/Dec/2019:10:35:15 +0800]", "method":"GET /docs/appdev/ HTTP/1.1", "status":"404", "Request time":"0.005", "send bytes":"1075", "Query?string":"",  "partner":"http://122.51.9.145:8080/", "Agent version":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"}

  

ELK 收集 Tomcat日志以及修改Tomcat日志格式_第1张图片
 
%a-远程IP地址
A-本地IP地址
%b-发送的字节,不包括HTTP标头,如果为零则为'-'
B-发送的字节,不包括HTTP标头
%h-远程主机名(如果连接器的enableLookups为false,则为IP地址)
H-请求协议
%l-来自identd的远程逻辑用户名(总是返回“-”)
%m-请求方法(GETPOST等)
%p-接收此请求的本地端口。另请参见下面的%{xxx} p。
%q-查询字符串(如果存在,则以“?”开头)
%r-请求的第一行(方法和请求URI
%s-响应的HTTP状态代码
S-用户会话ID
%t-日期和时间,以通用日志格式
%u-已验证(如果有)的远程用户,否则为'-'
U-请求的URL路径
%v-本地服务器名称
D-处理请求所花费的时间(以毫秒为单位)
T-处理请求所花费的时间,以秒为单位
F-提交响应所花费的时间(以毫秒为单位)
I-当前请求线程名称(以后可以与堆栈跟踪进行比较)

你可能感兴趣的:(ELK 收集 Tomcat日志以及修改Tomcat日志格式)