日志组件介绍

常用组件

jul
jcl
log4j2
log4j
slf4j
logback
jboss-logging

发展历史

1996年早期，欧洲安全电子市场项目组决定编写它自己的程序跟踪API(Tracing API)。经过不断的完善，这个API终于成为一个十分受欢迎的Java日志软件包，即Log4j。后来Log4j成为Apache基金会项目中的一员。
期间Log4j近乎成了Java社区的日志标准。据说Apache基金会还曾经建议Sun引入Log4j到java的标准库中，但Sun拒绝了。
2002年Java1.4发布，Sun推出了自己的日志库JUL(Java Util Logging),其实现基本模仿了Log4j的实现。在JUL出来以前，Log4j就已经成为一项成熟的技术，使得Log4j在选择上占据了一定的优势。
接着，Apache推出了Jakarta Commons Logging，JCL只是定义了一套日志接口(其内部也提供一个Simple Log的简单实现)，支持运行时动态加载日志组件的实现，也就是说，在你应用代码里，只需调用Commons Logging的接口，底层实现可以是Log4j，也可以是Java Util Logging。
后来(2006年)，Ceki Gülcü不适应Apache的工作方式，离开了Apache。然后先后创建了Slf4j(日志门面接口，类似于Commons Logging)和Logback(Slf4j的实现)两个项目，并回瑞典创建了QOS公司，QOS官网上是这样描述Logback的：The Generic，Reliable Fast&Flexible Logging Framework(一个通用，可靠，快速且灵活的日志框架)。
现今，Java日志领域被划分为两大阵营：Commons Logging阵营和Slf4j阵营。Commons Logging在Apache大树的笼罩下，有很大的用户基数，早期spring的集成框架。但有证据表明，形式正在发生变化，spring boot 默认使用了 Slf4j。
Apache眼看有被Logback反超的势头，于2012-07重写了Log4j 1.x，成立了新的项目Log4j 2, Log4j 2具有Logback的所有特性。

slf4j

官方网站

官网原理图

spring boot 利用slf4j兼容多种日志框架

Spring Boot默认集成日志框架logback

简介

Logger、appender及layout

Logger作为日志的记录器，把它关联到应用的对应的context上后，主要用于存放日志对象，也可以定义日志类型、级别。
Appender主要用于指定日志输出的目的地，目的地可以是控制台、文件、远程套接字服务器、 MySQL、 PostreSQL、 Oracle和其他数据库、 JMS和远程UNIX Syslog守护进程等。
Layout 负责把事件转换成字符串，格式化的日志信息的输出。

logger context

各个logger 都被关联到一个 LoggerContext，LoggerContext负责制造logger，也负责以树结构排列各 logger。其他所有logger也通过org.slf4j.LoggerFactory 类的静态方法getLogger取得。 getLogger方法以 logger 名称为参数。用同一名字调用LoggerFactory.getLogger 方法所得到的永远都是同一个logger对象的引用。

有效级别及级别的继承

Logger 可以被分配级别。级别包括：TRACE、DEBUG、INFO、WARN 和 ERROR，定义于 ch.qos.logback.classic.Level类。如果 logger没有被分配级别，那么它将从有被分配级别的最近的祖先那里继承级别。root logger 默认级别是 DEBUG。

打印方法与基本的选择规则

打印方法决定记录请求的级别。例如，如果 L 是一个 logger 实例，那么，语句 L.info("..")是一条级别为 INFO 的记录语句。记录请求的级别在高于或等于其 logger 的有效级别时被称为被启用，否则，称为被禁用。记录请求级别为 p，其logger的有效级别为 q，只有则当 p>=q时，该请求才会被执行。

该规则是 logback 的核心。级别排序为： TRACE < DEBUG < INFO < WARN < ERROR。

关于多环境

通过spring boot 的配置文件指定

logging:
  config: classpath:conf/logback-dev.xml

通过logback-spring.xml文件，spring使用标签管理

logback配置信息

configuration

名称	说明，
scan	当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。
scanPeriod	设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。
debug	当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。

contextName

每个logger都关联到logger上下文，默认上下文名称为“default”。但可以使用contextName设置成其他名字，用于区分不同应用程序的记录。一旦设置，不能修改。


    myAppName

property

用来定义变量值的标签，property 有两个属性，name和value；其中name的值是变量的名称，value的值时变量定义的值。通过property定义的值会被插入到logger上下文中。定义变量后，可以使“${}”来使用变量。


     
    ${APP_Name}

timestamp

两个属性 key:标识此timestamp的名字；datePattern：设置将当前时间（解析配置文件的时间）转换为字符串的模式，遵循java.txt.SimpleDateFormat的格式。

loger

用来设置某一个包或者具体的某一个类的日志打印级别、以及指定appender。loger仅有一个name属性，一个可选的level和一个可选的addtivity属性。

名称	说明，
name	用来指定受此loger约束的某一个包或者具体的某一个类。
level	用来设置打印级别，大小写无关：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，还有一个特殊值INHERITED或者同义词NULL，代表强制执行上级的级别。如果未设置此属性，那么当前loger将会继承上级的级别。
addtivity	是否向上级loger传递打印信息。默认是true。loger可以包含零个或多个appender-ref元素，标识这个appender将会添加到这个loger。当loger中包含appender-ref时，如果addtivity=true，则会将打印信息传递到root；如果addtivity=false，则只会在loger中appender-ref打印信息，不会向上传递。

root

也是loger元素，但是它是根loger。只有一个level属性，应为已经被命名为"root".

appender

appender是configuration的子节点，是负责写日志的组件。
appender有两个必要属性name和class。name指定appender名称，class指定appender的全限定名。

ConsoleAppender

把日志添加到控制台，有以下子节点：

encoder：对日志进行格式化。
target：字符串 System.out 或者 System.err ，默认 System.out。


    
    
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n
            UTF8

FileAppender

把日志添加到文件，有以下子节点：

file：被写入的文件名，可以是相对目录，也可以是绝对目录，如果上级目录不存在会自动创建，没有默认值。
append：如果是 true，日志被追加到文件结尾，如果是 false，清空现存文件，默认是true。
encoder：对记录事件进行格式化。
prudent：如果是 true，日志会被安全的写入文件，即使其他的FileAppender也在向此文件做写入操作，效率低，默认是 false。



    
        ${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n

RollingFileAppender

滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件。有以下子节点：

file：被写入的文件名，可以是相对目录，也可以是绝对目录，如果上级目录不存在会自动创建，没有默认值。
append：如果是 true，日志被追加到文件结尾，如果是 false，清空现存文件，默认是true。
encoder：对记录事件进行格式化。
rollingPolicy：当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。
triggeringPolicy：告知 RollingFileAppender 何时激活滚动。
prudent：当为true时，不支持FixedWindowRollingPolicy。支持TimeBasedRollingPolicy，但是有两个限制，1不支持也不允许文件压缩，2不能设置file属性，必须留空。

TimeBasedRollingPolicy

最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动。有以下子节点：

fileNamePattern：必要节点，包含文件名及“%d”转换符， “%d”可以包含一个java.text.SimpleDateFormat指定的时间格式，如：%d{yyyy-MM}。如果直接使用 %d，默认格式是 yyyy-MM-dd。RollingFileAppender 的file字节点可有可无，通过设置file，可以为活动文件和归档文件指定不同位置，当前日志总是记录到file指定的文件（活动文件），活动文件的名字不会改变；如果没设置file，活动文件的名字会根据fileNamePattern 的值，每隔一段时间改变一次。“/”或者“\”会被当做目录分隔符。
maxHistory：可选节点，控制保留的归档文件的最大数量，超出数量就删除旧文件。假设设置每个月滚动，且maxHistory是6，则只保存最近6个月的文件，删除之前的旧文件。注意，删除旧文件是，那些为了归档而创建的目录也会被删除。

FixedWindowRollingPolicy

根据固定窗口算法重命名文件的滚动策略。有以下子节点：

minIndex：窗口索引最小值
maxIndex：窗口索引最大值，当用户指定的窗口过大时，会自动将窗口设置为12。
fileNamePattern：必须包含“%i”例如，假设最小值和最大值分别为1和2，命名模式为 mylog%i.log,会产生归档文件mylog1.log和mylog2.log。还可以指定文件压缩选项，例如，mylog%i.log.gz 或者没有log%i.log.zip

SizeBasedTriggeringPolicy

查看当前活动文件的大小，如果超过指定大小会告知RollingFileAppender 触发当前活动文件滚动。只有一个节点:

maxFileSize:这是活动文件的大小，默认值是10MB。



    
        ${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log
        
            
            ${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.%d{yyyy-MM-dd}.%i.log.gz
            
            180
        
        
            ${appName}-${appModule}-${appVersion}-${appNode} | %d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n
        
        
        
            128MB


SocketAppender && SSLSocketAppender
SocketAppender就是被设计用来输出日志到远程实例中的。 SocketAppender输出日志采用明文方式， SSLSocketAppender则采用加密方式传输日志。

includeCallerData：是否包含调用者的信息如果为true，则以下日志输出的 ?:? 会替换成调用者的文件名跟行号，为false，则为问号。
port：端口号。
reconnectionDelay：重连延时，如果设置成“10 seconds”，就会在连接u武器失败后，等待10秒，再连接。默认值：“30 seconds”。如果设置成0，则关闭重连功能。
queueSize：设置缓冲日志数，如果设置成0，日志发送是同步的，如果设置成大于0的值，会将日志放入队列，队列长度到达指定值，在统一发送。可以加大服务吞吐量。
eventDelayLimit：设置日志超时丢弃时间。当设置“10 seconds”类似的值，如果日志队列已满，而服务器长时间来不及接收，当滞留时间超过10 seconds，日志就会被丢弃。默认值：100 milliseconds
remoteHost：远程日志服务器的IP
ssl：只在SSLSocketAppender包含该属性节点。提供SSL配置。

SMTPAppender
可以将logging event存放在一个或多个固定大小的缓冲区中，然后在用户指定的event到来之时，将适当的大小的logging event以邮件方式发送给运维人员 。

smtpHost：SMTP server的地址，必需指定。如网易的SMTP服务器地址是： smtp.163.com。
smtpPort：SMTP server的端口地址。默认值：25。
to：指定发送到那个邮箱，可设置多个to属性，指定多个目的邮箱。
from：指定发件人名称。如果设置成“Adam Smith  ”，则邮件发件人将会是“Adam Smith [email protected] ”
subject：指定emial的标题，它需要满足PatternLayout中的格式要求。如果设置成“ Log: %logger - %msg”，就案例来讲，则发送邮件时，标题为“ Log: com.foo.Bar - Hello World ”。默认值： "%logger{20} - %m".
discriminator：通过Discriminator, SMTPAppender可以根据Discriminator的返回值，将到来的logging event分发到不同的缓冲区中。默认情况下，总是返回相同的值来达到使用一个缓冲区的目的。
evaluator：指定触发日志发送的条件。通过指定EventEvaluator接口的实现类。默认情况下SMTPAppeender使用的是OnErrorEvaluator，表示当发送ERROR或更高级别的日志请求时，发送邮件。Logback提供了几个evaluators：

OnErrorEvaluator
OnMarkerEvaluator
JaninoEventEvaluator
GEventEvaluator
 
cyclicBufferTracker：指定一个cyclicBufferTracker跟踪cyclic buffer。它是基于discriminator的实现的。如果你不指定，默认会创建一个CyclicBufferTracker ，默认设置cyclic buffer大小为256。你也可以手动指定使用默认的CyclicBufferTracker，并且通过bufferSize属性修改默认的缓冲区接收多少条logging event。
username：发送邮件账号，默认为null。
password：发送邮件密码，默认为null。
STARTTLS：如果设置为true，appender会尝试使用STARTTLS命令，如果服务端支持，则会将明文连接转换成加密连接。需要注意的是，与日志服务器连接一开始是未加密的。默认值：false。
SSL：如果设置为true，appender将会使用SSL连接到日志服务器。默认值：false。
charsetEncoding：指定邮件信息的编码格式。默认值：UTF-8。
localhost：如果smtpHost没有正确配置，比如说不是完整的地址。这时候就需要localhost这个属性提供服务器的完整路径（如同java中的完全限定名 ），详情参考com.sun.mail.smtp 中的mail.smtp.localhost属性
asynchronousSending：这个属性决定email的发送是否是异步。默认：true，异步发送但是在某些情况下，需要以同步方式发送错误日志的邮件给管理人员，防止不能及时维护应用。
includeCallerData：指定是否包含callerData在日志中。默认：false。
sessionViaJNDI：SMTPAppender依赖javax.mail.Session来发送邮件。默认情况下，sessionViaJNDI为false。javax.mail.Session实例的创建依赖于SMTPAppender本身的配置信息。如果设置为true，则Session的创建时通过JNDI获取引用。这样做的好处可以让你的代码复用更好，让配置更简洁。需要注意的是，如果使用JNDI获取Session对象，需要保证移除mail.jar以及activation.jar这两个jar包。
jndiLocation：如果sessionViaJNDI设置为true，则jndiLocation指定JNDI的资源名，默认值为："java:comp/env/mail/Session"。

DBAppender
可以将日志事件插入到3张数据表中。它们分别是logging_event，logging_event_property，logging_event_exception。这三张数据表必须在DBAppender工作之前存在。它们的sql脚本可以在 logback-classic/src/main/java/ch/qos/logback/classic/db/script folder 这个目录下找到。这个脚本对大部分SQL数据库都是有效的，除了少部分，少数语法有差异需要调整。

connectionSource：数据库连接信息。

SiftingAppender
提供过滤筛选日志的功能。你可以通过用户的sessions的数据来筛选日志，然后分发到不同日志文件。
自定义Appender
你可以很简单的创建自己的Appender，通过继承父类AppenderBase。AppenderBase已经实现了对filters，status以及一些其他被大多数appender共享的功能的支持。我们所要做的仅仅是实现append(Object evenObject)这个方法。
encoder && layout
区别
在0.9.19版本之前，都是使用layout来控制输出的格式。在0.9.19就变成了使用encoder来控制。
 encoder：主要工作有两个：①将一个event事件转换成一组byte数组，②将转换后的字节数据输出到文件中。
 layout：主要的功能就是：将一个event事件转化为一个String字符串。
格式控制



转换符
作用




c {length}、lo {length}、logger {length}
输出日志的logger名，可有一个整形参数，功能是缩短logger名，设置为0表示只输入logger最右边点符号之后的字符串。 Conversion specifier Logger name Result


C {length}、class {length}
输出执行记录请求的调用者的全限定名。参数与上面的一样。尽量避免使用，除非执行速度不造成任何问题。


contextName、cn
输出上下文名称。


d{pattern}、date{pattern}
输出日志的打印日志，模式语法与java.text.SimpleDateFormat 兼容。 Conversion Pattern Result


F、file
输出执行记录请求的java源文件名。尽量避免使用，除非执行速度不造成任何问题。


caller{depth}、caller{depth, evaluator-1, ... evaluator-n}
输出生成日志的调用者的位置信息，整数选项表示输出信息深度。


L、line
输出执行日志请求的行号。尽量避免使用，除非执行速度不造成任何问题。


m、msg、message
输出应用程序提供的信息。


M、method
输出执行日志请求的方法名。尽量避免使用，除非执行速度不造成任何问题。


n
输出平台先关的分行符“\n”或者“\r\n”。


p、le、level
输出日志级别。


r、relative
输出从程序启动到创建日志记录的时间，单位是毫秒。


t、thread
输出产生日志的线程名。


replace(p){r,t}
p 为日志内容，r 是正则表达式，将p 中符合r 的内容替换为t。例如， "%replace(%msg){'\s', ''}"。



filter
Logback的过滤器基于三值逻辑（ternary logic），允许把它们组装或成链，从而组成任意的复合过滤策略。过滤器很大程度上受到Linux的iptables启发。这里的所谓三值逻辑是说，过滤器的返回值只能是ACCEPT、DENY和NEUTRAL的其中一个。

如果返回DENY，那么记录事件立即被抛弃，不再经过剩余过滤器；
如果返回NEUTRAL，那么有序列表里的下一个过滤器会接着处理记录事件；
如果返回ACCEPT，那么记录事件被立即处理，不再经过剩余过滤器。

过滤器被添加到Appender中，为Appender添加一个或多个过滤器后，可以用任意条件对日志进行过滤。Appender有多个过滤器时，按照配置顺序执行。
LevelFilter
级别过滤器，根据日志级别进行过滤。如果日志级别等于配置级别，过滤器会根据onMath 和 onMismatch接收或拒绝日志。有以下子节点：

level：设置过滤级别。
onMatch：用于配置符合过滤条件的操作。
onMismatch：用于配置不符合过滤条件的操作

 
   
     
      INFO 
      ACCEPT 
      DENY 
     
     
       
        %-4relative [%thread] %-5level %logger{30} - %msg%n 
       
     
   
   
     
   


ThresholdFilter
当日志级别等于或高于临界值时，过滤器返回NEUTRAL；当日志级别低于临界值时，日志会被拒绝。
 
   
     
     
      INFO 
     
     
       
        %-4relative [%thread] %-5level %logger{30} - %msg%n 
       
     
   
   
     
   


EvaluatorFilter
求值过滤器，评估、鉴别日志是否符合指定条件。需要额外的两个JAR包，commons-compiler.jar和janino.jar。

evaluator：鉴别器，常用的鉴别器是JaninoEventEvaluato，也是默认的鉴别器，它以任意的java布尔值表达式作为求值条件，求值条件在配置文件解释过成功被动态编译，布尔值表达式返回true就表示符合过滤条件。evaluator有个子标签expression，用于配置求值条件。
onMatch：用于配置符合过滤条件的操作。
onMismatch：用于配置不符合过滤条件的操作


  
    
       
        return message.contains("billing");
      
      ACCEPT 
      DENY
    
    
      
        %-4relative [%thread] %-5level %logger - %msg%n
      
    
  

  
    
  


Spring Boot下的日志归集
思路

需要有个日志的服务器，用于归集各个模块产生的日志信息
每个模块的日志除了输出到本地，还要同步输出到日志服务器
每个模块输出的日志格式应该是统一的
日志服务器至少要提供精确、准确的检索能力

最简方案：SocketAppender+ServerSocketReceiver
client端


    
    
    
    

    
    
    
    
    
    
    
    
    
    
    
    

    
    ${appName}

    
    

    
    
        
            ${CONSOLE_LOG_PATTERN}
            UTF8
        
    

    
        192.168.3.166
        9898
        10000
        true
    

    

    
        
    

    
        
    


server端


    
    
    
    

    
    
    
    
    
    
    
    
    
    
    
    

    
    ${appName}

    
    

    
    
        
            ${CONSOLE_LOG_PATTERN}
            UTF8
        
    

    
    

    
        
    

    
        9898
    




后续方案实现过程相对复杂，就不在这里详述，另外再找时间分享给大家
主流方案ETL：Elasticsearch+Logstash+Kibana

Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。
Elasticsearch：日志分布式存储/搜索工具，原生支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。
Kibana：可视化日志Web展示工具，对Elasticsearch中存储的日志进行展示，还可以生成炫丽的仪表盘。

进阶方案：
自定义Appender+kafka+hadoop
其他。。。。。。

转换符	作用
c {length}、lo {length}、logger {length}	输出日志的logger名，可有一个整形参数，功能是缩短logger名，设置为0表示只输入logger最右边点符号之后的字符串。 Conversion specifier Logger name Result
C {length}、class {length}	输出执行记录请求的调用者的全限定名。参数与上面的一样。尽量避免使用，除非执行速度不造成任何问题。
contextName、cn	输出上下文名称。
d{pattern}、date{pattern}	输出日志的打印日志，模式语法与java.text.SimpleDateFormat 兼容。 Conversion Pattern Result
F、file	输出执行记录请求的java源文件名。尽量避免使用，除非执行速度不造成任何问题。
caller{depth}、caller{depth, evaluator-1, ... evaluator-n}	输出生成日志的调用者的位置信息，整数选项表示输出信息深度。
L、line	输出执行日志请求的行号。尽量避免使用，除非执行速度不造成任何问题。
m、msg、message	输出应用程序提供的信息。
M、method	输出执行日志请求的方法名。尽量避免使用，除非执行速度不造成任何问题。
n	输出平台先关的分行符“\n”或者“\r\n”。
p、le、level	输出日志级别。
r、relative	输出从程序启动到创建日志记录的时间，单位是毫秒。
t、thread	输出产生日志的线程名。
replace(p){r,t}	p 为日志内容，r 是正则表达式，将p 中符合r 的内容替换为t。例如， "%replace(%msg){'\s', ''}"。

肢解架构-日志管理

日志组件介绍

常用组件

发展历史

slf4j

Spring Boot默认集成日志框架logback

简介

Logger、appender及layout

logger context

有效级别及级别的继承

打印方法与基本的选择规则

关于多环境

logback配置信息

configuration

contextName

property

timestamp

loger

root

appender

ConsoleAppender

FileAppender

RollingFileAppender

TimeBasedRollingPolicy

FixedWindowRollingPolicy

SizeBasedTriggeringPolicy

SocketAppender && SSLSocketAppender

SMTPAppender

DBAppender

SiftingAppender

自定义Appender

encoder && layout

区别

格式控制

filter

LevelFilter

ThresholdFilter

EvaluatorFilter

Spring Boot下的日志归集

思路

最简方案：SocketAppender+ServerSocketReceiver

client端

server端

主流方案ETL：Elasticsearch+Logstash+Kibana

进阶方案：

自定义Appender+kafka+hadoop

其他。。。。。。

你可能感兴趣的:(肢解架构-日志管理)