日志组件介绍
常用组件
- jul
- jcl
- log4j2
- log4j
- slf4j
- logback
- jboss-logging
发展历史
- 1996年早期，欧洲安全电子市场项目组决定编写它自己的程序跟踪API(Tracing API)。经过不断的完善，这个API终于成为一个十分受欢迎的Java日志软件包，即Log4j。后来Log4j成为Apache基金会项目中的一员。
- 期间Log4j近乎成了Java社区的日志标准。据说Apache基金会还曾经建议Sun引入Log4j到java的标准库中，但Sun拒绝了。
- 2002年Java1.4发布，Sun推出了自己的日志库JUL(Java Util Logging),其实现基本模仿了Log4j的实现。在JUL出来以前，Log4j就已经成为一项成熟的技术，使得Log4j在选择上占据了一定的优势。
- 接着，Apache推出了Jakarta Commons Logging，JCL只是定义了一套日志接口(其内部也提供一个Simple Log的简单实现)，支持运行时动态加载日志组件的实现，也就是说，在你应用代码里，只需调用Commons Logging的接口，底层实现可以是Log4j，也可以是Java Util Logging。
- 后来(2006年)，Ceki Gülcü不适应Apache的工作方式，离开了Apache。然后先后创建了Slf4j(日志门面接口，类似于Commons Logging)和Logback(Slf4j的实现)两个项目，并回瑞典创建了QOS公司，QOS官网上是这样描述Logback的：The Generic，Reliable Fast&Flexible Logging Framework(一个通用，可靠，快速且灵活的日志框架)。
- 现今，Java日志领域被划分为两大阵营：Commons Logging阵营和Slf4j阵营。Commons Logging在Apache大树的笼罩下，有很大的用户基数，早期spring的集成框架。但有证据表明，形式正在发生变化，spring boot 默认使用了 Slf4j。
- Apache眼看有被Logback反超的势头，于2012-07重写了Log4j 1.x，成立了新的项目Log4j 2, Log4j 2具有Logback的所有特性。
slf4j
官方网站
Spring Boot默认集成日志框架logback
简介
Logger、appender及layout
Logger作为日志的记录器，把它关联到应用的对应的context上后，主要用于存放日志对象，也可以定义日志类型、级别。
Appender主要用于指定日志输出的目的地，目的地可以是控制台、文件、远程套接字服务器、 MySQL、 PostreSQL、 Oracle和其他数据库、 JMS和远程UNIX Syslog守护进程等。
Layout 负责把事件转换成字符串，格式化的日志信息的输出。
logger context
各个logger 都被关联到一个 LoggerContext，LoggerContext负责制造logger，也负责以树结构排列各 logger。其他所有logger也通过org.slf4j.LoggerFactory 类的静态方法getLogger取得。 getLogger方法以 logger 名称为参数。用同一名字调用LoggerFactory.getLogger 方法所得到的永远都是同一个logger对象的引用。
有效级别及级别的继承
Logger 可以被分配级别。级别包括：TRACE、DEBUG、INFO、WARN 和 ERROR，定义于 ch.qos.logback.classic.Level类。如果 logger没有被分配级别，那么它将从有被分配级别的最近的祖先那里继承级别。root logger 默认级别是 DEBUG。
打印方法与基本的选择规则
打印方法决定记录请求的级别。例如，如果 L 是一个 logger 实例，那么，语句 L.info("..")是一条级别为 INFO 的记录语句。记录请求的级别在高于或等于其 logger 的有效级别时被称为被启用，否则，称为被禁用。记录请求级别为 p，其logger的有效级别为 q，只有则当 p>=q时，该请求才会被执行。
该规则是 logback 的核心。级别排序为： TRACE < DEBUG < INFO < WARN < ERROR。
关于多环境
- 通过spring boot 的配置文件指定
logging:
config: classpath:conf/logback-dev.xml
- 通过logback-spring.xml文件，spring使用标签管理
logback配置信息
configuration
| 名称 | 说明， |
|---|---|
| scan | 当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。 |
| scanPeriod | 设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 |
| debug | 当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 |
contextName
每个logger都关联到logger上下文，默认上下文名称为“default”。但可以使用contextName设置成其他名字，用于区分不同应用程序的记录。一旦设置，不能修改。
myAppName
property
用来定义变量值的标签，property 有两个属性，name和value；其中name的值是变量的名称，value的值时变量定义的值。通过property定义的值会被插入到logger上下文中。定义变量后，可以使“${}”来使用变量。
${APP_Name}
timestamp
两个属性 key:标识此timestamp的名字；datePattern：设置将当前时间（解析配置文件的时间）转换为字符串的模式，遵循java.txt.SimpleDateFormat的格式。
loger
用来设置某一个包或者具体的某一个类的日志打印级别、以及指定appender。loger仅有一个name属性，一个可选的level和一个可选的addtivity属性。
| 名称 | 说明， |
|---|---|
| name | 用来指定受此loger约束的某一个包或者具体的某一个类。 |
| level | 用来设置打印级别，大小写无关：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，还有一个特殊值INHERITED或者同义词NULL，代表强制执行上级的级别。如果未设置此属性，那么当前loger将会继承上级的级别。 |
| addtivity | 是否向上级loger传递打印信息。默认是true。loger可以包含零个或多个appender-ref元素，标识这个appender将会添加到这个loger。当loger中包含appender-ref时，如果addtivity=true，则会将打印信息传递到root；如果addtivity=false，则只会在loger中appender-ref打印信息，不会向上传递。 |
root
也是loger元素，但是它是根loger。只有一个level属性，应为已经被命名为"root".
appender
appender是configuration的子节点，是负责写日志的组件。
appender有两个必要属性name和class。name指定appender名称，class指定appender的全限定名。
ConsoleAppender
把日志添加到控制台，有以下子节点：
- encoder：对日志进行格式化。
- target：字符串 System.out 或者 System.err ，默认 System.out。
%d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n
UTF8
FileAppender
把日志添加到文件，有以下子节点：
- file：被写入的文件名，可以是相对目录，也可以是绝对目录，如果上级目录不存在会自动创建，没有默认值。
- append：如果是 true，日志被追加到文件结尾，如果是 false，清空现存文件，默认是true。
- encoder：对记录事件进行格式化。
- prudent：如果是 true，日志会被安全的写入文件，即使其他的FileAppender也在向此文件做写入操作，效率低，默认是 false。
${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log
%d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n
RollingFileAppender
滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件。有以下子节点：
- file：被写入的文件名，可以是相对目录，也可以是绝对目录，如果上级目录不存在会自动创建，没有默认值。
- append：如果是 true，日志被追加到文件结尾，如果是 false，清空现存文件，默认是true。
- encoder：对记录事件进行格式化。
- rollingPolicy：当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。
- triggeringPolicy：告知 RollingFileAppender 何时激活滚动。
- prudent：当为true时，不支持FixedWindowRollingPolicy。支持TimeBasedRollingPolicy，但是有两个限制，1不支持也不允许文件压缩，2不能设置file属性，必须留空。
TimeBasedRollingPolicy
最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动。有以下子节点：
- fileNamePattern：必要节点，包含文件名及“%d”转换符， “%d”可以包含一个java.text.SimpleDateFormat指定的时间格式，如：%d{yyyy-MM}。如果直接使用 %d，默认格式是 yyyy-MM-dd。RollingFileAppender 的file字节点可有可无，通过设置file，可以为活动文件和归档文件指定不同位置，当前日志总是记录到file指定的文件（活动文件），活动文件的名字不会改变；如果没设置file，活动文件的名字会根据fileNamePattern 的值，每隔一段时间改变一次。“/”或者“\”会被当做目录分隔符。
- maxHistory：可选节点，控制保留的归档文件的最大数量，超出数量就删除旧文件。假设设置每个月滚动，且maxHistory是6，则只保存最近6个月的文件，删除之前的旧文件。注意，删除旧文件是，那些为了归档而创建的目录也会被删除。
FixedWindowRollingPolicy
根据固定窗口算法重命名文件的滚动策略。有以下子节点：
- minIndex：窗口索引最小值
- maxIndex：窗口索引最大值，当用户指定的窗口过大时，会自动将窗口设置为12。
- fileNamePattern：必须包含“%i”例如，假设最小值和最大值分别为1和2，命名模式为 mylog%i.log,会产生归档文件mylog1.log和mylog2.log。还可以指定文件压缩选项，例如，mylog%i.log.gz 或者 没有log%i.log.zip
SizeBasedTriggeringPolicy
查看当前活动文件的大小，如果超过指定大小会告知RollingFileAppender 触发当前活动文件滚动。只有一个节点:
- maxFileSize:这是活动文件的大小，默认值是10MB。
${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.log
${logPath}/${appName}-${appModule}-${appVersion}-${appNode}.%d{yyyy-MM-dd}.%i.log.gz
180
${appName}-${appModule}-${appVersion}-${appNode} | %d{yyyy-MM-dd HH:mm:ss.SSS} | %thread | %-5level | %logger{64}:%line | %msg%n
128MB
SocketAppender && SSLSocketAppender
SocketAppender就是被设计用来输出日志到远程实例中的。 SocketAppender输出日志采用明文方式， SSLSocketAppender则采用加密方式传输日志。
- includeCallerData：是否包含调用者的信息如果为true，则以下日志输出的 ?:? 会替换成调用者的文件名跟行号，为false，则为问号。
- port：端口号。
- reconnectionDelay：重连延时，如果设置成“10 seconds”，就会在连接u武器失败后，等待10秒，再连接。默认值：“30 seconds”。如果设置成0，则关闭重连功能。
- queueSize：设置缓冲日志数，如果设置成0，日志发送是同步的，如果设置成大于0的值，会将日志放入队列，队列长度到达指定值，在统一发送。可以加大服务吞吐量。
- eventDelayLimit：设置日志超时丢弃时间。当设置“10 seconds”类似的值，如果日志队列已满，而服务器长时间来不及接收，当滞留时间超过10 seconds，日志就会被丢弃。默认值：100 milliseconds
- remoteHost：远程日志服务器的IP
- ssl：只在SSLSocketAppender包含该属性节点。提供SSL配置。
SMTPAppender
可以将logging event存放在一个或多个固定大小的缓冲区中，然后在用户指定的event到来之时，将适当的大小的logging event以邮件方式发送给运维人员 。
- smtpHost：SMTP server的地址，必需指定。如网易的SMTP服务器地址是： smtp.163.com。
- smtpPort：SMTP server的端口地址。默认值：25。
- to：指定发送到那个邮箱，可设置多个to属性，指定多个目的邮箱。
- from：指定发件人名称。如果设置成“Adam Smith
- subject：指定emial的标题，它需要满足PatternLayout中的格式要求。如果设置成“ Log: %logger - %msg”，就案例来讲，则发送邮件时，标题为“ Log: com.foo.Bar - Hello World ”。默认值： "%logger{20} - %m".
- discriminator：通过Discriminator, SMTPAppender可以根据Discriminator的返回值，将到来的logging event分发到不同的缓冲区中。默认情况下，总是返回相同的值来达到使用一个缓冲区的目的。
- evaluator：指定触发日志发送的条件。通过
指定EventEvaluator接口的实现类。默认情况下SMTPAppeender使用的是OnErrorEvaluator，表示当发送ERROR或更高级别的日志请求时，发送邮件。Logback提供了几个evaluators： - OnErrorEvaluator
- OnMarkerEvaluator
- JaninoEventEvaluator
- GEventEvaluator
- cyclicBufferTracker：指定一个cyclicBufferTracker跟踪cyclic buffer。它是基于discriminator的实现的。如果你不指定，默认会创建一个CyclicBufferTracker ，默认设置cyclic buffer大小为256。你也可以手动指定使用默认的CyclicBufferTracker，并且通过bufferSize属性修改默认的缓冲区接收多少条logging event。
- username：发送邮件账号，默认为null。
- password：发送邮件密码，默认为null。
- STARTTLS：如果设置为true，appender会尝试使用STARTTLS命令，如果服务端支持，则会将明文连接转换成加密连接。需要注意的是，与日志服务器连接一开始是未加密的。默认值：false。
- SSL：如果设置为true，appender将会使用SSL连接到日志服务器。默认值：false。
- charsetEncoding：指定邮件信息的编码格式。默认值：UTF-8。
- localhost：如果smtpHost没有正确配置，比如说不是完整的地址。这时候就需要localhost这个属性提供服务器的完整路径（如同java中的完全限定名 ），详情参考com.sun.mail.smtp 中的mail.smtp.localhost属性
- asynchronousSending：这个属性决定email的发送是否是异步。默认：true，异步发送但是在某些情况下，需要以同步方式发送错误日志的邮件给管理人员，防止不能及时维护应用。
- includeCallerData：指定是否包含callerData在日志中。默认：false。
- sessionViaJNDI：SMTPAppender依赖javax.mail.Session来发送邮件。默认情况下，sessionViaJNDI为false。javax.mail.Session实例的创建依赖于SMTPAppender本身的配置信息。如果设置为true，则Session的创建时通过JNDI获取引用。这样做的好处可以让你的代码复用更好，让配置更简洁。需要注意的是，如果使用JNDI获取Session对象，需要保证移除mail.jar以及activation.jar这两个jar包。
- jndiLocation：如果sessionViaJNDI设置为true，则jndiLocation指定JNDI的资源名，默认值为："java:comp/env/mail/Session"。
DBAppender
可以将日志事件插入到3张数据表中。它们分别是logging_event，logging_event_property，logging_event_exception。这三张数据表必须在DBAppender工作之前存在。它们的sql脚本可以在 logback-classic/src/main/java/ch/qos/logback/classic/db/script folder 这个目录下找到。这个脚本对大部分SQL数据库都是有效的，除了少部分，少数语法有差异需要调整。
- connectionSource：数据库连接信息。
SiftingAppender
提供过滤筛选日志的功能。你可以通过用户的sessions的数据来筛选日志，然后分发到不同日志文件。
自定义Appender
你可以很简单的创建自己的Appender，通过继承父类AppenderBase。AppenderBase已经实现了对filters，status以及一些其他被大多数appender共享的功能的支持。我们所要做的仅仅是实现append(Object evenObject)这个方法。
encoder && layout
区别
在0.9.19版本之前，都是使用layout来控制输出的格式。在0.9.19就变成了使用encoder来控制。
encoder：主要工作有两个：①将一个event事件转换成一组byte数组，②将转换后的字节数据输出到文件中。
layout：主要的功能就是：将一个event事件转化为一个String字符串。
格式控制
| 转换符 | 作用 |
|---|---|
| c {length}、lo {length}、logger {length} | 输出日志的logger名，可有一个整形参数，功能是缩短logger名，设置为0表示只输入logger最右边点符号之后的字符串。 Conversion specifier Logger name Result |
| C {length}、class {length} | 输出执行记录请求的调用者的全限定名。参数与上面的一样。尽量避免使用，除非执行速度不造成任何问题。 |
| contextName、cn | 输出上下文名称。 |
| d{pattern}、date{pattern} | 输出日志的打印日志，模式语法与java.text.SimpleDateFormat 兼容。 Conversion Pattern Result |
| F、file | 输出执行记录请求的java源文件名。尽量避免使用，除非执行速度不造成任何问题。 |
| caller{depth}、caller{depth, evaluator-1, ... evaluator-n} | 输出生成日志的调用者的位置信息，整数选项表示输出信息深度。 |
| L、line | 输出执行日志请求的行号。尽量避免使用，除非执行速度不造成任何问题。 |
| m、msg、message | 输出应用程序提供的信息。 |
| M、method | 输出执行日志请求的方法名。尽量避免使用，除非执行速度不造成任何问题。 |
| n | 输出平台先关的分行符“\n”或者“\r\n”。 |
| p、le、level | 输出日志级别。 |
| r、relative | 输出从程序启动到创建日志记录的时间，单位是毫秒。 |
| t、thread | 输出产生日志的线程名。 |
| replace(p){r,t} | p 为日志内容，r 是正则表达式，将p 中符合r 的内容替换为t。例如， "%replace(%msg){'\s', ''}"。 |
filter
Logback的过滤器基于三值逻辑（ternary logic），允许把它们组装或成链，从而组成任意的复合过滤策略。过滤器很大程度上受到Linux的iptables启发。这里的所谓三值逻辑是说，过滤器的返回值只能是ACCEPT、DENY和NEUTRAL的其中一个。
- 如果返回DENY，那么记录事件立即被抛弃，不再经过剩余过滤器；
- 如果返回NEUTRAL，那么有序列表里的下一个过滤器会接着处理记录事件；
- 如果返回ACCEPT，那么记录事件被立即处理，不再经过剩余过滤器。
过滤器被添加到Appender中，为Appender添加一个或多个过滤器后，可以用任意条件对日志进行过滤。Appender有多个过滤器时，按照配置顺序执行。
LevelFilter
级别过滤器，根据日志级别进行过滤。如果日志级别等于配置级别，过滤器会根据onMath 和 onMismatch接收或拒绝日志。有以下子节点：
- level：设置过滤级别。
- onMatch：用于配置符合过滤条件的操作。
- onMismatch：用于配置不符合过滤条件的操作
INFO
ACCEPT
DENY
%-4relative [%thread] %-5level %logger{30} - %msg%n
ThresholdFilter
当日志级别等于或高于临界值时，过滤器返回NEUTRAL；当日志级别低于临界值时，日志会被拒绝。
INFO
%-4relative [%thread] %-5level %logger{30} - %msg%n
EvaluatorFilter
求值过滤器，评估、鉴别日志是否符合指定条件。需要额外的两个JAR包，commons-compiler.jar和janino.jar。
- evaluator：鉴别器，常用的鉴别器是JaninoEventEvaluato，也是默认的鉴别器，它以任意的java布尔值表达式作为求值条件，求值条件在配置文件解释过成功被动态编译，布尔值表达式返回true就表示符合过滤条件。evaluator有个子标签expression，用于配置求值条件。
- onMatch：用于配置符合过滤条件的操作。
- onMismatch：用于配置不符合过滤条件的操作
return message.contains("billing");
ACCEPT
DENY
%-4relative [%thread] %-5level %logger - %msg%n
Spring Boot下的日志归集
思路
- 需要有个日志的服务器，用于归集各个模块产生的日志信息
- 每个模块的日志除了输出到本地，还要同步输出到日志服务器
- 每个模块输出的日志格式应该是统一的
- 日志服务器至少要提供精确、准确的检索能力
最简方案：SocketAppender+ServerSocketReceiver
client端
${appName}
${CONSOLE_LOG_PATTERN}
UTF8
192.168.3.166
9898
10000
true
server端
${appName}
${CONSOLE_LOG_PATTERN}
UTF8
9898
后续方案实现过程相对复杂，就不在这里详述，另外再找时间分享给大家
主流方案ETL：Elasticsearch+Logstash+Kibana
- Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。
- Elasticsearch：日志分布式存储/搜索工具，原生支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。
- Kibana：可视化日志Web展示工具，对Elasticsearch中存储的日志进行展示，还可以生成炫丽的仪表盘。