分布式应用日志集中收集

阅读更多

        最近一段时间，配合新的商业模式，E网打进产品进行系统重构，由于客户量比较大，那么对应的数据量比较大，涉及的系统架构很复杂，对应的服务器也成倍的增加。服务器日志的收集和查看也变的比较麻烦，于是就在想是否可以把各个应用日志统一收集过来。

        现在的做法：每天凌晨30分左右启动一个任务，把日志从各个服务器统一收集过来，然后通过导入分析程序对日志进行处理，并把结果数据输入到数据库中。这样的做法在可以支持几台到十几台规模的并发服务。但当管理的服务器达到几十台，而且有大量的服务器中间会有上线/下线变更的时候，集中的日志定期同步 更显得非常难于管理，而日志的同步由于要避开白天的高峰，往往需要用凌晨的低峰时段进行同步，24小时下来，上G的日志同步也是风险很高的操作。而成为瓶 颈的日志排序合并操作也会妨碍其他后续计算的周期。

        如果能实现应用日志的集中收集，那么对个应用日志的压缩、打包、收集就无须任务了，对于应用服务器的变更也没有影响。前段时间看了Log4j的功能，可以通过Log4j进行扩展达到我们日志收集的目的，系统结构图如下：

 

 

 

        原理：

              现在大部分的系统都采用log4j来记录应用日志，那么我们使用log4j收集日志，然后写入到指定的日志收集服务器上，数据通过 UDP 进行传输。服务端收到这些数据后，先放入到对应的队列中，都个线程同步去处理这些日志。

 

      Log4j自定义：

             Log4j支持appender扩展，我们只需定义我们自己的appender，当然这个appender需要考虑应用日志大数据量的因素，可批量上传日志的方式。

 

      日志收集服务端：

             日志收集服务端启动侦听线程，侦听某个端口（比如：8080），发现有日志数据过来后，立马读入这个数据并放入到相应的队列中。

 

     其他功能：

             根据日志的情况可做统计分析，可做报警等等，这个就看详细的应用场景。