架构设计（日志系统）

---

架构设计（日志系统）

            

                        

                               

日志系统

              

日志系统组件

logback：日志框架，可将日志输出到控制台、文件、数据库、logstash等目的地
filebeat：日志文件采集组件，一个filebeat处理一个数据源，相比logstash更轻量级，消耗资源更少
kafka：对采集的日志数据缓冲处理，防止logstash负载过高
logstash：可直接采集日志，也可接受filebeat数据源，对日志进行分析过滤
elasticsearch：日志数据通常使用elasticsearch存储
kibana：可视化展示日志数据

                 

logstash采集日志数据（同步或者异步传输）

                

            

filebeat同步采集传输日志：filebeat直传logstash

                

             

filebeat异步采集传输日志：使用kafka异步传输到logstash

                

             

                      

                               

容量分析

           

采集200台服务器日志，每天的日志总量2TB，每条日志大小约为1kb，
日志处理后进行监控和报警，监控报警延时不能超过5分钟，
每台服务器的日志峰值吞吐量10000/s，所有服务器瞬时峰值之和为1000000/s

# 每台机器平均每秒处理的日志量
2TB/200/1kb/(24*60*60)=115/s
115/s小于10000/s，单台服务器可以满足要求

# 网络负载
单台kafka的处理峰值：100000/s
需要kafka机器数：1000000/100000=10
网络负载：100000*1kb=100mb，千兆网卡可以满足需求

# 延时处理
假设每条日志的处理时间为20ms，
1000000*20ms/1000/5分钟=66.7，需要66个cpu处理峰值的吞吐量延时才不会超过5分钟
假设每条服务器4个cpu、8g内存，需要的机器数：66/4=16，
需要16台机器部署logstash对日志进行解析处理

一般需要对系统做5到10倍的冗余处理，防止系统超载，使用docker部署可动态拓展机器