微服务十三 日志收集项目结构设计及Kafka介绍

创作不易感谢支持。
一条主写Go和PHP的小菜鸟。平常有时间喜欢自己写点东西,如有不对的地方,欢迎大佬指点。 个人博客:太阳上的雨天 地址:http://blog.caixiaoxin.cn 善于分享,希望有助他人. 非常感谢各位大佬的关注和支持

日志收集项目结构设计及Kafka介绍

项目背景

每个业务系统都有日志,当系统出现问题时,需要通过日志信息来定位和解决问题。当系统机器比较少时,登录到服务器上查看即可满足,当系统机器规模巨大,登录到机器上查看几乎不现实(分布式的系统,一个系统部署在多台机器上)

解决方案

把机器上的日志实时收集,统一存储到中心系统。再对这些日志建立索引,通过搜索即可快速找到对应的日志记录。通过提供一个界面友好的web页面实现日志展示与检索

面临的问题

实时日志量非常大,每天处理几十亿条。日志实时收集,延迟控制在分钟级别。系统的架构设计能够支持水平扩展。

业界方案

ELK

你可能感兴趣的:(微服务,微服务,kafka)