实时可视化大数据项目01 -- 项目介绍

1、项目架构

OGG + FileBeat + Kafka + Logstash + ElaticSearch + SpringBoot + Echarts + Jquery

2、项目介绍

1、项目是通过beat采集业务系统的日志，发送至kafka ，Logstash解析日志存入ElaticSearch，
2、另外一个数据，通过oracle内部的OGG同步至kafka，消息中中包含insert，update的状态字段。采集时区分inset和update。由于ElaticSearch具有原子性。自己设置好document_id。多次插入和更新都是最新状态。
3、项目简单，服务器6台，数据量支持上亿查询。
4、时效性能达到秒级别，这是ES和采集的beat造成的。
5、一人开发，未进行前后端分离，项目使用的是ajax请求后端。
6、需要保证kafka的进入特定分区，或者你就弄一个分区保证消费kafka的顺序性，这样可以保证短时间内的insert和update区分按顺序处理。

3、项目展示

该项目特别感谢开源软件的支持。
后续，我将逐步将代码贴出来。
感谢你的阅读！

后续的更新：

2、目录介绍
3、前端和配置
4、后端代码
5、UI部分