大数据实时案例--实时日志监控告警系统

本次介绍使用Flume+kafka+storm+mysql的实时日志监控告警系统，代码部分比较多，会放在一个下载的连接里面，可以免费下载。

---

需求

在软件开发中国，上线运行时经常会出现一些报错，但是我们如果不能进行有效的实时监控，及时的处理，经常会带来巨大损失。为了保证异常的即使处理，我们设计一套系统，对产生的日志进行实时的监控，放出现异常或者指定的信息的时候，给我们的对应工作人员发送邮件和短信提醒，同时记录异常的信息。做到线上异常的实时监控。

基本框架

基本的框架是：Flume+kafka+storm+redis

• flume各个模块的功能订单，支付，用户系统

• kafka集群数据量,预估容量，topic数量，system-log 六个分区，两个副本

• storm消费数据，得到每条数据和AppId，判断每条消息是否包含关键字（比如error来源为数据库）如果包含错误信息，系统预警，短信或者邮件（数据库需要存入的信息）将触发的信息存入数据库。

• web页面（读取和写入数据库信息）需要有一下的功能

  • 添加异常的关键词
  • 添加用户的信息
  • 查询触发信息规格

开发步骤

创建数据库表结构

用户表，应用程序表，规则表，结果表四张表
1.在虚拟机（nodel01），安装mysql，启动。

启动mysql
service mysqld start
进入mysql
mysql -u root -p   然后输入密码

创建上面的6个表。简单介绍表的字段
规则表，每个应用系统要监控哪些规则

结果表：用来保存触发规则后的记录，包括告警编号、是否短信告知、是否邮件告知、告警明细等信息。

Flume+Kafka整合

• 启动kafka和zookeeper
• 编写Flume模拟生成的异常信息，需要下面4个文件