对增量数据是否如期ETL的监控

五一的三天假期期间，ETL逻辑上出现了一些问题，导致每天需要装入DW的增量数据没有按设计装入。所以需要在ETL后对产生的增量数据进行检查，避免出现某天的增量数据出现丢失后自己被动的处理问题。

需求：如当天ETL的增量数据出现问题，需要让两方面的人或程序（DBA与BI）知晓并及时处理。

1. 在ODS服务器上建立如下库、表：

CREATE   DATABASE  `imm`  /* !40100 DEFAULT CHARACTER SET utf8  */ ;

--  item_info记录不同项目名称与项目内的抽查表（前提：此表每天均有数据产生）,以后如有新项目，只需在此表中添加记录
CREATE   TABLE  `item_info` (
  `id`  int ( 11 )  DEFAULT   NULL ,
  `itemname`  varchar ( 64 )  DEFAULT   NULL ,
  `tabNameChk`  char ( 32 )  DEFAULT   NULL
) ENGINE = InnoDB  DEFAULT  CHARSET = utf8;

--  icc表记录每个项目的检查时间与是否成功ETL的状态标志
CREATE   TABLE  `icc` (
  `id`  int ( 11 )  NOT   NULL  AUTO_INCREMENT,
  `entertime`  datetime   DEFAULT   NULL ,
  `itemname`  varchar ( 64 )  DEFAULT   NULL ,
  `flag`  smallint ( 6 )  DEFAULT   NULL ,
   PRIMARY   KEY  (`id`)
) ENGINE = InnoDB   DEFAULT  CHARSET = utf8;

 2.建立定时检查的procedure与event:

CREATE   PROCEDURE  cc_pro()
BEGIN
DECLARE  v_max  smallint ;
DECLARE  v_title  bigint ;
DECLARE  v_itemN  char ( 32 );
DECLARE  v_tab  char ( 64 );
DECLARE  i  smallint ;
SET  i = 1 ;
SELECT   max (id)  INTO  v_max  FROM  imm.item_info;
WHILE  i  <=  v_max DO
SELECT  itemname,tabNameChk  INTO  v_itemN,v_tab  FROM  imm.item_info  WHERE  id = i;
SET   @dbname = v_itemN;
SET   @tabname = v_tab;
SET   @s_name   =  CONCAT( @dbname , ' . ' , @tabname );
SET   @tempsql   =  concat( ' SELECT count(db_id) INTO @v_title FROM  ' , @s_name , ' ; ' );
PREPARE  _stmt  FROM   @tempsql ;
EXECUTE  _stmt;
DEALLOCATE   PREPARE  _stmt;
IF ( @v_title   >   0 )  THEN
INSERT   INTO  imm.icc(entertime,itemname,flag)  VALUES (now(),v_itemN, 1 );
ELSE
INSERT   INTO  imm.icc(entertime,itemname,flag)  VALUES (now(),v_itemN, 0 );
END   IF ;
SET  i = i + 1 ;
END   WHILE ;
END

定时调用procedure,在此之前检查事件调度器是否开启：

+ -- ---------------+-------+
|  Variable_name    |  Value  |
+ -- ---------------+-------+
|  event_scheduler  |   ON      |
+ -- ---------------+-------+

CREATE  EVENT `ccpro_exec`  ON  SCHEDULE
        EVERY  1   DAY  STARTS  ' 2011-05-05 07:00:00 '
     ON  COMPLETION  NOT  PRESERVE
    ENABLE
    COMMENT  ' 在ETL执行完成后进行增量数据质量检查 '
    DO  BEGIN
call imm.cc_pro2;
END

 

以上事件的作用是每天7点钟检视一次各项目的增量情况

3.接下来可以随便写个shell脚本，作用是对当天的检查结果进行邮件发送（以前我喜欢发送到移动139邮箱，不过时下有太多的邮箱提供手机绑定功能。所以象我这样偷懒的可以只发封邮件。）

#!/bin/bash
#scriptname:icc_result.sh
#author:liuming
#datetime: 2011 - 05 - 05

function send_message(){
mysql -u$dbuser -p$passwd -D$dbname -e'select * from icc where date(entertime)=date(now());' > $r_txt
mail -s  " `date +%Y-%m-%d_%H:%M` ETL(increment data) status  "  $to_email <$r_txt
}

function main(){
r_txt = " `pwd`/icc_result.txt "
dbuser = 'xxxx'
passwd = 'xxxx'
dbname = 'imm'
tabname = 'icc'
to_email = 'xxxx@xxx .com'

send_message
}

main

 

4.对于app方面，可提供相关表名，让其在计算之前进行判断。此处省去N个字...