利用kettle的JS进行ETL数据校验(升级版)

无意中在网上看到一篇文章《利用kettle中的JS来完成ETL数据校验》，挺受启发的，觉得用JS来实现ETL的自动化校验，是个不错的思路。但是这篇文章里给的JS脚本样例确实有待改进，一是让初学者看着不那么清晰，二是扩展性和维护性都较差。于是我做了二次改造，重新编写了脚本，如下：

//Script here

var strConn = "TestOrcl";

var check_status=0;//如果检测到有任何一种校验错误，则check_status=1

var check_table="E_OT_PRMTALT";//校验有关的表名字

var check_table_id="LICALTID";//校验表主键

var check_name=LICALTID;//校验表主键值

var check_detail="";//校验到的错误详细情况

var check_type="";//校验到的错误类型

var check_date=new Date();//校验时间

var source_table="E_OT_PRMTALT";//数据源表名称，如果数据来自多个数据表，则需要声明多个

var source_table_id="LICALTID";//数据源表主键，如果多个表联合主键，则需要声明多个主键

/////////////////////////////字段唯一性校验//////////////////////////////////////////

var isuniqueArray=new Array("LICALTID","LICID");//一维数组，表的字段名

var isunique_str="";

var isunique_column="";

for(var i=0;i

//1：唯一性枚举值

  isunique_str+="var "+isuniqueArray[i]+"_isunique=0;";

  //唯一性校验枚举值赋值

  isunique_str+="var uniquesql_"+isuniqueArray[i]+"=\"SELECT count(1) FROM "+check_table+" where "+isuniqueArray[i]+"='\"+"+isuniqueArray[i]+"+\"' \";";

  isunique_str+="if(fireToDB(strConn,uniquesql_"+isuniqueArray[i]+")[0][0]==1){"+isuniqueArray[i]+"_isunique=1;}";

  //校验所有表需要校验的字段，如果有一个校验失败，则校验状态为1

  isunique_str+="if(check_status==0){if("+isuniqueArray[i]+"_isunique==0)check_status=1;}";

  //check is unique? return not unique column

  isunique_str+="if("+isuniqueArray[i]+"_isunique==0){if(isunique_column==\"\"){ isunique_column = \""+ isuniqueArray[i] +"\";}else{isunique_column+=\"、\"+\""+isuniqueArray[i]+"\";}}"; 

}

//最终输出的错误详细情况

isunique_str+="if(check_status==1){check_type=\"违反唯一规则\";check_detail=\"表\"+source_table+\"中，字段\"+isunique_column+\"违反了唯一规则\";}";

eval(isunique_str);

//////////////////////////////////////////////////////////////////////////////////

/////////////////////////////字段非空校验//////////////////////////////////////////

var isnullArray=new Array("ALT","ALTBE","ALTAF","ALTDATE");//一维数组，表的字段名

var isnull_str="";

var isnull_column="";

check_status=0;//校验状态置0

for(var i=0;i

//2:非空枚举值

isnull_str+="var "+isnullArray[i]+"_isnull=0;";

//非空校验枚举值赋值

isnull_str+="if("+isnullArray[i]+"==null||"+isnullArray[i]+"==\"\"){"+isnullArray[i]+"_isnull=1;}";

//校验所有表需要校验的字段，如果有一个校验失败，则校验状态为1

isnull_str+="if(check_status==0){if("+isnullArray[i]+"_isnull==1)check_status=1;}";

//check is null? return null column

isnull_str += "if("+isnullArray[i]+"_isnull==1){if(isnull_column==\"\"){isnull_column = \""+ isnullArray[i] +"\";}else{isnull_column+=\"、\"+\""+isnullArray[i]+"\";}}";

}

//最终输出的错误详细情况

isnull_str+="if(check_status==1){if(check_detail==\"\"){check_type=\"违反非空规则\";check_detail=\"字段\"+ isnull_column +\"违反了非空规则\";}else{check_type+=\",\"+\"违反非空规则\";check_detail+=\",字段\"+ isnull_column +\"违反了非空规则\";}}";

eval(isnull_str);

//////////////////////////////////////////////////////////////////////////////////////

//////////////////////////////标准值校验//////////////////////////////////////////

var isnormalArray = [["S_EXT_FROMNODE","in ('220000')"],["ALT","in ('许可文件编号','许可文件名称','许可机关','许可内容')"]];//二维数组，第一列为字段，第二列为匹配规则

var isnormal_str="";

var isnormal_column="";

check_status=0;//校验状态置0

for(var i=0;i

//3:标准化枚举值

isnormal_str+="var "+isnormalArray[i][0]+"_isnormal=0;";

//标准化校验枚举值赋值

isnormal_str+="var normalsql_"+isnormalArray[i][0]+"= \"select  count(1) from "+check_table+" where "+ isnormalArray[i][0] +" "+isnormalArray[i][1]+" and "+check_table_id+"='"+check_name+"'\";";

isnormal_str+="if(fireToDB(strConn, normalsql_"+isnormalArray[i][0]+")[0][0]>0){"+ isnormalArray[i][0] +"_isnormal=1;}";

//校验所有表需要校验的字段，如果有一个校验失败，则校验状态为1

isnormal_str+="if(check_status==0){if("+isnormalArray[i][0]+"_isnormal==0) check_status=1;}";

//check is normal? return not normal column

isnormal_str+="if("+isnormalArray[i][0]+"_isnormal==0){if(isnormal_column==\"\"){ isnormal_column = \""+ isnormalArray[i][0] +"\";}else{isnormal_column+=\"、\"+\""+isnormalArray[i][0]+"\";}}";

}

//最终输出的错误详细情况

isnormal_str+="if(check_status==1){if(check_detail==\"\"){check_type=\"违反标准化规则\";check_detail=\"字段\"+ isnormal_column +\"违反了标准化规则\";}else{check_type+=\",\"+\"违反标准化规则\";check_detail+=\",字段\"+ isnormal_column +\"违反了标准化规则\";}}";

eval(isnormal_str);

//////////////////////////////数据类型校验//////////////////////////////////////////

var datatypeArray = [["ALTDATE","isDate"],["ALTAF","isNum"]];//二维数组，第一列为要校验的数据字段，第二列为数据类型校验函数(isDate[日期]、isNum[数字]、isMailValid[邮箱]、isEmpty[空])

var datatype_str="";

var datatype_column="";

check_status=0;//校验状态置0

for(var i=0;i

//4：类型校验枚举值

datatype_str+="var "+datatypeArray[i][0]+"_datatype=0;";

//数据类型校验枚举值赋值

datatype_str+="var datatypesql_"+datatypeArray[i][0]+"=\"select "+datatypeArray[i][0]+" from "+ check_table +" where "+check_table_id+"='"+check_name+"'\";";

datatype_str+="if("+datatypeArray[i][1]+"(fireToDB(strConn,datatypesql_"+datatypeArray[i][0]+")[0][0])) "+ datatypeArray[i][0]+"_datatype=1;";

//校验所有需要校验的字段，如果有一个校验失败，则校验状态为1

datatype_str+="if(check_status==0){if("+datatypeArray[i][0]+"_datatype==0) check_status=1;}";

//check is datatype? return not datatype column

datatype_str+="if("+datatypeArray[i][0]+"_datatype==0){if(datatype_column==\"\"){ datatype_column =\""+datatypeArray[i][0]+"\";}else{datatype_column+=\"、"+datatypeArray[i][0]+"\";}}";

}

//最终输出的错误详细情况

datatype_str+="if(check_status==1){if(check_detail==\"\"){check_type=\"违反数据类型规则\";check_detail=\"字段\"+datatype_column+\"违反数据类型规则\";}else{check_type+=\",\"+\"违反数据类型规则\";check_detail+=\",字段\"+datatype_column+\"违反数据类型规则\";}}";

eval(datatype_str);

//////////////////////////////////////////////////////////////////////////////////////

if(check_detail!="")

{

check_detail=check_detail+","+source_table_id+"="+check_name;

}

以下是执行后的效果：

在此基础上我们还可以扩展更多的校验，比如通过正则表达式的方式（利用kettle的isRegExp函数），如下：

//////////////////////////////正则表达式校验//////////////////////////////////////////

var dataArray = [["Email","^\\w+@[a-zA-Z_]+?\\.[a-zA-Z]{2,3}$","^[\\w-\.]+@([\\w-]+\\.)+[\\w-]{2,4}$"]];//二维数组，第一列为要校验的数据字段，第二列为规则1，第三列为规则2(可选)

var data_str="";

var data_column="";

check_status=0;//校验状态置0

for(var i=0;i

//4：类型校验枚举值

data_str+="var "+dataArray[i][0]+"_data=0;";

//数据类型校验枚举值赋值

data_str+="var datasql_"+dataArray[i][0]+"=\"select "+dataArray[i][0]+" from "+check_table+" where "+ check_table_id +"='"+check_name+"'\";";

data_str+="if(isRegExp(fireToDB(strConn,datasql_"+dataArray[i][0]+")[0][0],dataArray[i][1],dataArray[i][2] )>-1) "+dataArray[i][0]+"_data=1;";

//校验所有需要校验的字段，如果有一个校验失败，则校验状态为1

data_str+="if(check_status==0){if("+dataArray[i][0]+"_data==0) check_status=1;}";

//check is data? return not data column

data_str+="if("+dataArray[i][0]+"_data==0){if(data_column==\"\"){data_column=\""+ dataArray[i][0] + "\"; } else {data_column+=\"、"+dataArray[i][0]+"\";}}";

}

//最终输出的错误详细情况

data_str+="if(check_status==1){if(check_detail==\"\"){check_type=\"违反数据类型规则\";check_detail=\"字段\"+ data_column +\"违反数据类型规则\";}else{check_type+=\",\"+\"违反数据类型规则\";check_detail+=\",字段\"+ data_column + \"违反数据类型规则\";}}";eval(data_str);

以上脚本的好处就是，可以直接通过修改变量，就能对不同输出表的不同字段进行校验，基本上不用修改逻辑代码，如果进一步优化一下，就可以写成函数，直接调用。可以把检验字段和检验规则进一步参数化，通过调用参数表，来执行数据驱动的校验测试（这就是一种自动化测试的思路）。