kettle使用log4j管理输出日志

在使用kettle进行数据分析和清洗时日志非常多而且杂乱，使用原有的日志有时找不到异常的位置，有时日志不够详细，说简单一点就是日志不是我们想要的。因而对kettle日志进行相应的管理就想得尤为重要了。大家都知道java最常用的日志管理包log4j可以很好地实现java日志的管理，然而kettle是使用java开发的，因而log4j是个不二的选择。好了说了这么多，下面看看kettle怎么使用log4j进行日志的管理吧。

1、kettle加载和使用log4j

在转换的JavaScript中添加log4j的支持

//Script here //updateOuputLog(); //confFile 日志配置文件路径 //增加日志输出文件 //通过/../conf/log.xml文件配置日志输出
 function updateOutputLog(confFile){ var first = getVariable("FIRST_TIME_UPDATE_LOG", "true"); if(first == "true"){
 logWriter = org.pentaho.di.core.logging.LogWriter.getInstance(); var softPath = getThisSoftPath();
 setVariable("WORKDIR", softPath, "s");//设置日志路径变量
 var logConf = softPath + "/../conf/log.xml"; if(confFile != null && confFile != ""){
 logConf = softPath + "/" + confFile;
 }else{ if(!fileExists(logConf)){
 logConf = softPath + "/log.xml";
 } if(!fileExists(logConf)){
 logConf = softPath + "/conf/log.xml";
 }
 }
 writeToLog("m", "======logConfPath====>"+logConf);
 org.apache.log4j.xml.DOMConfigurator.configure(logConf); var logger = org.apache.log4j.Logger.getLogger("kettle_log"); var appenders = logger.getAllAppenders(); while(appenders.hasMoreElements()){ var appender = appenders.nextElement();
 writeToLog("m", "======add==log====>"+appender.getName());
 logWriter.addAppender(appender);
 }
 setVariable("FIRST_TIME_UPDATE_LOG", "false", "r");
 }
 } //Alert(getThisSoftPath()); //返回程序所在目录 不带前缀file:
 function getThisSoftPath(){ var osName = java.lang.System.getProperty("os.name").toLowerCase(); var path = getVariable("Internal.Transformation.Filename.Directory", ""); if(osName.indexOf("windows") >= 0){//WINDOWS系统
 path = path.substring(8);
 }else{
 path = path.substring(7);
 } return path;
 } function getConfigPath(softDir,confPath,splitStr){ var arr = confPath.split(splitStr); var str = softDir+arr[0]; for(var i=1; i str = str + splitStr + softDir+ arr[i];
 }
 } //Alert(str);
 return str;
 }

2、准备log4j配置文件log.xml


 
 
 
 
          {WORKDIR}/../log/error.log" />

此处需要注意log4j日志的存放路径，路径由变量${WORKDIR}控制，存放路径为项目根目录下的log目录。

3、测试

运行结果：

2011-06-08 09:50:28,897 INFO (LogWriter.java:450) -> 设置默认配置文件.0 - ======add==log====>kettle_error
 2011-06-08 09:50:28,897 INFO (LogWriter.java:450) -> 设置默认配置文件.0 - 增加配置日志成功
 2011-06-08 09:50:28,912 INFO (LogWriter.java:450) -> 设置默认配置文件.0 - E:/test/src/../conf/config_static.properties
 2011-06-08 09:50:28,912 INFO (LogWriter.java:450) -> 设置默认配置文件.0 - 完成处理 (I=0, O=0, R=1, W=1, U=1, E=0
 2011-06-08 09:50:28,943 INFO (LogWriter.java:450) -> 拆分路径 2.0 - 完成处理 (I=0, O=0, R=1, W=1, U=1, E=0
 2011-06-08 09:50:28,943 INFO (LogWriter.java:450) -> 读取配置文件.0 - 配置文件：TO_DB_PWD1=test
 2011-06-08 09:50:28,943 INFO (LogWriter.java:450) -> 配置文件输入.0 - 完成处理 (I=20, O=0, R=1, W=20, U=20, E=0
 2011-06-08 09:50:28,943 INFO (LogWriter.java:450) -> 读取配置文件.0 - 配置文件：DEST_DB_UNAME2=test

注：11年测试的日志文件

kettle作业，转换日志
0.207
2018.08.10 15:11:16
字数 783
阅读 2206
Kettle以文本行的方式输出日志信息，步骤结束时，可以生成下面的一行日志：

2010/06/18 10:36:29 - step name.0 -
Finished processing (I=0,O=0,R=0,W=25,U=0,E=0)
这个日志行里有以下主要内容：

日期和时间。
步骤名，步骤名的后面有一个点号，点号后面是步骤的拷贝号。
日志内容。
4.每个部分之间都使用空格、横线、空格来分割。
作业，转换的日志基本
行级日志：打印出Kettle里所有可用的日志信息，包括在一些比较复杂的步骤里的每一行数据。
调试日志：也打印出很多日志信息，但没有到每一行数据都打印出来的级别。
详细日志：比基本日志多一些日志内容，如多了SQL查询语句和DDL语句等。
基本日志：默认的日志级别，只打印出执行到哪个步骤和作业项的日志信息。
最小日志：只打印出执行到哪个转换和作业的日志信息。
错误日志：只打印出错误日志，如果没有错误也不打印日志。
无日志：不打印任何日志，即使有错误也不打印。
日志架构
实际上中心缓存里保存了以下内容：

日期和时间：让Spoon在日志窗口用蓝色显示日志的日期和时间。
日志级别：让Spoon在日志窗口用红色显示错误行。
递增的唯一编号：Kettle对不同日志窗口或者远程日志抽取分配的递增的编号。
日志文本内容：实际的日志文本内容。
日志通道ID：这个ID是随机生成的唯一字符串，用来唯一标识生成日志行的Kettle组件。
把日志保存在内存里是导致内存溢出的一个主要的原因。当你执行一个作业或转换而且日志级别设置的比较高时，在执行过程中就会产生大量日志。如果你要求Kettle把这些日志信息存储在日志表里，那么这些日志信息就会暂时保存在内存里，最后就会发生内存溢出问题。
设置缓存大小
限制日志数量通常想到的第一个方法就是设置缓存大小。可以在Spoon的“选项”对话框里设置这个参数。在对话框里的“日志窗口的最大行数”输入框里设置。要注意该选项只在Spoon里有效
另一个选择就是设置KETTLE_MAX_LOG_SIZE_IN_LINES环境变量。可以在kettle.properties文件里设置这个环境变量。
最后，也可以在Carte的配置文件中设置这个参数。例如在服务器的配置XML文件中加入下面的配置行，将中心日志缓存的大小设置为10000行：

kettle使用log4j管理输出日志

你可能感兴趣的:(kettle使用log4j管理输出日志)