部署 及 使用 etl crontab 和 etl engine

    **如何部署及使用etl_crontab和etl_engine**

内容详细,适合新人上手

1、前置条件

  获取到以下文件列表
code.bin             (授权文件,必须)
code.key        (授权文件,必须)
conf.cron        (调度配置文件,使用etl_crontab必须)
sys.properties        (环境配置文件,使用etl_crontab必须)
etllog_mysql.sql        (日志表结构文件,使用etl_crontab必须)
etl_crontab.exe        (管理端,用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)
etl_engine.exe        (ETL引擎,用于解析执行ETL任务,必须)
readme_v1.2.7.txt    (说明文件,非必须)
etl-engine.pdf        (说明文件,非必须)

2、准备用于存储日志的数据库

   将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中,如数据库名称是db1

3、修改配置文件

  • conf.cron
    该文件配置了etl-engine引擎文件位置,每个etl任务在什么时刻执行,及日志输出级别,http服务端口号等信息,
    各参数可根据实际情况进行修改,具体参数可参看etl_engine.pdf文件或其它资料。
    如:下面两个配置要根据实际情况进行修改。

      engineFile 引擎文件存放位置(默认配置 d:/etl_crontab/etl_engine.exe)
      confDir etl任务配置文件所在目录(默认配置d:/etl_crontab/config)
  • sys.properties
    该文件是日志输出数据源配置(当前配置默认支持输出到mysql),和etl设计器登录等配置。

4、启动etl_crontab(管理端)

  执行以下命令:     
  etl_crontab.exe -fileUrl conf.cron 
  etl_crontab.exe运行后,默认会启动一个11100的http端口,用于和etl后台管理进行交互。
  http://127.0.0.1:11100/etl_designer
  用户名称:admin
  口令:123456
  默认会启动11101端口,用于向前端推送控制台日志信息(取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置)。

5、执行etl_engine(根据实际情况使用)

  1)由etl_crontab调度负责调用etl_engine执行,不需要人为干预。
  2)独立执行etl_engine
     执行以下命令:
 etl_engine.exe -fileUrl d:/example.grf  -logLevel info 

6、查看相关日志(均可通过管理端查看)

1)读写成功与失败的日志信息存储在数据库中
2)etl_engine执行过程中的日志输出到etl_engine.log文件中
3)etl_crontab执行过程中的日志输出到etl_crontab.log文件中



你可能感兴趣的:(部署 及 使用 etl crontab 和 etl engine)