web kettle 数据采集

大概是最后一次Fix了。项目内置的Kettle引擎是在没办法运行各种任务。所以推荐使用kettle集群

另外如果项目中使用到任何外部文件(包括jar包,读取的文件等)。最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。

这是一个对客户端版的kettle创建的job和transformation进行统一管理的工具(支持kettle9.0版本)

简单说明

  • 目前已经支持文件类型转换和任务的保存和添加,保存位置在配置文件中进行配置。
  • 因为kettle支持的转换类型非常的多。目前我只是测试了MySQL数据的导入和导出以及MySQL-Excel数据之间的转换,如果添加的转换比较复杂是一定会出问题的。这个目前来说也没有什么优雅的解决办法,正在逐步完善。
  • 现在本系统,作为kettle的简单调度平台。还缺少很多的模型模板作为提供,这也是在未来要进行完善的模块。

使用工具(这里我觉得直接看pom文件比较好)

1.8
4.12
UTF-8
UTF-8
4.3.1.RELEASE
2.8.11
5.1.38
1.0.29
1.10
1.3.2
1.8.3
1.10
2.4
1.5.6
2.8.4
7.0.0.0-25
2.2.1
1.6

主要是spring+mvc+beetlsql的整合使用,这里必须多说一句,beetlsql的确是非常的好用

 有商务意向  786348954

项目启动

  1. 下载项目
  1. 导入eclipse
  2. 等待maven下载完包
  3. 一直等到项目不报错了
  4. 导入数据库文件
  5. 配置数据库连接(resource目录下面)
  6. 扔到Tomcat里面进行启动

web kettle 数据采集_第1张图片

 web kettle 数据采集_第2张图片

 web kettle 数据采集_第3张图片web kettle 数据采集_第4张图片

 

 web kettle 数据采集_第5张图片

 

你可能感兴趣的:(big,data,大数据,数据仓库,etl)