【ETL】Kettle Spoon发送Get请求

Kettle Spoon简介
        ETL(Extract-Transform-Load的缩写,即抽取、转换、装载的过程),在项目的开发过程中经常会对接第三方公司提供的数据接口,需要把接口请求到的数据入库。ETL能够做数据抽取、质量检测、数据清洗、数据转换等工作,使用这个工具能够大大的减少开发的工作量。
        Kettle中有两种脚本文件,transformation(转换,以ktr结尾);job(任务,以kjb结尾)。比如我们需要对接第三方提供的REST接口,我们可以使用transformation发送get请求,请求到数据进行简单处理转换,然后插入到数据库当中。假如这个接口是实时更新数据,5分钟请求一次,那我们就要用到job这个脚本。我们可以把transformation加入到job中,设置job定时执行。

官网 :http://kettle.pentaho.org/ 
下载的最新版本的kettle是:pdi-ce-7.1.0.0-12

示例:发送Get请求,接收数据写入文件

接口返回数据如下所示:

【ETL】Kettle Spoon发送Get请求_第1张图片

第一步:新建转换

【ETL】Kettle Spoon发送Get请求_第2张图片

第二步:添加自定义常亮数据

【ETL】Kettle Spoon发送Get请求_第3张图片

 添加变量urlStr,这个变量是Get接口的地址,将参数传递给下一步操作

【ETL】Kettle Spoon发送Get请求_第4张图片

【ETL】Kettle Spoon发送Get请求_第5张图片

 第三步:添加查询组件Rest Client

【ETL】Kettle Spoon发送Get请求_第6张图片

【ETL】Kettle Spoon发送Get请求_第7张图片

 第四步:添加文本文件输出

【ETL】Kettle Spoon发送Get请求_第8张图片

【ETL】Kettle Spoon发送Get请求_第9张图片

【ETL】Kettle Spoon发送Get请求_第10张图片

第五步:运行

【ETL】Kettle Spoon发送Get请求_第11张图片 【ETL】Kettle Spoon发送Get请求_第12张图片

此示例很简单,算是抛砖引玉。大家可以先从简单入手,逐渐得心应手。

参考文章:https://blog.csdn.net/liaomin416100569/article/details/82798879

你可能感兴趣的:(中间件,ETL)