【ETL】系列三:Kettle Spoon数据库连接

这节主要说Kettle的数据库连接方式和常见问题的解决方案。

你可能会问,数据库连接有什么好说的?一看就会呀,为什么作为产品经理,需要将数据库连接作为一节单独说?

因为回忆起来也都是泪啊!!!!!!

【ETL】系列三:Kettle Spoon数据库连接_第1张图片
都是泪

说正经的,对于产品来说,Kettle的数据库连接方式还是有很多的借鉴意义的。

价值一:科普价值,不要被开发鄙视到尘埃里

你系统地知道有哪些类型的数据库么?你知道有几种数据库的连接方式么?你知道不同数据库类型的连接参数有哪些么?你知道如何更好地进行数据源管理么?

坦白说,在做TO C产品时,距离数据库比较远,自己也没有怎么实操过连接数据库去查看数据;在转到TO B产品时,每天都和数据打交道,数据库相关的知识不可缺少。

而kettle作为工具集,可以管理不同数据库的数据,以上的疑问,你都可以获得答案。

价值二:专业价值,为TO B 产品的数据库模块产品设计方式提供参考

数据处理工具,经常涉及到数据库管理,其中,数据库的添加/编辑/测试是基础功能,一般也有通用的设计规范。作为产品经理来说,kettle的设计也是值得借鉴的。

价值三:应用价值,熟练使用Kettle数据库连接方式提升工作效率

工具主要是提升效率,在工具类产品产品经理的日常工作中,还需要对业务方进行产品的培训,使用Kettle工具更高效地进行操作,是工具使用业务方需要掌握的,也是产品需要同步到位的。

言归正传,下文将介绍从Kettle Spoon客户端的数据库连接方式、关于全局数据源和局部数据源、可能出现的问题和解决方案等模块进行介绍。

一、Kettle Spoon客户端的数据库连接方式

打开Kettle Spoon,可以在【文件】-【数据库连接】、【DB连接】等入口进行数据库的连接。    

【ETL】系列三:Kettle Spoon数据库连接_第2张图片
数据库连接入口示例1


【ETL】系列三:Kettle Spoon数据库连接_第3张图片
数据库连接入口示例2

在数据库连接界面,我们可以看到创建数据源时需要配置相应的参数,这块主要根据数据库类型进行相应的配置。可是有2种方式来获取数据库。

方式一:数据库表连接信息固定值输入

一般情况下,会选择【一般】,输入【连接名称】,选择【连接类型】如MySQL,连接方式默认为【Native(JDBC)】,不同的连接类型需要配置的具体参数略有不同。

【ETL】系列三:Kettle Spoon数据库连接_第4张图片
数据库连接界面

填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

【ETL】系列三:Kettle Spoon数据库连接_第5张图片
数据库连接测试成功

方式二:数据库表连接信息变量值选择

kettle中如果输入框末尾出现$符号标识说明此处可以使用变量参数来定义,数据库连接的主机名称、数据库名称、端口号、用户名、密码等配置信息即可选择变量值。

变量值的选择需要进行如下步骤:

1、在安装目录下找到“.kettle”文件夹,找到kettle.properties文件;

【ETL】系列三:Kettle Spoon数据库连接_第6张图片
Kettle.properties文件


2、使用编辑器打开kettle.properties文件,在文件底部添加新的数据库连接信息后保存文件。

变量信息示例:

kettle_mysql_host=10.11.255.60

kettle_mysql_port=63306

kettle_mysql_database=kett***

kettle_mysql_username=root

kettle_mysql_password=Encrypted************09409fe62d2b38cff

说明:

等号“=”左侧为变量名称,右侧为变量值。变量名称需要与已有的数据库连接中变量名称不同。

【ETL】系列三:Kettle Spoon数据库连接_第7张图片
Kettle.properties文件中数据库表变量信息示例


除了在“.kettle”文件夹下找到kettle.properties文件进行编辑之外,还可以在Spoon 的【编辑】-【编辑kettle.properties】进行编辑。

【ETL】系列三:Kettle Spoon数据库连接_第8张图片
Kettle Spoon客户端编辑入口
【ETL】系列三:Kettle Spoon数据库连接_第9张图片
编辑kettle.properties数据库表变量信息示例

注意:对于ETL运行过程中,数据库也是分环境的,可以根据不同的数据库环境下的连接信息,kettle.properties保存多份连接信息,方便切换环境进行数据库连接。

3、进入数据库连接界面,在输入框中添加存在于kettle.properties文件的变量名。

变量名必须事先在kettle.properties文件定义,可以通过以下2个操作来添加。

•   变量名输入,注意输入格式为“${变量名}”

•   变量名选择,使用CTRL-ALT-SPACE选择一个变量

选择变量的快捷键
【ETL】系列三:Kettle Spoon数据库连接_第10张图片
选择变量名

4、填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

【ETL】系列三:Kettle Spoon数据库连接_第11张图片
数据库连接测试成功

二、关于全局数据源和局部数据源

Kettle中对于数据源有作用域的定义,也就是说有局部数据源和全局数据源两种。

 从上文可以看到,在kettle.properties文件中定义好的数据库信息,可以作为全局数据源来使用,在后续的转化脚本和工作脚本可以使用数据库信息。

关于变量的配置,有2种,一种是永久性,一种是临时性,永久性是存在于用户名称下面的.kettle文件夹中的kettle.properties文件,适用于所有的转化文件和工作文件。

临时性的变量配置是属于某个配置的转换文件或工作文件。


【ETL】系列三:Kettle Spoon数据库连接_第12张图片
设置环境变量入口

点开后可以进行环境变量配置,如下图。

【ETL】系列三:Kettle Spoon数据库连接_第13张图片
设置环境变量

另外,数据库配置成功后默认情况下数据源作用域为局部数据源,也可以通过右击【DB连接】中的数据库名称进行【共享】操作,将该数据源变更为全局数据源。

【ETL】系列三:Kettle Spoon数据库连接_第14张图片
共享数据源界面

那如何查看数据源是否为全局数据?

有两种方式,一种是直接打开转化脚本或者作业脚本查看数据源,黑色粗体字为已共享的全局数据源;

另一种是直接打开当前用户下.kettle文件夹中的shared.xml文件是否有对应的数据源名称,如果有则表示是全局数据源名称。

【ETL】系列三:Kettle Spoon数据库连接_第15张图片
.kettle文件夹中的 shared.xml文件

三、数据库连接的可能出现的问题和解决方案

显示测试连接参数信息,如果连接错误则会显示JAVA连接错误信息,一般连接错误会是以下几种情况:

问题一:  缺少数据库驱动包

解决方案可以参考:Kettle连接MySQL数据库出现问题,连接不上

问题二:数据库无法正常访问

解决方案:检查数据库是否正常访问,正常访问后重试

问题三: 数据库连接参数配置错误

解决方案:检查数据库连接参数,注意空格等,密码不要直接快捷键粘贴,而是右键粘贴等

以上几种情况仅供参考。

四、kettle.properties变量未生效的原因

kettle.properties文件中的数据库变量名在界面上未出现,可能有如下几种情况:

问题一、.kettle文件夹中的kettle.properties文件不在C盘用户文件夹下,导致未读取到kettle.properties

解决方案:将.kettle文件夹复制一份到【C盘】-【用户】文件夹下

问题二:Spoon客户端开启中,没有获取到最新的kettle.properties信息

解决方案:重启spoon后,再打开。

以上是Kettle Spoon数据库连接的分享,虽然数据库连接不是很难,网上的教程也比较多,但是在实际操作过程中,还是会遇到问题,以上分享算是最新的总结吧,希望可以给你帮助。


参考文件:

1.【Kettle从零开始】第三弹之Kettle数据源连接配置

2.kettle环境变量的配置问题

3.[2019 ETL ] Kettle 8.2 怎么连数据库资源库

你可能感兴趣的:(【ETL】系列三:Kettle Spoon数据库连接)