1、kettle 7.0版本 连接 hive2，mysql

• kettle 介绍

 

Kettle是一个Java编写的ETL工具， Kettle可以简化数据仓库的创建，更新和维护，使用Kettle可以构建一套开源的ETL解决方案

Kettle是一个组件化的集成系统，包括如下几个主要部分：

1.Spoon：图形化界面工具(GUI方式)，Spoon允许你通过图形界面来设计Job和Transformation，可以保存为文件或者保存在数据库中。

也可以直接在Spoon图形化界面中运行Job和Transformation，

2.Pan：Transformation执行器(命令行方式)，Pan用于在终端执行Transformation，没有图形界面。

3.Kitchen：Job执行器(命令行方式)，Kitchen用于在终端执行Job，没有图形界面。

4.Carte：嵌入式Web服务，用于远程执行Job或Transformation，Kettle通过Carte建立集群。

5.Encr：Kettle用于字符串加密的命令行工具，如：对在Job或Transformation中定义的数据库连接参数进行加密

 

• kettle 连接 hive

 

kettle 7.1 中已经支持 hive连接，不用在添加 jar 包

修改 F:\工具文件\kettle\pdi-ce-7.0.0.0-25-1\data-integration\plugins\pentaho-big-data-plugin\plugin.properties 文件的

hdp24 来源于 “F:\工具文件\kettle\pdi-ce-7.0.0.0-25-1\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations”下的 hdp文件

      active.hadoop.configuration=hdp24

 

• kettle 连接 mysql

 

 

下载jar包：mysql-connector-java-5.1.15-bin.jar

放到Kettle安装目录下：D:\kettle\data-integration\lib

重启！

 

kettle 7.1 不支持 mysql 8 版本，只能使用 mysql 5 及 以下

使用 5.1.46 版本的驱动包

将 5.1.46的中的两个 驱动jar 复制到 \data-integration\lib 下，这样就可以获取到 表的所有字段