Kettle学习小结

Kettle学习小结
学习资料
官方文档： http://infocenter.pentaho.com
开发帮助文档：http://wiki.pentaho.com/
Bug报告地址： http://jira.pentaho.com/browse/PDI
官方论坛： http://forums.pentaho.org/forumdisplay.php?f=135
中文论坛： http://www.pentahochina.com
一、kettlle下载及安装 下载地址：点击
打开下载页面可以看到下面很多版本信息，选择你想要的版本下载解压就可以了（注意免安装依赖java环境）

image.png

二、部署系统的java环境

1. 

安装JDK，版本要在1.6及以上
在oracle官网上下载JDK，并安装（目前上42服务器上已安装，所以如下查看）

查看服务器上安装的JDK的版本信息
echo $JAVA_HOME

1. 

添加JDK的环境变量（目前上42服务器上已安装，所以如下查看）

1）查看服务器上安装的JDK的版本信息
echo $JAVA_HOME
2）查看系统环境变量中JAVA_HOME
vim /etc/profile
三、Kettle的安装部署（Linux环境下）
1、在Pentaho的官网下载Kettle
（下载Kettle的链接）（目前下载的最新的pdi-ce-6.1.0.1-196版）
http://community.pentaho.com/projects/data-integration/
http://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip
2、上传到路径：/opt/kettle文件夹中：并解压缩该文件unzip pdi-ce-6.1.0.1-196.zip
3、执行kitchen.sh命令
cd /opt/kettle/data-integration
执行：kitchen.sh命令，如下图示，说明Kettle部署完成。
四、资料库的创建
1、新建资料库
新建：Kettle Database Repository资料库
创建Kettle资料库的数据库链接，如下：（目前是将Kettle的资料库放在MySql中）
配置MySql JDBC连接：（kettle_rep是MySql中事先创建好的数据库（用来存放kettle的资料库信息））
（
Kettle连接MySql数据库时，必须将：MySql的jdbc驱动事先放在，kettle的lib目录/opt/kettle/data-integration/lib中，
否则会报错，如下：
）
2、创建资料库中的各种表，如下：自动创建：
如下示：已经创建了46张Kettle资料库的数据表：
输入：rep资料库的用户名：admin（默认），密码：admin
3、可修改：资料库用户的密码：
五、Spoon组件开发实例

1. 

Kettle连接Hive数据库

Kettle自带的hive jdbc驱动包：Hive中jar包存放的位置：
/opt/kettle/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp23/lib
如下：配置对应的hive数据库连接后，一直报错，如下示：
原因：
Kettle连接hive时一直报错，最终找到原因是：hadoop认证拒绝hive连接（即：hadoop不允许用户冒充hive角色进行连接访问），报错如下：
User: hadoop is not allowed to impersonate hive.
解决方案：
最终修复如下：在hadoop的安装目录下：cd /opt/hadoop/hadoop-2.7.2/etc/hadoop，找到core-site.xml （Hadoop核心配置项文件），添加如下配置：
这几个配置项的值都可以使用来表示允许所有的主机/用户组/用户

hadoop.proxyuser.hadoop.hosts



hadoop.proxyuser.hadoop.groups
*

最终，kettle连接hive成功，如下示：
2、资料库中各项配置
在如下路径下，找到文件：repositories.xml
/opt/kettle/data-integration/.kettle
vim repositories.xml打开，可以看到资料库的各种设置：如下：
和编辑资料库连接中的信息，一一对应；
3、转换中执行日志的设置
1）任意打开一个转换，右击：找到属性：Properties：如下示：
2）找到转换中：Logging位置：
创建数据库连接：目前使用MySql数据库连接（即：将转换执行的日志信息，放在MySql数据库中，kettle_log是已事前创建好的数据库，trans_log表是自动创建好的，用来存放转换的执行日志信息。
3）除了Transformation的日志外，也可以设置：Step，Performance，Logging channels，Metrics的日志，不过，目前暂时没有设置，因为只需要记录一些最关键的执行日志即可，否则如果添加的日志过多的话，会影响转换的运行速度。
4）在kettle_log.trans_log表中可以查看到对应的执行记录：
select * from kettle_log.trans_log t
order by t.logdate desc;
select * from kettle_log.trans_log t
where t.errors=1;--如果转换执行错误的话，kettle_log.trans_log中字段errors为1。

1. 

JOB的创建及定时

1）创建简单JOB，如下示：使用start组件和转换组件。
2）start组件中定时：双击start组件，如下设置定时任务：
3）运行JOB即可
六、Kitchen命令执行
cd /opt/kettle/data-integration

1. 

kitchen -version

1. 

kitchen –listrep

3、kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test
（用spoon组件创建好并定时的JOB，用kitchen命令执行：
kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test
如果JOB有定时后，执行该命令后，可一直按照指定的时间间隔来执行。）
七、开发中的坑（持续补充中）

1. hive中添加jar，解析日志，但是kettle连接hive数据源报错

问题描述：
hadoop hdfs上是原来info日志的不规则的数据，hive中添加jar（/opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar）来解析日志表数据，在hive命令行中，可正常执行；kettle连接hive时，可正常连接hive，但是解析对应的表时，一直报错。
最终解决方案：
在创建hive的数据库连接的时候，在高级中，添加：对应的解析程序的jar包。
如下示：在高级中添加jar：add /opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar
已经可以成功加载：对应hive连接下的数据库表字段。

有问题可以加： QQ群：452881901
版权归：kettle老者
转载来源：kettle老者