Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试

Windows环境安装

安装版本:7.1
基础环境:JDK1.8u144
下载路径:https://sourceforge.net/projects/pentaho/files/Data Integration/
解压缩即可使用,绿色无污染

SqlServer连接

下载路径http://www.microsoft.com/zh-cn/download/details.aspx?id=11774,解压缩后的jre8中,支持08/12/14/16版本的SQLSERVER。

下载完成后解压缩,将sqljdbc42.jar上传到KATTLE_HOME\lib\中。
此外,可以上传到自定义路径中方便其他项目对JDBC的 调用。也可以上传到JDK_HOME\jre\lib\ext\和JRE_HOME\lib\ext\中,以支持全局。

MySQL连接

下载地址:https://dev.mysql.com/downloads/connector/j/
亲测了一下8.0.15用不了,需要选Looking for previous GA versions,用老版5.1.47的。之后根据环境下载合适的即可。
解压缩后上传到 KATTLE_HOME\lib\中。

JVM设置

编辑KATTLE_HOME\Spoon.bat,第94行
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx1024m" "-XX:MaxPermSize=256m"
可以根据机器实际情况进行修改,一般Xms为系统物理内存的3/8, Xmx为1/2。Kettle比较吃内存, 可以调高一些,但别溢出影响效率。

Windows下的使用(操作测试服务器上的数据库)

双击KATTLE_HOME下的Spoon。
新建转换任务,并选择DB连接。
Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试_第1张图片
创建一个数据库连接(以61数据库buy为例)
Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试_第2张图片
就连接到SQLServer了。MySQL同理(JDBC系列都一样)

剩下的就可以随便玩了。

Windows环境下性能测试

系统环境

操作系统 Win10企业版64位
处理器 Core™i5-7400 3.0GZ双核
内存 16GB
硬盘 希捷ST1000DM003-1SB102机械硬盘7200转1TB
网络 以太网1.0 Gbps
单机/集群环境:单机。

测试时间

闲时

测试工具

Kettle7.1 8G堆内存

测试目标

newbuy2018数据库,201805表,全表读取并本地生成TXT文件

测试结果

输入 128,545,922条
输出 128,545,922条
用时 14min59s
速度 142941条/s

你可能感兴趣的:(ETL)