kettle安装使用

下载kettile

安装kettle前必须要装了java,如果系统内存大于4G,最好装64位的
下载链接

解压之后

根目录下找到Spoon.bat文件,用编辑器打开,找到下面代码

PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"

-Xms:设置JVM初始内存
-Xmx:设置JVM最大可用内存
-XX:MaxPermSize:设置JVM最大允许分配内存,按需分配

总之这几个值越大,kettle处理数据的效率越高
但是 -Xmx必须小于等于系统内存的1/4,要不然会报错,其他两个选项不大于-Xmx
注意 当系统内存为4G时-Xmx不能大于1G,当系统内存为8G或更大时,java版本必须是64位的才能识别出来,此时-Xmx可以为2G或更高

运行

双击Spoon.bat即可,会显示如下界面
kettle安装使用_第1张图片

如果没有显示,则可以运行SpoonDebug.bat,生成的错误日志在SpoonDebug.txt中

连接数据库

连接数据库前必须要把对应的jdbc放入lib文件夹中

效率

kettle把数据从数据库迁移到hdfs时
把jvm空间设置高一些1024,2048,1024,效率要比sqoop高

你可能感兴趣的:(ETL)