Kettle

Linux Kettle 定时执行远程资源库 job

硬件：一台MacPro（A），两台Ubuntu服务器（B和C）角色分配：A：在我的MacPro上使用KettleUI客户端设计调试转换和作业，调试完成后保存到远程资源库（在B上使用MySQL数据库来保存
afunyusong·2020-09-12 02:16

Kettle8.2 linux执行保存在资源库中job

/kitchen.sh-file=/tmp/kettle/workspace/job/月卡.kjb>>/tmp/kettle/workspace/log/kettlejob.log.
纱布1213·2020-09-12 02:20

Kettle8.2日期增量循环执行trans

整个job如图所示，现要求按日期统计历史每日数据先设置变量计算20190625到20190701之间的数据设置初次循环变量值sys2和sys3设置循环结束的条件loopdate和sys就是需要统计的日期区间，注意转换成number然后执行第一次转换任务然后设置循环日期变量从20190625到20190701每天统计把循环变量设置为环境变量替换初始值结束，此处日期直接用的sql中的方法，也可以使用j
纱布1213·2020-09-12 02:20

ORA-01722: 无效数字Kettle插入Oracle报错

如图，表输入插入更新到Oracle，这是由于Oracle目标字段为数字而数据流（表输入）对应字段含有字符串的情况解决：如图将字符串转为数字即可，我这里源端是Mysql，其他数据库可以自行调整转换。
jinli1771·2020-09-11 17:05

使用kettle将Oracle数据同步到mysql调优

useServerPrepStmts:如果服务器支持，是否使用服务器端预处理语句默认值为“true”调整为“false”rewriteBatchedStatements是否批量执行（对于insert，驱动则会把多条sql语句重写成一条风格很酷的sql语句，然后再发出去。官方文档说，这种insert写法可以提高性能【对delete和update，驱动所做的事就是把多条sql语句累积起来再一次性发出去
Z·y.freiheit·2020-09-11 16:32

Eclipse运行开源代码kettle8.3.0.0.0-371

公司需要用到kettle8.3.0.0.0-371，但是并不需要其界面。
猫苘·2020-09-11 15:12

数据仓库-元数据浅析

比如：以大数据数仓常见的架构为例：源数据通常通过ETL工具如kettle或canal或其他工具将数据抽到大数据平台中，存储在hdfs上，再经过数据分析(经典数仓按照ods->dwd->dws->ads)
anickname·2020-09-11 14:05

kettle-如何在作业job中使用JavaScript脚本

如何在作业job中使用JavaScript脚本描述(Description)使用JavaScript作业条目来计算布尔表达式。结果可用于确定下一步将要执行的步骤。您可以使用函数，过程调用，“与”，“与”号，“或”，“等式”等。Javascript作业条目会评估并返回true或false。评估(Evaluation)JavaScript作业条目的结果为true或false。换句话说，它需要以布尔表达
huryer·2020-09-11 14:01

Can‘t run transformation due to plugin missing、错误初始化步骤[MongoDB]、初始化不完全，有缺陷

liunx执行kettle转换：报错sh执行脚本#!
奋斗小牛·2020-09-11 13:49

kettle报错couldn't convert string [1970-01-01 00:00:00] to a date using format [yyyy/MM/dd HH:mm:ss.SS

报错的主要内容如下，意思很清楚，就是不能报那个日期字符串转化成日期，可是，很明显，格式是正确的2020/04/1015:12:12-插入/更新.0-ERROR(version8.2.0.0-342,build8.2.0.0-342from2018-11-1410.30.55bybuildguy):Errorinstep,askingeveryonetostopbecauseof:2020/04/1
沐瑶家咸鱼·2020-09-11 10:57

impdp导入时ORA-39125

背景：最近在搞数据迁移，从A库的U1用户迁移到B库的U2用户，用了开源的kettle配合数据泵，测试时都没什么问题，但是真正上线了，居然当天凌晨卡死在那边。
yangchen8497·2020-09-11 06:21

Kettle构建Hadoop ETL实践（三）：Kettle对Hadoop的支持

目录一、Hadoop相关的步骤与作业项二、连接Hadoop1.连接Hadoop集群（1）开始前准备（2）配置步骤2.连接Hive3.连接Impala4.建立MySQL数据库连接三、导入导出Hadoop集群数据1.向HDFS导入数据2.向Hive导入数据3.从HDFS抽取数据到MySQL4.从Hive抽取数据到MySQL四、执行HiveQL语句五、执行MapReduce1.生成聚合数据集（1）准备文
wzy0623·2020-09-11 06:37

Kettle构建Hadoop ETL实践（四）：建立ETL示例模型

销售订单数据仓库模型设计二、HIVE相关配置1.选择文件格式2.选择表类型3.支持行级更新4.Hive事务支持的限制三、建立数据库表1.源数据库表2.RDS库表3.TDS库表四、装载日期维度数据五、小节从本篇开始，介绍使用Kettle
wzy0623·2020-09-11 06:37

Kettle构建Hadoop ETL实践（二）：安装与配置

安装1.安装环境（1）选择操作系统（2）安装规划2.安装前准备（1）安装Java环境（2）安装GNOMEDesktop图形界面（3）安装配置VNC远程控制（4）在客户端安装vncviewer3.安装运行Kettle
wzy0623·2020-09-11 06:36

Kettle_Day3_时间戳增量同步

该方法适用场景：表中有一列记录该条字段最新修改时间的时间戳列。核心思想：用一张表记录上次抽取的时间(初始时间2000-01-01)，然后每次从源表接着上次的时间抽取数据到目标表。一.前期准备分表创建两张表#创建源表CREATETABLE`im_message`(`id`intNOTNULLAUTO_INCREMENT,`sender`varchar(45)COLLATEutf8_binNOTNUL
woailyoo0000·2020-09-11 05:37

Kettle_Day2_自定义变量

输出变量的值拖一个获取变量组件按Delte删除不要的环境变量2.动态增加变量我们先试下在转换中设置变量，作业中也是可以使用的，我们后面再说测试流程是这样的，我们再表输入中，有2个时间参数，然后作为变量3.局部变量（命名参数）在kettle
woailyoo0000·2020-09-11 05:37

kettle_Day4_Hop的作用

1.什么是Hop在我们前面，使用Kettle过程中，控件与控件之间的连线，这里，我们详细介绍下它，它在Kettle中叫Hop（跳）。
woailyoo0000·2020-09-11 05:37

kettle常见问题解决

kettle常见问题解决参考文章：（1）kettle常见问题解决（2）https://www.cnblogs.com/jifeng/p/4741498.html备忘一下。
wangchaoqi1985·2020-09-11 04:26

kettle转换中使用javascript例子整理（1）

这些例子在（\data-integration\samples\transformations目录下）1JavaScript-Accessdatabaseconnectionmetadata.ktr（访问数据库连接）vardb=_step_.getTransMeta().findDatabase("db_mysql_etltest_repository_4.2");//db_mysql_etlte
不知不觉地·2020-09-11 02:00

etl工具，kettle实现循环

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
li72li72·2020-09-11 01:36

Kettle学习笔记011之使用Windows计划任务定时执行Kettle作业

使用Windows计划任务执行Kettle作业，需要分两步：a.编写一个批处理脚本。脚本中写着执行Kettle作业的内容。b.创建一个计划任务。
HNDX2018·2020-09-10 23:45

使用Quartz定时执行带参数的job(任务)

首先看job，那么要想传递参数就要先明白kettlejob里面三个参数位置参数命名参数变量都代表什么意思。
来自北方的艾先森·2020-09-10 23:34

kettle于javascript步骤错误处理

javascript步骤错误处理假设你熟悉kettle误差特性转换。你可能想知道javascript步骤如何使用。
weixin_33675507·2020-09-10 19:56

安装篇-MySQL8+Hive3.1.2安装分享

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
ITCoder91·2020-08-28 16:38

Connection timed out: no futher infomation

问题  客户现场使用公司的kettle工具往hadoop写数据时报错：  Connectiontimedout:nofutherinfomation报错截图原因分析  使用debug模式运行，后台日志中打印了将数据写入
遛猫达人·2020-08-26 15:26

开源ETL工具kettle系列之增量更新设计

ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert/Update步骤，Delete步骤和DatabaseLookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的
大侠爱吃大虾·2020-08-26 14:07

Spark作为ETL工具与SequoiaDB的结合应用

常见的ETL工具有OracleDataIntegrator、InformaticaPowerCenter、DataStage、Kettle、DataSprider等。
SequoiaDBOfficial·2020-08-26 11:35

kettle连接数据库问题

既然已经讲了怎么解决启动不了问题了，下面就简单的说一下数据库连接问题吧，数据库连接不上的原因1.在解压完kettle后连接数据库报错报的databaseconnection的错还有就是jdbcdriver
ItLoong·2020-08-26 11:05

Kettle的简单入门实战

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
wrkd35·2020-08-26 08:37

kettle实战

实战1目的同步两个表stu,stu21.文件—转换2.输入—表输入数据库连接jar包2.输出按住shift连接，编辑映射选择是否更新每次转换前都要保存3.启动转换实战2目的：表中添加一行数据start转换dummy什么都不做连接排序筛选等过滤
dirac(狄拉克)·2020-08-26 08:35

Java实现Oracle到MySQL的表迁移

最近在做有关项目的时候，由于服务器数据库被其他人算法读取，导致我读取的时候很慢，于是乎打算将自己需要的表导入到本地的mysql数据库进行处理，刚开始当然是不想写代码，尝试用kettle实现表迁移，但是无奈数据量较大
承诺不过儿戏·2020-08-26 07:06

使用kettle8.2同步mongo数据

实验目的：学习使用kettle8.2进行mongo数据库的同步方法安装kettle8.2参考网址Kettle（六）：centos7布署kettle8.2https://blog.csdn.net/u010886217
HiSQL·2020-08-26 07:09

Kettle的简单入门实战

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
wrkd35·2020-08-25 16:09

kettle入门(六) 之kettle抽取变量表名表

需求很简单，用kettle最常见的表输入和输出抽取即可，但是表输入的select语
果木·2020-08-25 09:41

kettle的命名参数接口NamedParams实现与Job命名参数的传递和使用实现

kettle执行Job流程时可以设置命名参数(Parameters)。
shy_snow·2020-08-25 09:15

kettle 8.2.0.0 百度网盘下载（已更新）

下载地址：链接:https://pan.baidu.com/s/1q_k-jD3TrWUEhvlEcZHoWQ密码:1omz包含内容：图片.png
卡戎li·2020-08-24 21:45

kettle3使用mysql5.6出现OPTION SQL_SELECT_LIMIT=1的问题

原因是好像是mysql5.6去掉了OPTIONSQL_SELECT_LIMIT可以下载新驱动替换kettle中原有的mysql驱动使用mysql-connector-java-5.1.23-bin.jar
yf.z·2020-08-24 18:25

【Kettle】Excel/MySQL多数据源文件解决方案

看完这章你会学习到以下内容:1.尤其在用Excel或者其他非数据库文件传入数据时候，如何做到数据类型同步？2.两张表的合并要添加那些字段作为辅助说明？2.1ETL时间，数据更新时间以及Source_data数据来源数据源一：Excel表格一共有以下几个字段数据源二：MySQL数据-srcsales数据库的sales_data表第一步：首先在目标数据库里建立目标表。因此，我们要在MySQL上面找到相
甘泽欣·2020-08-24 17:01

【Kettle】软件介绍与下载分享

看完这章你会学习到以下内容：Kettle常用功能和属性介绍下载链接Kettle的常用属性有以下四个勺子（Spoon):里面就包括工作JOB和转换Trans--最常用--锅子（Pan)：使用命令针对转换Trans
甘泽欣·2020-08-24 17:01

【Kettle】 安装后却无法连接数据库？

问题描述：接着当我们下载好Kettle后，发现连接数据库失败，提示说要下载JAR包?连接Oracle失败：如果已经通过PL/SQ工具连接Oracle数据，实现对数据库的日常管理。
甘泽欣·2020-08-24 17:00

【Kettle】表输入表输出 一个简单入门连接

Kettle作为连接数据库的ETL工具之一，这里简单介绍两个相互连接。
甘泽欣·2020-08-24 17:00

【Kettle】打开Spoon 出现闪退

看完这篇你会学习到以下内容：1.如何解决这个闪退？可能一：Java版本太低了，jdk1.6以上版本才行，具体的可以查看spoon.bat配置文件。可能二：Java环境配置对了，但是双击spoon.bat后一闪就没了，修改一下spoon.bat里内存配置，相当于减少最大参数内存：if"%PENTAHO_DI_JAVA_OPTIONS%"==""setPENTAHO_DI_JAVA_OPTIONS="
甘泽欣·2020-08-24 16:09

Kettle小白从零开始的开发历程（二）资源库的选择与创建

资源库的选择在成功打开你的Spoon客户端编辑工具后，首先你要确立一个地方用于保存你的工程文件，Kettle提供了三种资源库类型：数据库类型资源库(DatabaseRepository)、文件类型资源库
RayeWu·2020-08-24 15:11

Kettle小白从零开始的开发历程（一）客户端开发工具的安装与使用

下载本人用的是7.1版本的，每个版本之间的改动区别还是蛮大，有可能你搜的上版本还支持的功能可能你的这个版本就被移除，这也是Kettle的一个小坑，请慎重选择。附Kettle工具下载地址。
RayeWu·2020-08-24 15:55

Kettle小白从零开始的开发历程（一）客户端开发工具的安装与使用

下载本人用的是7.1版本的，每个版本之间的改动区别还是蛮大，有可能你搜的上版本还支持的功能可能你的这个版本就被移除，这也是Kettle的一个小坑，请慎重选择。附Kettle工具下载地址。
RayeWu·2020-08-24 15:54

kettle调用Access，提示驱动版本不符合

检查32位或者64位JDK，与Office的版本是否一致，64位JDK需要对应64位Office。如不对应修改JDK或者office版本，然后再创建OBDC数据源。
忘不掉禾风奶绿·2020-08-24 15:09

使用Kettle导入数据到ADB for PostgreSQL

摘要：文章介绍了使用Kettle将数据导入到AnalyticDBforPostgreSQL，包括使用表输出方式(INSERT)和批量加载方式(COPY)导入到AnalyticDBforPostgreSQL
阿里云云栖号·2020-08-24 15:24

kettle学习总结

kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
ifeng·2020-08-24 15:35

Kettle小白从零开始的开发历程<序章>

前言闲聊身为一名刚刚踏入程序员世界的小白，刚毕业进入公司的第一个项目便是负责ETL部分的开发也就是使用开源工具Kettle（我是Java后台方向的XD），本来就不指望给个小白分配什么重要的业务去做，又是纯图形界面的托拉拽开发
RayeWu·2020-08-24 15:02

Kettle小白从零开始的开发历程<序章>

前言闲聊身为一名刚刚踏入程序员世界的小白，刚毕业进入公司的第一个项目便是负责ETL部分的开发也就是使用开源工具Kettle（我是Java后台方向的XD），本来就不指望给个小白分配什么重要的业务去做，又是纯图形界面的托拉拽开发
RayeWu·2020-08-24 15:02
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他