——Kettle

kettle——入门操作(文本文件输入流)

文本文件有文件、内容、错误处理、过滤、字段和Additionaloutputfields等几个页签，主要说一下内容和过滤两个页签。内容，如下1）文件类型，保持默认csv即可2）分隔符：指的是文本文件每个字段间的分区标志，如下不可见分隔符的输入方法：$[01]3）文本限定符：当文本字段中有分隔符作为字段内容一部分的时候就需要文本限定符了，如下使用方法如下：结果如下4）逃逸字符：针对文本限定符而言，当
weixin_30344995·2020-09-13 03:55

使用kettle将文本文件中的数据导入数据库

1.准备好如下数据(以|键分割)JY01011604280016|JY010116042800160019|1|1|2017-04-27|1000000.00|121666.66|1000000.00|121666.66||01|JY01011604280022|JY010116042800220025|1|1|2017-04-27|1000000.00|121666.66|1000000.00|
大海深处的星星·2020-09-13 03:54

1.3 Kettle从web抽取数据

一.基于文本文件的web客户端抽取由于kettle使用了ApacheVFS系统,VFS系统可以像处理文本文件一样处理http文件，所以在‘文本文件输入’步骤中可以直接将URL作为文件名：二.HTTP客户端使用
Chris-Chang·2020-09-13 02:15

KETTLE将txt文本文件加载入库

KETTLE将txt文本数据加载入库例如我要将D:\TEST1.txt文件入库到ADM.TEST1的表中1.新建转换1.1打开【文件】->【新建】->【转换】1.2转换中添加【文本文件输入】和【表输出】
babbling·2020-09-13 02:33

Linux安装kettle

1、上传下载好的安装包2、创建kettle和组和用户，并使kettle用户属于kettle组，给kettle设置密码[root@localhost~]#groupaddkettle[root@localhost
＊魔力＊·2020-09-12 14:06

KETTLE 表输入 中文乱码问题

最近研究KETTLE表输入中文乱码网上查看别人的博客都是一样搞了好久原来utf8不识别改成UTF-8就行了草！！！！
邢小白·2020-09-12 14:39

数据库迁移工具Kettle连接Mysql数据库报错：Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the解决

报错信息：错误连接数据库[test]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'org.gjt.mm.mysql.Driver'couldnotbefound
非著名运维·2020-09-12 11:11

企业实战（20）ETL数据库迁移工具Kettle的安装配置详解

介绍： Kettle简介：Kettle是PDI以前的名称，PDI的全称是PentahoDataIntegeration，Kettle本意是水壶的意思，表达了数据流的含义。
非著名运维·2020-09-12 11:11

shell脚本定时同步远程数据库数据

两个数据库之间同步数据有很多种方式，基于binlog解析、基于kettle处理、亦或者基于mysqldump处理。
想要追着光·2020-09-12 08:04

使用Kettle 对记录排序并取前面n条记录的方法

2.1:测试数据准备工作--创建表CREATETABLE`tmallorder`(`datekey`INT(11)NOTNULL,--日期`storename`VARCHAR(50)CHARACTERSETutf8COLLATEutf8_binDEFAULTNULL,--店铺名称`goodsname`VARCHAR(50)CHARACTERSETutf8COLLATEutf8_binDEFAULT
gladmustang·2020-09-12 06:37

Kettle 5.2中JavaScript代码插件的用法

Kettle中的JavaScript代码插件使用了JDK1.6中对脚本语言的支持功能（ScriptingAPI），Sun的JDK6实现包含了一个基于MozillaRhino的脚本语言引擎，支持JavaScript
gladmustang·2020-09-12 06:37

Kettle的循环遍历

在ETL的工具Kettle中使用了循环遍历的一个案例，这个类似Java的for循环遍历一样。
行走的思想者·2020-09-12 04:44

kettle教程---kettle作业调度，根据更新时间增量更新

本文接上一篇，只写到读取日志。在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)本文中会用到作业，先来熟悉下作业的概念简单地说，一个转换就是一个ETL的过程，而作业则是多个转换、作业的集合，在作业中可以对转换或作业进行调度实际情况中，每次抽取完毕，会写入日志表，记录本次抽取时间，下次抽取会根据本次抽取的成功时间，开始获取数据进行抽取。我们可以使用
kettle教程学习·2020-09-12 04:52

Kettle安装教程 数据库连接配置 资源库配置

Kettle安装教程一.资源下载信息1.Kettle最新版下载地址:https://community.hitachivantara.com/docs/DOC-10098552.JDK1.8以上下载地址
纠结炮·2020-09-12 03:04

ETL高级教程

ETL高级教程在昨天的帖子里面，我介绍了一些ETL初级的东西，不知道大家是否已经掌握，我现在介绍一些Kettle应用中，比较有帮助的一些地方。1，Kettle跨平台使用。
shenxiangl·2020-09-12 03:43

kettle job在Linux上的执行

JDK安装修改kettle用户主目录下的.bash_profile文件：exportJAVA_HOME=/usr/java/jdk1.8.0_181exportCLASSPATH=.
PatientAlone·2020-09-12 03:32

KETTLE实现循环批量多表抽取添加字段

场景：将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL).不废话直接发方法一1.总架构新建作业2.获取表的数量这步用到表输入和复制记录到结果字符串组件,其他可以获取表的组件也可以自由发挥
帝轻·2020-09-12 03:37

Kettle8.2安装部署

1、下载Kettle8.2安装包下载地址：http://kettle.pentaho.org/打开下载地址后下滑到图片位置，点击下载。2、解压安装包解压下载的安装包，启动程序为Spoon.bat。
影子长安·2020-09-12 03:12

Kettle不支持SybaseIQ做为表输入

今天发现KETTLE不支持SybaseIQ做为表输入,这样使我原来想利用它来实现SybaseIQ的ETL工作中断.还有通过文件的方式导数据到SybaseIQ中,效率非常慢,都不知上T级的数据如何处理?
iteye_7220·2020-09-12 02:24

Linux Kettle 定时执行远程资源库 job

硬件：一台MacPro（A），两台Ubuntu服务器（B和C）角色分配：A：在我的MacPro上使用KettleUI客户端设计调试转换和作业，调试完成后保存到远程资源库（在B上使用MySQL数据库来保存
afunyusong·2020-09-12 02:16

Kettle8.2 linux执行保存在资源库中job

/kitchen.sh-file=/tmp/kettle/workspace/job/月卡.kjb>>/tmp/kettle/workspace/log/kettlejob.log.
纱布1213·2020-09-12 02:20

Kettle8.2日期增量循环执行trans

整个job如图所示，现要求按日期统计历史每日数据先设置变量计算20190625到20190701之间的数据设置初次循环变量值sys2和sys3设置循环结束的条件loopdate和sys就是需要统计的日期区间，注意转换成number然后执行第一次转换任务然后设置循环日期变量从20190625到20190701每天统计把循环变量设置为环境变量替换初始值结束，此处日期直接用的sql中的方法，也可以使用j
纱布1213·2020-09-12 02:20

ORA-01722: 无效数字Kettle插入Oracle报错

如图，表输入插入更新到Oracle，这是由于Oracle目标字段为数字而数据流（表输入）对应字段含有字符串的情况解决：如图将字符串转为数字即可，我这里源端是Mysql，其他数据库可以自行调整转换。
jinli1771·2020-09-11 17:05

使用kettle将Oracle数据同步到mysql调优

useServerPrepStmts:如果服务器支持，是否使用服务器端预处理语句默认值为“true”调整为“false”rewriteBatchedStatements是否批量执行（对于insert，驱动则会把多条sql语句重写成一条风格很酷的sql语句，然后再发出去。官方文档说，这种insert写法可以提高性能【对delete和update，驱动所做的事就是把多条sql语句累积起来再一次性发出去
Z·y.freiheit·2020-09-11 16:32

Eclipse运行开源代码kettle8.3.0.0.0-371

公司需要用到kettle8.3.0.0.0-371，但是并不需要其界面。
猫苘·2020-09-11 15:12

数据仓库-元数据浅析

比如：以大数据数仓常见的架构为例：源数据通常通过ETL工具如kettle或canal或其他工具将数据抽到大数据平台中，存储在hdfs上，再经过数据分析(经典数仓按照ods->dwd->dws->ads)
anickname·2020-09-11 14:05

kettle-如何在作业job中使用JavaScript脚本

如何在作业job中使用JavaScript脚本描述(Description)使用JavaScript作业条目来计算布尔表达式。结果可用于确定下一步将要执行的步骤。您可以使用函数，过程调用，“与”，“与”号，“或”，“等式”等。Javascript作业条目会评估并返回true或false。评估(Evaluation)JavaScript作业条目的结果为true或false。换句话说，它需要以布尔表达
huryer·2020-09-11 14:01

Can‘t run transformation due to plugin missing、错误初始化步骤[MongoDB]、初始化不完全，有缺陷

liunx执行kettle转换：报错sh执行脚本#!
奋斗小牛·2020-09-11 13:49

kettle报错couldn't convert string [1970-01-01 00:00:00] to a date using format [yyyy/MM/dd HH:mm:ss.SS

报错的主要内容如下，意思很清楚，就是不能报那个日期字符串转化成日期，可是，很明显，格式是正确的2020/04/1015:12:12-插入/更新.0-ERROR(version8.2.0.0-342,build8.2.0.0-342from2018-11-1410.30.55bybuildguy):Errorinstep,askingeveryonetostopbecauseof:2020/04/1
沐瑶家咸鱼·2020-09-11 10:57

impdp导入时ORA-39125

背景：最近在搞数据迁移，从A库的U1用户迁移到B库的U2用户，用了开源的kettle配合数据泵，测试时都没什么问题，但是真正上线了，居然当天凌晨卡死在那边。
yangchen8497·2020-09-11 06:21

Kettle构建Hadoop ETL实践（三）：Kettle对Hadoop的支持

目录一、Hadoop相关的步骤与作业项二、连接Hadoop1.连接Hadoop集群（1）开始前准备（2）配置步骤2.连接Hive3.连接Impala4.建立MySQL数据库连接三、导入导出Hadoop集群数据1.向HDFS导入数据2.向Hive导入数据3.从HDFS抽取数据到MySQL4.从Hive抽取数据到MySQL四、执行HiveQL语句五、执行MapReduce1.生成聚合数据集（1）准备文
wzy0623·2020-09-11 06:37

Kettle构建Hadoop ETL实践（四）：建立ETL示例模型

销售订单数据仓库模型设计二、HIVE相关配置1.选择文件格式2.选择表类型3.支持行级更新4.Hive事务支持的限制三、建立数据库表1.源数据库表2.RDS库表3.TDS库表四、装载日期维度数据五、小节从本篇开始，介绍使用Kettle
wzy0623·2020-09-11 06:37

Kettle构建Hadoop ETL实践（二）：安装与配置

安装1.安装环境（1）选择操作系统（2）安装规划2.安装前准备（1）安装Java环境（2）安装GNOMEDesktop图形界面（3）安装配置VNC远程控制（4）在客户端安装vncviewer3.安装运行Kettle
wzy0623·2020-09-11 06:36

Kettle_Day3_时间戳增量同步

该方法适用场景：表中有一列记录该条字段最新修改时间的时间戳列。核心思想：用一张表记录上次抽取的时间(初始时间2000-01-01)，然后每次从源表接着上次的时间抽取数据到目标表。一.前期准备分表创建两张表#创建源表CREATETABLE`im_message`(`id`intNOTNULLAUTO_INCREMENT,`sender`varchar(45)COLLATEutf8_binNOTNUL
woailyoo0000·2020-09-11 05:37

Kettle_Day2_自定义变量

输出变量的值拖一个获取变量组件按Delte删除不要的环境变量2.动态增加变量我们先试下在转换中设置变量，作业中也是可以使用的，我们后面再说测试流程是这样的，我们再表输入中，有2个时间参数，然后作为变量3.局部变量（命名参数）在kettle
woailyoo0000·2020-09-11 05:37

kettle_Day4_Hop的作用

1.什么是Hop在我们前面，使用Kettle过程中，控件与控件之间的连线，这里，我们详细介绍下它，它在Kettle中叫Hop（跳）。
woailyoo0000·2020-09-11 05:37

kettle常见问题解决

kettle常见问题解决参考文章：（1）kettle常见问题解决（2）https://www.cnblogs.com/jifeng/p/4741498.html备忘一下。
wangchaoqi1985·2020-09-11 04:26

kettle转换中使用javascript例子整理（1）

这些例子在（\data-integration\samples\transformations目录下）1JavaScript-Accessdatabaseconnectionmetadata.ktr（访问数据库连接）vardb=_step_.getTransMeta().findDatabase("db_mysql_etltest_repository_4.2");//db_mysql_etlte
不知不觉地·2020-09-11 02:00

etl工具，kettle实现循环

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
li72li72·2020-09-11 01:36

Kettle学习笔记011之使用Windows计划任务定时执行Kettle作业

使用Windows计划任务执行Kettle作业，需要分两步：a.编写一个批处理脚本。脚本中写着执行Kettle作业的内容。b.创建一个计划任务。
HNDX2018·2020-09-10 23:45

使用Quartz定时执行带参数的job(任务)

首先看job，那么要想传递参数就要先明白kettlejob里面三个参数位置参数命名参数变量都代表什么意思。
来自北方的艾先森·2020-09-10 23:34

kettle于javascript步骤错误处理

javascript步骤错误处理假设你熟悉kettle误差特性转换。你可能想知道javascript步骤如何使用。
weixin_33675507·2020-09-10 19:56

安装篇-MySQL8+Hive3.1.2安装分享

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
ITCoder91·2020-08-28 16:38

Connection timed out: no futher infomation

问题  客户现场使用公司的kettle工具往hadoop写数据时报错：  Connectiontimedout:nofutherinfomation报错截图原因分析  使用debug模式运行，后台日志中打印了将数据写入
遛猫达人·2020-08-26 15:26

开源ETL工具kettle系列之增量更新设计

ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert/Update步骤，Delete步骤和DatabaseLookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的
大侠爱吃大虾·2020-08-26 14:07

Spark作为ETL工具与SequoiaDB的结合应用

常见的ETL工具有OracleDataIntegrator、InformaticaPowerCenter、DataStage、Kettle、DataSprider等。
SequoiaDBOfficial·2020-08-26 11:35

kettle连接数据库问题

既然已经讲了怎么解决启动不了问题了，下面就简单的说一下数据库连接问题吧，数据库连接不上的原因1.在解压完kettle后连接数据库报错报的databaseconnection的错还有就是jdbcdriver
ItLoong·2020-08-26 11:05

Kettle的简单入门实战

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
wrkd35·2020-08-26 08:37

kettle实战

实战1目的同步两个表stu,stu21.文件—转换2.输入—表输入数据库连接jar包2.输出按住shift连接，编辑映射选择是否更新每次转换前都要保存3.启动转换实战2目的：表中添加一行数据start转换dummy什么都不做连接排序筛选等过滤
dirac(狄拉克)·2020-08-26 08:35

Java实现Oracle到MySQL的表迁移

最近在做有关项目的时候，由于服务器数据库被其他人算法读取，导致我读取的时候很慢，于是乎打算将自己需要的表导入到本地的mysql数据库进行处理，刚开始当然是不想写代码，尝试用kettle实现表迁移，但是无奈数据量较大
承诺不过儿戏·2020-08-26 07:06
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他