Kettle

kettle 的实用小功能

kettle除了作为ETL工具外，还有很多数据处理方面的实用功能，本文介绍几个实用的小功能。1.文件批量入库该功能可以将一个目录下的全部或部分文件加载到数据库中。
csdn0214·2020-09-17 15:39

kettle

第一次接触kettle这个，记录一下其实自己还是从网上参考别人的网址：https://blog.csdn.net/u010066934/article/details/77852368?
sunhs1024·2020-09-17 15:24

Oracle插入语句报错：ora-12034

最近在使用kettle进行数据迁移，但是在执行时发现一个目标表的子段的数据类型不符合，于是对这个字段进行了修改，之后执行转换的时候就出现了报错：ORA-12034:"KLAPP"."
sunhs1024·2020-09-17 14:12

Kettle 7.0 不更改本地JDK环境变量设置

本地环境是jdk1.7，运行Kettle7.0以上版本需要jdk1.8，这样很不方便，下面给Kettle7.0单独设置1.8环境。
常雪恨·2020-09-17 12:35

kettle 表输出每秒只有三十多条记录优化后测评

优化之前一个任务执行将近一个小时（处理20多万数据），目前只要不到两分钟，优化方式（经多方查询后测试）数据库连接选项添加如下三个属性（本地测试版本为kettle8.2，mysql5.7.30-log）useServerPrepStmts
yugong_·2020-09-17 06:08

oracle数据迁移到mysql

Kettle7.0实现oracle到mysql数据库迁移（批量全量导入）https://blog.csdn.net/j1231230/article/details/80525922Kettle增量数据导入
qq_40127822·2020-09-17 05:04

Kettle：Oracle多表格批量同步数据=》mysql

主要通过kettle变量，循环，字段名自动匹配，以及Oracle、mysql数据字典来实现。初步完成Oracle表格=》mysql的初始化同步，后续增加增量同步，DDL同步，异常处理操作。
cnm123456001·2020-09-17 04:40

Kettle通过Webservice获取天气信息

Kettle通过Webservice获取天气信息需求：通过kettle工具，通过webservice获取天气信息，写成xml格式文件。
cnm123456001·2020-09-17 04:07

kettle 教程（二）：常用输出（插入更新、表输出、执行 SQL 脚本）

上一篇文章，主要讲了kettle的原理、安装及简单的使用。其中用到了一种输出方式：插入更新。这篇文章，主要介绍下常用的输出方式：插入更新、表输出、执行SQL脚本。
yujunyi_·2020-09-16 23:21

kettle 教程（一）：简介及入门

介绍kettle是纯java开发，开源的ETL工具，用于数据库间的数据迁移。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本还可以二次开发。
ourLang·2020-09-16 23:00

关于kettle时间戳增量更新

之前看到的一篇文章Kettle实现数据实时增量同步，这位大佬提出了时间戳增量回滚同步的一种方式，我是根据这篇文章之上进行探索的。
爱吃辣条的猫·2020-09-16 23:54

kettle安装启动注意事项

最近在弄kettle，关于kettle的介绍不多赘述，简单说就是一个ETL工具，只不过NB一些，官网：http://community.pentaho.com/projects/data-integration
jameswangcnbj·2020-09-16 23:43

Kettle使用教程（一）

Kettle自己有三个主要组件：Spoon，Kitchen，Pan。
sb___itfk·2020-09-16 22:57

【KETTLE】Incorrect decimal value '' for column

atjava.lang.Thread.run(Thread.java:748)2019/11/2915:14:31-xj_all插入.0-Causedby:org.pentaho.di.core.exception.KettleDatabaseBatchException
violent_sunset·2020-09-16 18:57

ETL KETTLE 读取csv文件写入数据库

任务：将大量CSV文件写入数据库中；可以一张表一个csv文件输入，表输出；但是如果表文件太多，达到100多张表入库；那会写死人的；所以我们可以偷懒一下；采用配合kettlejava脚本代码；完成任务；场景
violent_sunset·2020-09-16 18:57

kettle 调用 show create table 出现乱码解决

背景：在做库表同步时候，很多时间我们需要：查看生产表结构，创建贴源表，导入初始化数据；...就创建贴源表：我们想实现KETTle工具自动调用：showcreatetabletbl_stu;然后执行这个建表语句
violent_sunset·2020-09-16 18:57

【kettle】【报错】required subelements 'user'

kettle使用jndi连接时候，测试连接时候无法连接到数据库；报错消息：Requiredsubelement'user'原因：jndi.properties配置文件错误；解决方案：找一个正确的jdbc.properties
violent_sunset·2020-09-16 18:25

Error occurred while trying to connect to the database-1

错误连接数据库[mine]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefound
星之擎·2020-09-16 17:26

【kettle】如何将上一步查询或解析出来的值作为下一步要执行的条件

1、在核心对象->转换->字段选择，选择字段选择后，编辑字段选择，其中字段名称即为传入下一步的条件，注意：该字段名称顺序会影响下一步的条件2、“？”号代表上一步传入的条件，第一个“？”代表上一步第一个字段名称，第二个“？”代表上一步第二个字段名称，依次类推。注意：如果有这样的验证操作，一定要加个count，如果不加，这条数据没有查询到，那么就不会往下执行了
爲爲·2020-09-16 16:06

ETL-kettle-Ftp 抓取文件下载到本地后移动源文件

ETL-kettle-Ftp抓取文件下载到本地后移动源文件例子:步骤一、首先定义例子将要用到的全局变量，如图:详情如下:1、ga_local_ip主机名称2、ga_local_dba_name数据库名称
栗子~~·2020-09-16 13:26

CentOS 7下安装kettle7.1

安装环境：CentOS7kettle版本：pdi-ce-7.1.0.0-12.zip需要JDK环境为1.8需要卸载自带JDK一、安装JDK1.8，我的路径是/usr/local下配置Java环境变量[root
gohodo·2020-09-16 09:26

kettle 中的判断组件

一、类似：检查web服务是否可用，该组件通常会产生一条正确的线和一条失败的线，用来执行成功和失败的下一个节点。
zxf_noimp·2020-09-16 08:03

idea中 maven项目已经引入jar在仓库中，但是class类中引用该jar包报错问题

**idea中maven项目已经引入jar在仓库中，但是class类中引用该jar包报错问题首先试了几个方法都不行，分别是：1.rebuild不起作用2.删除repository中的kettle-core
zdcabbq·2020-09-16 08:58

利用kettle的JS进行ETL数据校验(升级版)

无意中在网上看到一篇文章《利用kettle中的JS来完成ETL数据校验》，挺受启发的，觉得用JS来实现ETL的自动化校验，是个不错的思路。
smooth-z·2020-09-16 08:30

在Kettle里使用参照表进行数据校验（流查询实现）

参照表一个常见的用途就是做数据的查询和检验。提供一个输入字段，如果输入字段里的值没有匹配上，就给对应的数据行做一个错误标志。下面使用城市和邮政编码查询做个例子，演示如何使用计算器步骤和查询步骤来判断地址和邮政编码是否匹配。完整的转换如下图：首先，需要一些输入数据，本例使用了“自定义常量数据”步骤，并添加一些测试数据作为输入，如下图：第一个清洗步骤就是从邮政编码里提取数字，要使用计算器步骤。在计算器
仰望星空的我·2020-09-16 08:15

kettle针对于添加校验列

1、总体结构如图：再表输入的时候表中可以不存在【MD5这个字段】，但是要综合对表输入的全字段生成一个校验，判断是否存在数据变化本文例如【增加校验列】生成全字段的新的校验列MD5格式为Hexadeximal类型，作为MD5字段，然后生成表输出中的这个字段，当然也可以结合一下判断？或者其他的逻辑
我不成佛，佛奈我何·2020-09-16 07:52

Kettle 4.2 使用文件资源库

Kettle4.2的操作和3.2版本有些变化，界面稍有不同。
童年的天空·2020-09-16 06:50

在Windows7中设置kettle的定时任务

在Windows7中设置kettle的定时任务首先在kettle中配置定时任务：新建一个JOB(作业)，然后在“通用”里选择“START”，拖拽到编辑框内，双击进行编辑首先在kettle中配置定时任务：
低垂的风吹·2020-09-16 06:30

Kettle中使用JavaScrip调用jar包对文件内容进行MD5加密的操作方法

Kettle中使用JavaScript调用jar包对文件内容进行MD5加密.本文主要知识点：JavaScript调用jar包对文件内容进行MD5加密，返回加密md5值Kettle实现对文件内容的加密，返回加密
·2020-09-15 17:07

Kettle的使用分享~查询数据库表并保存到文件

测试Kettle连接数据库是否成功根据上一篇博客我们已经新建了一个数据库连接，并查询到t_user表的数据。
const_qiu·2020-09-15 17:56

转发：CKettle免费用户征集

CKettle是中国通服工业互联网(大数据)研究院自研的一款跨平台、跨行业、高效、稳定且易扩展的数据交换产品，专注于数据融通与价值挖掘。
杜仁栋·2020-09-15 13:53

Kettle入门与Java程序调用Kettle

PentahoDataIntegration(Kettle)是一个免费开源的基于Java的ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)工具，纯JAVA编写，
LinJingke·2020-09-15 13:45

【Kettle从零开始】第八弹之Kettle变量参数传递介绍

答：Kettle中参数大致可分为两类：一类是全局参数，一类是局部参数。2、参数如何定义？答：A：全局参数定义是通过当前用户下.kettle文件夹中的kettle.properties文件来定义。
RotKang·2020-09-15 12:33

Kettle中JavaScript变量&转换和作业常用的内置变量

：https://www.cnblogs.com/qinyl/p/12158638.html参考原文：https://www.jianshu.com/p/6d1b9ae16085在作业和转换参数中使用Kettle
大宇进阶之路·2020-09-15 12:59

Kettle资源库采用SQLserver数据库需要注意的点

Kettle开源ETL工具有着自己的元数据存储方式，可以分为两种1：File2：DB文件存储我这里就不多说了，下面说一下在用SQLserver2008R2作为资源库在创建的过程中遇到的问题KettleVersion
weixin_34267123·2020-09-15 12:45

ETL数据从sqlserver到mysql之间迁移

偶然之间发现了这一款工具ELK一、下载1、Kettle可以在http://kettle.pentaho.org/网站下载2、下载的文件是一个压缩包随便放在win下都可以解压后文件如下二、启动注意事项1、
weixin_30820077·2020-09-15 12:35

kettle踩坑大集合

trueoracle读取慢添加:在选项中添加defaultRowPrefetch，值设置为10000以上，具体是数据库情况而定图片.png2.使用连接池注意:使用连接池后,在第一次创建连接池后不会随着该kettle
毛于晏·2020-09-15 11:05

使用Kettle工具通过执行SQL脚本的形式来实现导入到MySQL数据库

该文章使用的是7.1的版本，可以直接到官网下载，这里就不多说了，如果不想去官网，可以在下面的网盘进行下载：链接：http://pan.baidu.com/s/1c4e8qi密码：22vu1.首先在输入里面把Excel拖出来2.在脚本里面把“执行SQL脚本”拖出来3.双击Excel输入，进去之后的配置如文件内容所示不知道为什么，图片上传失败了，我就把链接发给大家吧，大家可以去链接里面拿具体的操作说明
ZChao_Smile·2020-09-15 11:52

用navicat premium做数据库的转换迁移

由于公司的一个项目分支需要将oracle的表结构和数据迁移到mysql上，所以去百度了一些解决方案，有试过powerdesigner和kettle都不行，前者是出现了乱码并且迁移出来只有表结构没有数据，
qujie1234·2020-09-15 11:50

KETTLE整库迁移方案（SQL server迁移至Mysql，迁移过程自动创建表结构）

转自：https://blog.csdn.net/m0_37213323/article/details/72538816kettle零编程全库迁移（自动建表\数据\发邮件）:https://jingyan.baidu.com
beststone1·2020-09-15 11:48

kettle_04 从文件把数据导入到mysql数据库

任务：将波士顿房价的数据（housing.data)导入到MySQL数据库。housing.data数据链接：https://pan.baidu.com/s/1kTHAesn9a7_1oL-c7saGKQ提取码：c3y5数据格式：每一行的宽度固定，1、创建数据表（housing)弹出窗口在窗口中编辑以下mysql语句，创建housing表。createtablehousing(CRIMfloat,
qq_31514193·2020-09-15 11:26

Kettle，"Job"中设置变量并在"转换"中使用。

我使用的Kettle工具版本是7.1.如下图1、图2所示，是本篇博客需要讲解的Job、转换。
_明月·2020-09-15 10:14

Kettle javaScript脚本的使用

1.writeToLog函数向日志文件中写入logMessage常用方式writeToLog(logMessage)、writeToLog(logType,logMessage)日志种类分为5中d-Debugl-Detailede-Errorm-Minimalr-RowLevel例如：writeToLog("e","结果集集合大小为："+9)；
吉米_sir·2020-09-15 10:13

使用Kettle将SQL Server数据批量导入到MySql

一、输入》表输入添加SqlServer要导入的数据源1）、导入SqlServer的数据源注意跟导出的字段名一致2）、预览查看sql是否有问题二、输出》表输出添加MySql要导出数据源1）、配置数据源,添加导出目标表，2）、开始任务
夏木炎·2020-09-15 09:35

Kettle Job 使用 JavaScript 设置变量

Kettle实际使用中，会经常使用到一些动态变量，比如文件名使用当前时间，或者一些带有规则的字符串等等。而Kettle的常量步骤，可以设置一些固定的常量，灵活性有时候达不到实际需求。
catoop·2020-09-15 09:18

kettle 中文乱码问题

1、看数据库编码是否一致oracleselectuserenv('language')fromdualSIMPLIFIEDCHINESE_CHINA.AL32UTF8mysql不一致的自己去改2、设置连接字符串3、以上两步都可以先不看把这个勾去了就好了。不行再重复上两步
登山石·2020-09-15 04:12

kettle资源库类型介绍

介绍第二种方式，利用kettle中的资源库功能，把ktr文件统一存
Ray昱成·2020-09-15 01:52

kettle学习笔记（二）——kettle基本使用

Carte.bat:启动web服务，用于Kettle的远程运行或集群运行。
weixin_30500105·2020-09-15 01:33

Kettle CDC(增量的实现)---基于快照实现

原理:两个表格基于全表进行对比，产生标记位,(identical,new,changed,deleted），根据相应的标记位更新目标表1、整个转换如下图所示的元表和目标表使用的数据表结构如下：合并记录:过滤记录(使用<>identical更容易理解)数据同步:高级选项卡：
酷酷的糖先森·2020-09-15 01:16

kettle中ODS层往CDR层抽数据时主键出现乱码问题。

rawtohex(SYS_GUID())asROW_PK,--主键可用rawtohex()函数来解决此问题。此问题还会引发
qq_40447564·2020-09-15 01:23
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他