Kettle

【原】品味kettle--（二）XUL框架内幕

前话看了上篇文章，用源码从eclipse启动起来的kettle。相信你已经可以执行成功了，并且看到了软件的登录界面。没有设置什么密码啊，为什么要我输入用户名和密码呢？
renminzdb2·2020-08-22 15:47

kettle下载和使用

下载：https://jingyan.baidu.com/article/9f7e7ec0ee1c656f2915546d.html使用：https://blog.csdn.net/u013468915/article/details/82629260如果是插入：如果是更新：比如修改了name，参考连接：https://blog.csdn.net/w_t_y_y/article/details/9
嘿呀嘿呀 拔罗卜·2020-08-22 14:01

kettle国内镜像下载

kettle国内镜像下载7.1版本http://mirror.bit.edu.cn/pentaho/Data%20Integration/8.2版本http://mirror.bit.edu.cn/pentaho
嘿呀嘿呀 拔罗卜·2020-08-22 14:30

介绍Python的魔术方法 - Magic Method

本文编辑的思路借鉴自RafeKettler的这篇博客:AGuidetoPythonMagicMethods，并补充了一些代码示例
旺酱在路上·2020-08-22 09:21

kettle JVM内存设置---效果不明显

1、查看本地JVM内存大小JVM初始分配的内存由-Xms指定，默认是物理内存的1/64；JVM最大分配的内存由-Xmx指定，默认是物理内存的1/4。默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、-Xmx相等以避免在每次GC后调整堆的大小。可以利用JVM提供的-Xmn-Xms-Xmx等选项
黑暗料理界的扛把子·2020-08-22 04:37

kettle8.2 安装及常见问题

刚才写博客发现没有发过kettle安装的流程，这里写一下。
黑暗料理界的扛把子·2020-08-22 04:37

kettle学习——8.2版本的资源库配置变为灰色，且没有了Connect按钮

资源配置变为灰色的3种情况1）JDK版本不对，JDK需求为1.8版本2）IE浏览器未升级，IE浏览器版本需求为9及以上，且需要部分必备更新。必备更新文件百度网盘链接：https://pan.baidu.com/s/1eIf8bKi8De5jepJofoshPA提取码：mvwk3）repository.xml文件出现了乱码问题，解决方法：3.1、找到repositories.xml文件目录，我的是“
黑暗料理界的扛把子·2020-08-22 04:37

列转行与数据集连接在业务场景的组合应用

现在通过kettle的列转行和数据集连接实现这个功能制作流程图列转行组件的各部分代表意义列转行组件记录集连接（leftout）记录集连接如有疑问可咨询微信：c243126035
黑暗料理界的扛把子·2020-08-22 04:36

行列转换小工具

具体的实现方式：使用kettle的行专列组件进行转换1、转换步骤名称：步骤的名称，在单一的转换中，名称必须唯一。
黑暗料理界的扛把子·2020-08-22 04:36

kettle 十分钟百万数据迁移

现在需要对以往数据进行整合并进行数据迁移确定目标表数据源及数据量如下待迁移数据目标表与Z0_工单_整理备份的字段是一致的。为了方便后续操作（增删改查、数据迁移、增量备份）需要新增几个字段1、id作为主键，方便更新、删除等修改操作2、inserTime数据插入时间，记录更新频次3、updateTime时间戳，记录最近一次更改时间，方便后期数据迁移、增量备份4、source数据来源，方便后期数据溯源及
黑暗料理界的扛把子·2020-08-22 04:36

Kettle (3) - 连接 SAP Hana 数据库

PDI7.1在数据库连接中，没有提供SAPHana数据库的连接选项。需要先在操作系统中安装SAPHanaClient，然后将驱动程序拷贝到PDI安装目录/data-integration/lib文件夹下。驱动程序文件名为：ngdbc.jar。本次需要实现的目标：读取EMP_MASTER表中所有性别为Male的员工信息。完成后步骤和步骤连接如下：连接数据库数据库类型：Genericdatabase数
stone0823·2020-08-22 03:58

利用Python将数据库查询结果导出为EXCEL，CSV，TSV格式(性能比Kettle高接近1倍)

虽然可以用Kettle等ETL工具将数据库查询结果导出为EXCEL，CSV，TSV格式但是Kettle等ETL工具导出效率太慢，实测本人写的Python脚本导出效率快高出Kettle一倍importcx_Oracleimportosimportcsvimporttimeos.environ
robinson1988·2020-08-22 03:37

数据同步方案

文章目录同步概念一、Mysql设置主从数据库同步二、开源项目选择2.1Canal+Kafka2.2Canal+Otter2.3DataX三、软件选择3.1Kettle3.2TreeSoft同步概念同步分为
赖胖子的csdn·2020-08-22 00:54

kettle入门(五) 之kettle抽取gz格式文本详细案例

需求很简单，但是因为以前只用过文本输入做txt或者csv、excel，所以一时就想怎么先把gz格式解压出来，再用文本文件输入，首先想到了用kettle3自带的unzip功能如下图：结
果木·2020-08-21 23:48

KETTLE

文章目录kettle1.下载，安装，配置2.功能简介3.常用控件4.任务设置（JobSettings）kettle1.下载，安装，配置1.1官网下载下载完成后解压即可（若没有自带JDK，还需要安装JDK
夏光芒·2020-08-21 23:41

kettle加载到oracle之oracle批量加载-Oracle Bulk Loader

注：OracleBulkLoader组件其实用的就是OracleSQLLoader，可在windows和linux等环境使用。1.OracleSQLLoader使用简介SQLLoader是oracle的高速批量数据加载工具。这是一个非常有用的工具，可用于从多种平面文件格式向Oracle数据库中加载数据。SQLLDR可以在极短的时间内加载数量庞大的数据。SQLLoader具有很多功能，包括以下能力：
Dragon online·2020-08-21 22:55

Kettle-Spoon使用文档

2019独角兽企业重金招聘Python工程师标准>>>Spoon使用文档--GeneralAvailabilityRelease5.4.0.1-130中文版一．概念a)kjb文件称为‘作业’。完成ETL前期准备工作，如测试数据库连接，下载文件，获取配置等等。b)ktr文件称为‘转换’。完成ETL数据转换工作，如数据转换，数据校验，Insert/Update数据库等等。c)通常的用法是一个kjb，运
weixin_33967071·2020-08-21 22:46

kettle-CSV文件输入

转载于:https://www.cnblogs.com/LXL616/p/10836208.html
山清水秀iOS·2020-08-21 22:41

kettle案例-kettle分库分表导入数据

1.案例背景说明1.该项目为互联网电商项目,随着互联网金融业务的发展,订单量逐渐的增大;2.当前订单总量为20000万3.当前当前订单表为10张(ebiz_third_order),分表分别为ebiz_third_order_0ebiz_third_order_1ebiz_third_order_2ebiz_third_order_3ebiz_third_order_4ebiz_third_ord
东山富哥·2020-08-21 21:57

Kettle(6.0) 参数方式连接数据库

数据库连接条件(视自己实际情况而定)数据库:Oracle主机名称(IP)：localhost或127.0.0.1数据库名称(SID)：MYORCL端口号：1521用户名：scott密码：tiger连接名称(随意)：DB_ORA连接类型：Oracle连接方式：Native(JDBC)填好后，点击测试，OK成功了。这就是最常用的连接方式。一、在转换中设置1.首先选择一个表输入和DUMMY节点，连接在一
aperfels·2020-08-21 21:11

Data Integration - Kettle 6.0下载安装

曾经用过kettle4.0版本，感觉挺简单的，组合各种模块就可以，不过自己只会简单的导入和导出。不过现在已经到6.x了，喜新厌旧，所以下载下来用用看。
aperfels·2020-08-21 21:37

Kettle（PDI）的坑，有点大

网络上有不少Kettle的文章，但实际上都大同小异，都是些非常基础的文章，实际上在使用过程中还有遇到不少的坑，这部分在网上资料比较少，这里主要讲一下我们在使用过程中遇到的各种问题，属于难得的实践经验。
阿源·2020-08-21 21:11

Kettle (1) - 读取 CSV 文件

Kettle是一款采用纯Java实现的开源ETL工具，属于开源商务智能软件Pentaho的一个重要组成部分。
stone0823·2020-08-21 21:05

Kettle CsvInput--filterRows--FiltOutput

在图形化界面中：Csv文件读入--记录过滤--Csv输出过程在java后台实现：csvInputpublicclassCsvInput{privateStringfilePath;//获取表头注入privateString[]headers;//获取每一列注入privateListbody;publicListgetBody(){returnbody;}publicvoidsetBody(List
qq_35152018·2020-08-21 20:29

kettle连接gbase数据库

背景：kettle作为一个高效的数据抽取工具，工作中经常用来抽取数据，自带一些mysql、oracle的连接就不说了，作为一个纯java的软件，连接gbase，依赖一个gbase的连接驱动就好了。
wen0220·2020-08-21 20:50

kettle案例一抽取gz格式文本内容保存到mongodb

Kettle常用三大家族：Spoon、Pan、Kitchen。Spoon:通过图形界面方式设计、运行、调试Job与Transformation。
张小凡vip·2020-08-21 20:36

kettle从数据库导出到csv文件注意事项

导出的csv文件获取字段时，若是string类型，那么字段长度要么清空，要么点下面的获取最小宽度，否则若是采用原默认宽度会报错
drbing·2020-08-21 19:56

kettle 实用小功能（二），读取一个目录下文本文件的内容

kettle的实用小功能中介绍了如何批量读取二进制文件的内容，这里说一下批量读取文本文件的方法。第一步也是使用GetFileNames步骤，根据正则表达式来获取一个路径下所有指定的文件名。
csdn0214·2020-08-21 18:21

使用Kettle进行数据迁移（ETL）

由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的ETL工具来解决。某日，技术经理让我找一个满足我们项目数据迁移需求的稳定、高效ETL工具。google
abcdefg367·2020-08-21 18:04

开源ETL工具kettle--数据迁移

背景由于项目的需求，需要将数据从Oracle迁移到MSSQL，不是简单的数据复制，而是表结构和字段名都不一样，甚至需要处理编码规范不一致的情况，如下图所示注意：Oracle和MSSQL中的同名表的字段名是不相同的如果要是采用手工SQL语句操作的话会很麻烦，需要考虑Oracle和MSSQLSQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题而这些问题
abcdefg367·2020-08-21 18:04

Kettle CSV File Input 中文

背景由于前段时间在学习Kettle的相关知识，在网络上搜寻很久都没有收到有关Kettle的相关中文文档，在学习的过程中看英文文档花费了很多时间。
@子华·2020-08-21 17:01

kettle支持kerberos认证的hive集群

Kettle对接指南1.1环境准备1.1.1Linux平台安装操作系统步骤1安装CentOS6.5Desktop。步骤1禁用防火墙，SELinux。
半_调_子·2020-08-21 17:33

kettle file 方式

sh/opt/cafe/data-integration/kitchen.sh-norep-file/opt/cafe/shell/ddshow-kettle/stat_new/lf_app/core_data_stat
wangqiaowqo·2020-08-21 17:03

【1】Kettle输入输出

输入最常用的输入便是表输入了。1.读取表数据，首先建立数据库连接。点击：文件-->新建→数据库连接填写相关信息，如下2.选择表输入3.双击表输入组件，填写相关信息。点击预览可查看sql执行结果输出输出可为文件、其他数据库，HDFS、HBase等输出文件4.填写文本文件输出组件的信息输出表中5.选择插入更新组件，选择要插入的表的连接信息输出为HDFS文件同文本文件输出，只不过需要指定Hadoop集群
JNSimba·2020-08-21 16:02

【Kettle】整合Hive进行操作

前言现在我们来讲讲kettle如何整合hive进行操作准备环境开启hiveserver2服务cd /export/servers/hive-1.1.0-cdh5.14.0nohupbin/hive--servicehiveserver2
没去过埃及的法老·2020-08-21 15:54

数据库迁移技术记录（四）--DbLink进行数据迁移

选用DBLink缘由：在数据库迁移中对于大数据文件使用kettle时其中包含mysql批量添加时
kay三石·2020-08-21 15:26

kettle7 连接Hive和Hbase配置

前一段时间使用kettle的时候需要连接Hive和Hbase，在网上搜的一些配置在都是kettle5或者6的，和kettle7不通用。所以自己搞了一个下午搞了出来，打个笔记记录一下。
gaoying_001·2020-08-21 15:43

kettle资源库备份

存储过程：在本地使用dblink连接远程表创建物化视图，根据物化视图创建表createorreplaceprocedurebackup_kettleAUTHIDCURRENT_USERascursortbl_curisselecttable_nameassrc_tablefromall_tables
川xc·2020-08-21 15:00

kettle案例八连接hive--抽取hive的数据保存excel

kettle案例七连接hive–抽取mongodb的数据保存到hive本章学习如何把数据从hive中导出来。
张小凡vip·2020-08-21 15:20

kettle 通过vfs上传FTP问题

KETTLE在转换中输出地址使用VFS上传LINUX的FTP，VFS与FTP交互默认的是主动模式，由于网络环境的原因，有时需要改为被动模式，但在KETTLE中如何配置呢？
onemy·2020-08-21 15:29

Data Integration (kettle) 7.0 连接Hive

步骤1.启动hiveServer2kettle是通过jdbc来连接hive的，而jdbc方式连接hive需要启动hiveServer2（thrift接口程序）,执行如下命令来启动hiveServer2.
仰望星空的我·2020-08-21 15:07

SpringBoot调用Kettle常见错误

场景：通过kettle工具制作表->文件导出的转换作业，由SpringBoot程序调用该产生的ktr文件错误：无法生成导出的文件CouldnotfindfilewithURI"..."
遇见小豆·2020-08-21 14:44

Kettle5连接Hive

1、先启动hadoop相关的服务./hadoop-daemon.shstartnamenode./hadoop-daemon.shstartdatanode./hadoop-daemon.shstartsecondarynamenode./yarn-daemon.shstartresourcemanager./yarn-daemon.shstartnodemanager2、配置hive配置jdk、
lql_h·2020-08-21 14:43

Kettle实践--从FTP上取文件，再放至另一个FTP上

如果想匹配所有以TRANS开头的文本文件，在kettle中要写成这样：TRANS_.*[0-9].txt。最后在windows操作系统中配置定时任务就可以定期执行该Job了。
haryyJim·2020-08-21 14:30

Unable to get VFS File object for filename 'file:///': Unknown scheme "sftp" in URI "{1}".

近期，项目里面使用到java，调用kettle，kjb文件中，使用绝对路径，调用没有问题，但是换了”${Internal.Job.Filename.Directory}&#
小芳123455·2020-08-21 12:04

Apache Hive+Kerberos安装配置及 Kettle访问带 Kerberos 认证的 Hive的集成

目录1连接2KDC安装2.1安装Kerberos服务2.2配置/var/kerberos/krb5kdc/kdc.conf2.3配置/var/kerberos/krb5kdc/kadm5.acl2.4配置/etc/krb5.conf2.5创建Kerberos数据库2.6创建Kerberos管理员账号2.7将Kerberos添加到自启动服务，并启动krb5kdc和kadmin服务2.8查看认证信息3
YoreYuan·2020-08-21 12:20

英语打卡day15

bristle短而硬的毛发desposal丢掉vice缺点primarily首要的distract.分心eliminate排除transparent透明的presumably大概的新词组pluginthekettle
轻甜小西·2020-08-21 12:47

运行Kettle中spoon.bat 闪退报错“a fatal exception has occurred.“

问题描述：可以保证java环境都配置完成了，kettle_path变量也配置完了，然鹅运行spoon.bat还是报错：查这个错，会有人告诉你说把spoon.bat里面的10242048改小一点，改成512
Seepen_L·2020-08-21 10:24

kettle 链接报错 Driver class ‘net.sourceforge.jtds.jdbc.Driver‘ could not be found

kettle链接报错如下，解决办法在下面错误连接数据库[本机]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefound
兔子喂了没·2020-08-21 09:41

01-kettle-di-7.1安装和基本配置

简介kettle构成spoon:运行界面kitchen:运行.kjb文件[任务]pan:运行.ktr文件[转换]下载并解压di7.1官网下载解压：unzippdi-ce-7.1.0.0-12.zip安装驱动
gaoxiaobobo·2020-08-21 05:27
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他