Kettle

利用Kettle进行数据同步（下）

上篇介绍了基于kettle的数据同步工程的搭建，entrypoint.kjb就是整个工程执行的入口。
Eric·2020-08-24 14:57

hive读取ORC表，显示为NULL

我是用kettle导的数据，导入到hive里，但是在查询的时候显示为null，这是因为hive在读取ORC文件时，ORC的schema是区分大小写的，因此无法读到才显示的NULL，可以在到数据的时候把每个字段都加个别名
Joseph25·2020-08-24 13:31

kettle基本使用 01-输入步骤之 生成随机数

1.输入步骤概念1.输入类步骤主要是从外部获取数据;2.可以获取的数据源包含:文本文件(txt,csv,xml,json等格式),数据库,excel文件等桌面文件,自定义数据等;3.对特殊的数据源和应用需求可以自定义输入插件2.输入控件截图2.1.文件-新建-转换2.2.出现下面的图示输入栏下面是所有的输入类的控件2.3.输入类控件2.案例1-生成随机数2.1.点击”生成随机数”“控件,拖拽到右侧
东山富哥·2020-08-24 03:58

Kettle (4) - 跨数据库数据迁移

前面几篇都是做数据抽取，然后输出。本篇介绍如何利用PDI实现简单的数据迁移：将MySQL数据库sakila的film表的数据迁移到sqlite数据库中。先介绍批处理方法，然后介绍增量更新的方法。1.连接sqlite数据库PDI7.1内置了sqlite数据库的连接选项。数据库的驱动是lib文件夹下的sqlite-jdbc-3.xx.jar。连接可以用两种方法：方法一：点击Next按钮，设置JDBC:
stone0823·2020-08-24 02:08

ETL算法--拉链表算法以及Kettle工具实现

用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。看具体例子【转】OD(在第一天就等于HIS)用户标志状态开始时间结束时间1120071229990122200712299901332007122999014420071229990155200712299901ND用户标志状态开始时间结束时间12200801299901222008012999013420080
小海歌哥·2020-08-23 21:55

kettle_3添加数据库表字段

根据excel表数据字段中表名、字段名、字段类型、类型长度、小数长度，在数据库对应表中添加相应字段。1.excel表输入2.字段选择在“选择”菜单，选择表名、字段名、字段类型、类型长度、小数长度五个字段。image.png3.过滤记录过滤选择不同字段类型，输出到“执行sql脚本”步骤，过滤出“double”类型如下图所示。image.png4.执行SQL脚本根据“过滤记录”输出，不同字段类型，执行
reco171·2020-08-23 18:38

kettle用mysql创建资源库执行sql代码报错

【转】http://f.dataguru.cn/thread-454328-1-1.html一.原因：sql语句里边使用'Y''N'给boolean类型的赋值产生sql失败二.解决方法：将insert语句中‘Y’或‘N’改成TRUE或FALSE即可，共两张表3个地方（1）INSERTINTOR_VERSION(ID_VERSION,MAJOR_VERSION,MINOR_VERSION,UPGRA
a385528896·2020-08-23 15:54

Kettle实现数据库中表的数据同步

参考自：kettle-2（实现增量更新-插入&更新）前提条件：表中存在一个int类型的自增长的id主键，不存在数据删除的情况原理：Kettle实现数据库表的数据同步是按照表的id主键值的大小来判断的，A
跟我回家_f429·2020-08-23 12:22

Java调用Kettle6的transaction和job

Kettle是一个典型的ETL工具且使用广泛。由于Kettle功能强大且复杂，对于java开发人员来说无疑增加了项目运维的难度和复杂度。
fevermxp·2020-08-23 11:25

ETL之kettle

kettle下载地址：https://community.hitachivantara.com/s/article/data-integration-kettlekettle版本与jdk版本对应关系：https
Coder_taotao·2020-08-23 09:21

ETL简单的操作以及开发方式记录（KETTLE）一

最近由于比较多的与新的第三方系统进行各种数据的交互，免不了要把实时的用户表格以及代码表格同步过去，这个时候我们就想说使用比较低成本和简单的方式把我们需要的数据正确的同步到一个中间库中去，然后再由第三方系统通过同样的方式从中间库中取得相关的数据。于是我们就使用上了ETL。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（tran
SUNSUN314·2020-08-23 02:32

ETL简单的操作以及开发方式记录（KETTLE）三

我们这个ETL的制作往往是为了我们数据的转移，但是有时候我们要的不仅仅是数据转移，很多地方我们需要的数据同步，比如每五分钟同步用户数据之类的，这种在多系统协作的一个公司应用中还是经常出现的。所以我们就要想一个办法，让他能够没多少时间进行自动的执行，使得我们不至于每五分钟去手动执行一次。接下来的内容，首先我们要解决两个问题一，在没有人的条件下怎么自动执行ETL，二，我们怎么控制定时执行。这个时候操作
SUNSUN314·2020-08-23 02:32

kettle 把MongoDB数据迁移到hbase

1.数据结构：MongoDB数据结构，需要把mongoDataList里的每一个dataIID转换为列名，列名的名称需要在SQLServer中进行查询。2.问题：因为每个存储内容名称一样，list中默认getfiled取到第一个内容，需要遍历3.步骤把list中的列都遍历出来用遍历出来的列id在sqlserver中查询id对应的Name把name赋值为列名，把之前的datavalue赋值为值导入h
BY@QEL·2020-08-22 19:00

Kettle 体系架构

Kettle体系架构1.插件体系结构1.1插件接口的认识开发支持插件功能的应用程序必须解决一个问题：如何在主程序与插件间正确地互相通信。
romaticjun2011·2020-08-22 18:42

【转】几种 ETL 工具的比较(Kettle,Talend,Informatica 等)

成本：软件成本包括多方面,主要包括软件产品,售前培训,售后咨询,技术支持等。开源产品本身是免费的，成本主要是培训和咨询，所以成本会一直维持在一个较低水平。商业产品本身价格很高，但是一般会提供几次免费的咨询或支持，所以采用商用软件最初成本很高，但是逐渐下降。手工编码最初成本不高，主要是人力成本，但后期维护的工作量会越来越大。风险：项目都是有风险的尤其是大项目。项目的风险主要包括：超出预算，项目延期，
renminzdb2·2020-08-22 18:06

Kettle里面的xul实现

从官方下载的Kettle3.2版本，大部分的界面已经可以显示为中文。基于Java对多国语言的支持，Kettle的汉化变得比较简单，只需修改相应的资源文件就可以了。
new_jeffer·2020-08-22 17:35

kettle各个版本源代码下载地址

http://sourceforge.net/projects/pentaho/files/Data%20Integration/
mengtianyalll·2020-08-22 17:48

【原】品味kettle--（二）XUL框架内幕

前话看了上篇文章，用源码从eclipse启动起来的kettle。相信你已经可以执行成功了，并且看到了软件的登录界面。没有设置什么密码啊，为什么要我输入用户名和密码呢？
renminzdb2·2020-08-22 15:47

kettle下载和使用

下载：https://jingyan.baidu.com/article/9f7e7ec0ee1c656f2915546d.html使用：https://blog.csdn.net/u013468915/article/details/82629260如果是插入：如果是更新：比如修改了name，参考连接：https://blog.csdn.net/w_t_y_y/article/details/9
嘿呀嘿呀 拔罗卜·2020-08-22 14:01

kettle国内镜像下载

kettle国内镜像下载7.1版本http://mirror.bit.edu.cn/pentaho/Data%20Integration/8.2版本http://mirror.bit.edu.cn/pentaho
嘿呀嘿呀 拔罗卜·2020-08-22 14:30

介绍Python的魔术方法 - Magic Method

本文编辑的思路借鉴自RafeKettler的这篇博客:AGuidetoPythonMagicMethods，并补充了一些代码示例
旺酱在路上·2020-08-22 09:21

kettle JVM内存设置---效果不明显

1、查看本地JVM内存大小JVM初始分配的内存由-Xms指定，默认是物理内存的1/64；JVM最大分配的内存由-Xmx指定，默认是物理内存的1/4。默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、-Xmx相等以避免在每次GC后调整堆的大小。可以利用JVM提供的-Xmn-Xms-Xmx等选项
黑暗料理界的扛把子·2020-08-22 04:37

kettle8.2 安装及常见问题

刚才写博客发现没有发过kettle安装的流程，这里写一下。
黑暗料理界的扛把子·2020-08-22 04:37

kettle学习——8.2版本的资源库配置变为灰色，且没有了Connect按钮

资源配置变为灰色的3种情况1）JDK版本不对，JDK需求为1.8版本2）IE浏览器未升级，IE浏览器版本需求为9及以上，且需要部分必备更新。必备更新文件百度网盘链接：https://pan.baidu.com/s/1eIf8bKi8De5jepJofoshPA提取码：mvwk3）repository.xml文件出现了乱码问题，解决方法：3.1、找到repositories.xml文件目录，我的是“
黑暗料理界的扛把子·2020-08-22 04:37

列转行与数据集连接在业务场景的组合应用

现在通过kettle的列转行和数据集连接实现这个功能制作流程图列转行组件的各部分代表意义列转行组件记录集连接（leftout）记录集连接如有疑问可咨询微信：c243126035
黑暗料理界的扛把子·2020-08-22 04:36

行列转换小工具

具体的实现方式：使用kettle的行专列组件进行转换1、转换步骤名称：步骤的名称，在单一的转换中，名称必须唯一。
黑暗料理界的扛把子·2020-08-22 04:36

kettle 十分钟百万数据迁移

现在需要对以往数据进行整合并进行数据迁移确定目标表数据源及数据量如下待迁移数据目标表与Z0_工单_整理备份的字段是一致的。为了方便后续操作（增删改查、数据迁移、增量备份）需要新增几个字段1、id作为主键，方便更新、删除等修改操作2、inserTime数据插入时间，记录更新频次3、updateTime时间戳，记录最近一次更改时间，方便后期数据迁移、增量备份4、source数据来源，方便后期数据溯源及
黑暗料理界的扛把子·2020-08-22 04:36

Kettle (3) - 连接 SAP Hana 数据库

PDI7.1在数据库连接中，没有提供SAPHana数据库的连接选项。需要先在操作系统中安装SAPHanaClient，然后将驱动程序拷贝到PDI安装目录/data-integration/lib文件夹下。驱动程序文件名为：ngdbc.jar。本次需要实现的目标：读取EMP_MASTER表中所有性别为Male的员工信息。完成后步骤和步骤连接如下：连接数据库数据库类型：Genericdatabase数
stone0823·2020-08-22 03:58

利用Python将数据库查询结果导出为EXCEL，CSV，TSV格式(性能比Kettle高接近1倍)

虽然可以用Kettle等ETL工具将数据库查询结果导出为EXCEL，CSV，TSV格式但是Kettle等ETL工具导出效率太慢，实测本人写的Python脚本导出效率快高出Kettle一倍importcx_Oracleimportosimportcsvimporttimeos.environ
robinson1988·2020-08-22 03:37

数据同步方案

文章目录同步概念一、Mysql设置主从数据库同步二、开源项目选择2.1Canal+Kafka2.2Canal+Otter2.3DataX三、软件选择3.1Kettle3.2TreeSoft同步概念同步分为
赖胖子的csdn·2020-08-22 00:54

kettle入门(五) 之kettle抽取gz格式文本详细案例

需求很简单，但是因为以前只用过文本输入做txt或者csv、excel，所以一时就想怎么先把gz格式解压出来，再用文本文件输入，首先想到了用kettle3自带的unzip功能如下图：结
果木·2020-08-21 23:48

KETTLE

文章目录kettle1.下载，安装，配置2.功能简介3.常用控件4.任务设置（JobSettings）kettle1.下载，安装，配置1.1官网下载下载完成后解压即可（若没有自带JDK，还需要安装JDK
夏光芒·2020-08-21 23:41

kettle加载到oracle之oracle批量加载-Oracle Bulk Loader

注：OracleBulkLoader组件其实用的就是OracleSQLLoader，可在windows和linux等环境使用。1.OracleSQLLoader使用简介SQLLoader是oracle的高速批量数据加载工具。这是一个非常有用的工具，可用于从多种平面文件格式向Oracle数据库中加载数据。SQLLDR可以在极短的时间内加载数量庞大的数据。SQLLoader具有很多功能，包括以下能力：
Dragon online·2020-08-21 22:55

Kettle-Spoon使用文档

2019独角兽企业重金招聘Python工程师标准>>>Spoon使用文档--GeneralAvailabilityRelease5.4.0.1-130中文版一．概念a)kjb文件称为‘作业’。完成ETL前期准备工作，如测试数据库连接，下载文件，获取配置等等。b)ktr文件称为‘转换’。完成ETL数据转换工作，如数据转换，数据校验，Insert/Update数据库等等。c)通常的用法是一个kjb，运
weixin_33967071·2020-08-21 22:46

kettle-CSV文件输入

转载于:https://www.cnblogs.com/LXL616/p/10836208.html
山清水秀iOS·2020-08-21 22:41

kettle案例-kettle分库分表导入数据

1.案例背景说明1.该项目为互联网电商项目,随着互联网金融业务的发展,订单量逐渐的增大;2.当前订单总量为20000万3.当前当前订单表为10张(ebiz_third_order),分表分别为ebiz_third_order_0ebiz_third_order_1ebiz_third_order_2ebiz_third_order_3ebiz_third_order_4ebiz_third_ord
东山富哥·2020-08-21 21:57

Kettle(6.0) 参数方式连接数据库

数据库连接条件(视自己实际情况而定)数据库:Oracle主机名称(IP)：localhost或127.0.0.1数据库名称(SID)：MYORCL端口号：1521用户名：scott密码：tiger连接名称(随意)：DB_ORA连接类型：Oracle连接方式：Native(JDBC)填好后，点击测试，OK成功了。这就是最常用的连接方式。一、在转换中设置1.首先选择一个表输入和DUMMY节点，连接在一
aperfels·2020-08-21 21:11

Data Integration - Kettle 6.0下载安装

曾经用过kettle4.0版本，感觉挺简单的，组合各种模块就可以，不过自己只会简单的导入和导出。不过现在已经到6.x了，喜新厌旧，所以下载下来用用看。
aperfels·2020-08-21 21:37

Kettle（PDI）的坑，有点大

网络上有不少Kettle的文章，但实际上都大同小异，都是些非常基础的文章，实际上在使用过程中还有遇到不少的坑，这部分在网上资料比较少，这里主要讲一下我们在使用过程中遇到的各种问题，属于难得的实践经验。
阿源·2020-08-21 21:11

Kettle (1) - 读取 CSV 文件

Kettle是一款采用纯Java实现的开源ETL工具，属于开源商务智能软件Pentaho的一个重要组成部分。
stone0823·2020-08-21 21:05

Kettle CsvInput--filterRows--FiltOutput

在图形化界面中：Csv文件读入--记录过滤--Csv输出过程在java后台实现：csvInputpublicclassCsvInput{privateStringfilePath;//获取表头注入privateString[]headers;//获取每一列注入privateListbody;publicListgetBody(){returnbody;}publicvoidsetBody(List
qq_35152018·2020-08-21 20:29

kettle连接gbase数据库

背景：kettle作为一个高效的数据抽取工具，工作中经常用来抽取数据，自带一些mysql、oracle的连接就不说了，作为一个纯java的软件，连接gbase，依赖一个gbase的连接驱动就好了。
wen0220·2020-08-21 20:50

kettle案例一抽取gz格式文本内容保存到mongodb

Kettle常用三大家族：Spoon、Pan、Kitchen。Spoon:通过图形界面方式设计、运行、调试Job与Transformation。
张小凡vip·2020-08-21 20:36

kettle从数据库导出到csv文件注意事项

导出的csv文件获取字段时，若是string类型，那么字段长度要么清空，要么点下面的获取最小宽度，否则若是采用原默认宽度会报错
drbing·2020-08-21 19:56

kettle 实用小功能（二），读取一个目录下文本文件的内容

kettle的实用小功能中介绍了如何批量读取二进制文件的内容，这里说一下批量读取文本文件的方法。第一步也是使用GetFileNames步骤，根据正则表达式来获取一个路径下所有指定的文件名。
csdn0214·2020-08-21 18:21

使用Kettle进行数据迁移（ETL）

由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的ETL工具来解决。某日，技术经理让我找一个满足我们项目数据迁移需求的稳定、高效ETL工具。google
abcdefg367·2020-08-21 18:04

开源ETL工具kettle--数据迁移

背景由于项目的需求，需要将数据从Oracle迁移到MSSQL，不是简单的数据复制，而是表结构和字段名都不一样，甚至需要处理编码规范不一致的情况，如下图所示注意：Oracle和MSSQL中的同名表的字段名是不相同的如果要是采用手工SQL语句操作的话会很麻烦，需要考虑Oracle和MSSQLSQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题而这些问题
abcdefg367·2020-08-21 18:04

Kettle CSV File Input 中文

背景由于前段时间在学习Kettle的相关知识，在网络上搜寻很久都没有收到有关Kettle的相关中文文档，在学习的过程中看英文文档花费了很多时间。
@子华·2020-08-21 17:01

kettle支持kerberos认证的hive集群

Kettle对接指南1.1环境准备1.1.1Linux平台安装操作系统步骤1安装CentOS6.5Desktop。步骤1禁用防火墙，SELinux。
半_调_子·2020-08-21 17:33

kettle file 方式

sh/opt/cafe/data-integration/kitchen.sh-norep-file/opt/cafe/shell/ddshow-kettle/stat_new/lf_app/core_data_stat
wangqiaowqo·2020-08-21 17:03
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他