kettle

ETL第一篇(Kettle Spoon) 初遇

原文链接：http://www.cnblogs.com/52liming/p/9416885.htmlETL第一篇(KettleSpoon)初遇ETL第二篇调用webservice简介Kettle是一款国外开源的
weixin_30307267·2018-08-03 23:00

使用kettle，查询2个数据库中的表作为输入，输出到另外表中

在使用kettle，查询2个数据库中的表作为输入，输出到另外表中当前文章图片都404了，大家可以参考这篇文章，原理是一样的，操作中有什么问题可以向我留言，我回第一时间回复的kettle中间表值映射问题描述在
探索丶挑战丶突破·2018-08-02 10:05

kettle常见问题及相关解决方案

开源ETL工具kettle系列之常见问题摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1.Join我得到
仰望星空的我·2018-08-01 20:51

Kettle使用

682cff20a58c官网下载：http://www.oracle.com/technetwork/java/archive-139210.html2、电脑安装mysql和navicatformysql3、安装kettle
le猫·2018-07-30 15:32

ORA-24816: 在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据

前两天在东莞出差，在用kettle同步数据时越到了个问题，在抽取了几万条数据到本地数据库后kettle异常停止了，查看kettle日志发现了这条异常：ORA-24816:在实际的LONG或LOB列之后提供了扩展的非
wuzhangweiss·2018-07-29 17:10

kettle启动时，点开spoon.BAT无反应的解决办法

（1）点开官方的FAQ：q:WhenIstartSpoon.batinaWindowsenvironmentnothinghappens.HowcanIanalyzetheproblem?a:UsetheSpoonDebug.batfiletostartSpoon.Reviewthe"SpoonDebug.txt"logfiletoreviewanyerrors.查看里面的日志，发现是内存的问题，
大英小二黑new·2018-07-29 09:09

如何快速学习一门技术？十步学习法

我曾经就被要求在一周之内掌握kettle（一种ETL转化工具）的使用，因为业务
sliverhumor·2018-07-27 10:56

Kettle系统知识讲解一

Kettle系统知识讲解一1.kettle简介1.数据仓库领域的一个重要概念就是数据整合。数据整合就是把不同数据库中的数据组合到一起，对外提供统一的数据视图。
LittleLawson·2018-07-24 16:42

TiDB开发测试

由于项目需要，需要对TiDB对接kettle进行功能测试，以下是初步测试结果，请参考，后续会不间断更新类目测试方案测试过程测试结果接口测试连接数据库（MySQL）、Transactions（Kettle
Virgil_Ko·2018-07-23 17:26

kettle插入/更新的使用

插入更新的主要作用就是根据条件来检索数据，如果说相同更新，不相同添加！假设一个业务场景，我们需要从这个数据库的表里面拿数据，但是，在输出表里面可能会有相同的数据我们先假设我们的输出表和输入表判断是否相同的依据是id我此时运行我的数据，他有10w行数据，可是到了一半，运行失败了出现了某某因素然后我如果删除的话，那么我之前的历史数据也会删除掉，那么怎么办我们打开这个插入/更新组件（前提是输入表能查询出
Mr_Tanga·2018-07-23 16:55

kettle环境搭建

1.github上面kettle的源码下载地址:https://github.com/pentaho/pentaho-kettle2.环境准备:1Maven,version3+2.JavaJDK1.8工具建议使用
pan_haufei·2018-07-19 21:03

kettle-linux中执行hive的ktr报错：Error connecting to database: using class org.apache.hive.jdbc.HiveDriver

1.将windows环境中产生的ktr文件上传到linux环境中执行[root@lx02data-integration]#./pan.sh-file=/opt/cm/hadoop/pdi-ce-7.1.0.0-12/data-integration/workspace/hivetorizhi.ktr>>/opt/cm/hadoop/pdi-ce-7.1.0.0-12/data-integrati
lisery_nj·2018-07-19 17:31

2018-05-15

kettle和Python进行数据迁移比较kettle和Python在数据迁移方面的对比参考网站：http://dbaplus.cn/news-21-1176-1.html
coo1wind·2018-07-19 11:47

2.数据仓库-kettle抽取Mysql数据

1）打开Spoon，Spoon界面如下图2）点击左上角图标3）点击下拉菜单的【转换】4）点击【核心对象】中的【输入】5）在展开的菜单中双击【表输出】6）双击【表输出】7）点击【新建】8）配置源数据库信息选择就相应的数据库选择相应的连接方式填写数据库相关信息（填写源数据库的相关信息）9）编写sql,查询所需数据10）点击【预览】预览sql执行结果11）确认数据没有问题后，点击【确定】12）使用插件将
吾我·2018-07-17 01:25

Kettle从入门到放弃，值得收藏

【Kettle从零开始】一之Kettle简单介绍http://blog.csdn.net/rotkang/article/details/20810921【Kettle从零开始】二之Kettle文件夹与界面介绍
Mr_Tanga·2018-07-12 10:08

ETL工具kettle数据迁移

ETL工具评价http://blog.csdn.net/baodi_z/article/details/45023439几种ETL工具的比较(Kettle,Talend,Informatica,InaplexInaport
banyanmars·2018-07-11 17:11

浅谈增量数据的四种抽取模式

目前数据传输迁移的工具非常多，比如DataX，DTS，Kettle等等。
Mochou_liqb·2018-07-11 11:30

win10下kettle7.1连接hive1，mysql完整实例

最近想要在windows10上使用kettle做数据ETL，首先安装配置作为新手也是踩坑无数，主要环境版本目前不是本人能够修改的，而kettle这东西对版本对应要求又比较严格，虽然只是连接就已经踩坑无数
Saint-at-home·2018-07-11 10:30

kettle实现循环

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
仰望星空的我·2018-07-09 17:27

kettle循环执行作业中结果集中数据获取

1.JavaScriptvarprevRow=previous_result.getRows();//获取上一个传递的结果,数据库中查询的结果集if(prevRow==null&&(prevRow.size()=0)){false;}else{parent_job.setVariable("tables",prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
仰望星空的我·2018-07-09 17:11

Linux下kettle安装和crontab定时任务

安装JDK首先卸载Linux自带的openJDK查看openjdk的版本rpm-qa|grepjdk卸载openjdk：yum-yremovejavajava-1.7.0-openjdk*或者rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.i686centos7里面会多一个copy-jdk-configs-1.2-1.el7.noarch
大蚂蚁2号·2018-07-07 23:38

ETL工具Kettle基本用法——Kettle数据同步时将空字符串当做NULL传递问题的解决

转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/80919323本文出自【我是干勾鱼的博客】在前在ETL工具Kettle基本用法——Kettle
我是干勾鱼·2018-07-06 22:09

ETL工具Kettle基本用法——Kettle的安装

转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/80878477本文出自【我是干勾鱼的博客】Kettle是一款非常优秀的ETL工具，做数据抽取
我是干勾鱼·2018-07-04 23:21

Oracle 在两个数据库之间导出导入数据

约束条件：（如果是同一个网络，建议使用Kettle工具），其他部门提供了Oracle数据库接口，仅仅具有查询视图的权限。需求：把几个视图，按照某种条件导出数据，导入到Oracle数据库。
阿甘亮·2018-07-04 17:21

Elasticsearch+Kettle spoon：实现索引自动按月创建，数据插入到指定路由

背景随着时间的推进，es里面的索引文件越来越大。要想保住系统的效率，就必须要分索引、分路由。那么问题来了，目前项目上采用的是Spoon7.1进行数据更新，这样就存在以下问题：1、利用spoon连es时，索引的名称不支持动态变量？2、抽取数据时，对es里不存在的索引，spoon会自动生成，但不能生成我想要的mapping?3、抽取到es，spoon不能指定文档插入的路由？分析针对第二点：可以利用es
playWithMySelf·2018-06-30 15:13

kettle-数据库密码加密及解密

1.加密进入kettle的安装目录windows系统命令行执行：Encr.bat-kettle123linux/mac系统命令行执行：encr.sh-kettle123可生成Encrypted2be98afc86aa7f2e4cb79ce10bec3fd89
hippop223·2018-06-29 16:43

关于kettle初始化的那点事

1.KettleEnvironment.init()详解在Kettle的客户端工具，如Spoon、Pan、Kitchen、Carte等的源码中，都会有如下调用：KettleEnvironment.init
仰望星空的我·2018-06-27 14:59

用Kettle的一套流程完成对整个数据库迁移

2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。
仰望星空的我·2018-06-27 14:26

Kettle——转换步骤信息统计两种实现

Kettle-步骤数据处理数量记录获取Kettle获取数据处理条数记录日志信息：以前的途径是配置转换的日志信息来保存到数据库中，这种方式不是很灵活。有没有一种类似步骤方式来进行获取呢？
仰望星空的我·2018-06-27 14:41

kettle连接sqlserver连不上报异常解决

kettlesqlserver数据库报错错误连接数据库[My_vm_win_sql]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefo
rubyoga·2018-06-27 13:49

kettle-创建资源库

1.资源库的介绍kettle资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。
lisery_nj·2018-06-25 16:30

ETL工具Kettle连接到SQL Server Express 2008（以及SQL server添加用户）

Kettle不支持windows登陆，只能用用户名密码，所以开始创建用户。不知什么原因，安装sqlservermanagmentstudio失败，放弃。
liuxiaoddd·2018-06-25 11:17

kettle 合并记录

转自：http://blog.itpub.net/post/37422/464323看到别人的脚本用到合并记录步骤，学下下。该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：[@more@]旧数据来源：旧数据来源的步骤新数据来源。新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，
啦啦啦啦啦啦啦啦啦啦·2018-06-25 11:00

Python魔法方法指南

(译)Python魔法方法指南原作者:RafeKettler翻译:hit9原版(英文版)Repo:https://github.com/RafeKettler/magicmethods简介本指南归纳于我的几个月的博客
leejia1989·2018-06-23 17:17

kettle 学习小结

kettle学习总结WhatisETLETLExtraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。
bluexue0724·2018-06-21 19:25

kettle 多表查询大量数据同步 mysql 分页实现

版本kettle7.0mysql5.7应用场景在实际开发环境中，使用kettle同步的过程可能操作的数据非常大，几百万条，甚至上千万条。
翠花琳·2018-06-21 14:32

kettle学习笔记（五）——kettle输出步骤

kettle学习笔记（五）——kettle输出步骤一、概述数据库表：•表输出•更新，删除，插入/更新•批量加载（mysql，oracle）•数据同步文件：•SQL文件输出•文本文件输出•XML输出•ExcelOutput
探索丶挑战丶突破·2018-06-20 21:48

kettle学习笔记（一）——入门与安装

一、概述1.kettle是什么Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
探索丶挑战丶突破·2018-06-20 20:50

kettle学习笔记（二）——kettle基本使用

kettle学习笔记（二）——kettle基本使用一、子程序功能和启动方式介绍Spoon.bat:图形界面方式启动作业和转换设计器。Pan.bat:命令行方式执行转换。
探索丶挑战丶突破·2018-06-20 19:01

用Kettle来发送邮件

1、整个作业图：2、邮件控件介绍：地址栏：服务器栏：需要注意的是：验证里面的密码是IMAP/SMTP的授权码，需要到邮箱界面"设置"里面去开启"IMAP/SMTP服务"并且获取授权码。其他邮箱步骤也一样。SMTP服务器以及端口号需要去查询各个邮箱的本身的服务器名称和端口号，在各个邮箱"帮助中心"中可以查询到。下图是QQ邮箱的服务器名称以及端口号。邮件消息栏：附件栏:可以添加附件，如图所示：但是这个
Cin_Dav·2018-06-20 11:09

kettle 实时同步数据（插入/更新/删除数据）

首先需要下载kettle工具，本人的环境为：jdk1.8。
fk478561641·2018-06-13 14:54

ETL工具Kettle

当前知道的ETL工具有informatica,datastage,kettle,ETLAutomation,sq
少年阿峣_从零单排·2018-06-13 10:57

【Kettle】血统分析

在转换中，血统就是说你要知道一个数据是从哪里来的，在哪个步骤中，增加了或修改了这个数据，最后输出到哪个数据库表中。本篇通过job，先把资源库导出成xml文件，然后通过分析xml文件，把想要的信息输入到数据库表中进行保存。当要查询表来源时，只需要查询存储资源库的表即可。job：job中的转换：1.导出资源库到XML文件2.GetdatafromXML（解析导出的资源库XML文件）输出的字段名如下，其
NextAction·2018-06-12 17:12

kettle5.3批量插入impala

1.pentaho-big-data-plugin大数据插件kettle5.3对应的pentaho-big-data-plugin-5.3(大数据插件)里面扩展支持了很多数据库连接，其中就包含了hive
1032851561·2018-06-11 16:22

【Kettle】如何输出固定格式报表

下面介绍一个我工作中使用kettle输出固定格式报表的例子，希望能帮到有需要的小伙伴们。
NextAction·2018-06-11 15:47

在linux下设置kettle的定时任务方法

1.安装centos2.安装java环境参考网址：http://www.cnblogs.com/haoliansheng/p/5832979.html3.解压kettle.zip进入kettle.zip
仰望星空的我·2018-06-05 20:23

基于taskctl实现kettle任务调度

TASKCTL中调用kettle作业，实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境，这个过程占用大量的时间。
仰望星空的我·2018-06-05 20:24

利用Kettle进行数据同步（下）

上篇介绍了基于kettle的数据同步工程的搭建，entrypoint.kjb就是整个工程执行的入口。
装逼未遂的程序员·2018-06-05 14:43

利用Kettle进行数据同步（下）

上篇介绍了基于kettle的数据同步工程的搭建，entrypoint.kjb就是整个工程执行的入口。
Eric·2018-06-05 00:00

kettle 链接oracle12c

jdbc连接cdb数据库时,url兼容以下2种模式:"jdbc:oracle:thin:@192.168.75.131:1521:oracle12c""jdbc:oracle:thin:@192.168.75.131:1521/oracle12c"jdbc连接pdb数据库时url必须使用:"jdbc:oracle:thin:@192.168.75.131:1521/oracle12c"格式,若使用
weixin_30394333·2018-06-04 16:00
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他