kettle

kettle抽取数据分发到其他数据库

kettle调度脚本kettle_WuLiu.sh如下：#!/bin/bash#脚本所在路径source/etc/profileWORK_DIR=/home/hadoop/ktl_wksLOG_DA
hyfstyle·2019-08-20 17:34

kettle资源库、运行方式与日志

阅读更多一、kettle资源库资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。
kingding·2019-08-20 15:00

一次关于Kettle学习以及实践

Kettle在linux环境的部署和使用背景最近接了一个需求，大致内容是对Oracle数据库的两张表读取合并，然后导入到Mysql数据库指定表中(全量更新)。
Astro1hl·2019-08-20 15:05

Kettle中Spoon 使用MySQL8.0的相关配置

最近由于工作需要，我便开始学习使用起了Kettle进行数据处理。由于使用了mysql8.0的数据，kettle的连接不正常，于是开始了踩坑过程。
MrJWZ·2019-08-18 13:28

kettle开发快速入门

kettle开发需求ETL数据抽取预研思路/分析版本选取kettle是当前比较流行的ETL工具,纯JAVA编写,适合我们,这里我从网上选择了最新的8.3版本,方便以后扩展一些新组件代码选取有两种开发方式
helloloser·2019-08-16 17:55

es 报错： index read-only / allow delete (api)];"} 索引只读的解决方案

版本es6.5.4用程序建立好索引后，通过kettle往es中导数据因为我是在本地windows下安装的es环境，且数据存放在你指定的data目录下，如下所示：0指的是节点编号，因为没有做分布式，故只有
一只有梦想的咸鱼·2019-08-16 15:52

数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets

原文链接：https://blog.csdn.net/xiaozm1223/article/details/89670460数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets工具比对
YumWisdom·2019-08-15 09:48

消息队列 activeMQ+spring(测试dome)

消息队列activeMQ+spring(测试dome)使用maven创建项目mvnarchetype:generate背景base-db--->kettle--->warehouse-db(X),warehouse-dbbase-db
trykill·2019-08-13 14:38

KETTLE数据集成：sqlserver 中bit（布尔型）如何集成到ORACLE数据库

今天在数据抽取时，遇见不同数据库数据数据类型转化的问题。纠结了很久，终于解决啦，这里分享给大家：在SQLServer中，bit数据类型是布尔型，只存储三种值，0、1和null。要将SQLserver中为Bit数据类型抽取到oracle数据库，我们首先想到的是在ORACLE中设置一个相同的数据类型，比如：number、或者varchar2。备注：oracle数据库中并没有布尔型的数据类型。但是结果是
夜希辰·2019-08-12 23:39

kettle抽取数据发送邮件Linux调度

kettle抽取数据发送邮件Linux调度#1.进入kettle安装目录然后执行sqoop.sh文件启动kettlecd/app/pdi-ce-7.1.0.0-12/data-integration.
阿叮339·2019-08-12 18:00

python中的魔法方法

details/82502837转自：http://pyzh.readthedocs.io/en/latest/python-magic-methods-guide.html原文:http://www.rafekettler.com
IT-行者·2019-08-12 11:32

用kettle做增量更新时遇到大数据量表更新速度缓慢的解决方案

工具用的是kettle。实现方法是每天定时获取A表里前一天的数据(通过时间字段判断)，如果B表里存在该条记录(通过主键字段判断)则更新，否则新增。
Jiabr·2019-08-08 18:45

将hive数据库中的数据导入到MySQL中的方式

而目前市场上成熟的方案已经比比皆是，如利用sqoop的方式、kettle等中间工具。今天正好闲来无事，考虑在不利于以上2种方式的情况下，成功将hive数据库中的数据导入到了MySQL中。以下为实例。
一米多的李同学·2019-08-04 23:08

Kettle采集数据时遇到error:invalid byte sequence for encoding "UTF8": 0x00

我们项目有个需求是需要通过Kettle把数据从oracle采集到postgresql，然后在采集过程中发现出现了invalidbytesequenceforencoding"UTF8":0x00导致采集失败
上道至简·2019-07-31 23:33

kettle PDI文档学习 （一）创建资源库

一、创建连接仓库创建连接存储库VerifythePentahoServerisrunning,andstartthePDIclient.Kettle支持连接的资源库类型有三种：1.PentahoRepository
dylanwang_cn·2019-07-22 10:06

ETL工具kettle之Java脚本+Elasticsearch bulk insert

ETL工具kettle之Java脚本+Elasticsearchbulkinsert本文在这里记录一下使用ETL工具Kettle将数据批量插入到Elasticsearch中,由于需要数据类型和日期格式的转换此处需要引入
涛濤·2019-07-16 10:01

Linux服务器运行kettle转换报错：Driver class 'org.gjt.mm.mysql.Driver' could not be found

报错关键字：2019/07/1017:01:12-user_identity_card表输入.0-org.gjt.mm.mysql.Driver2019/07/1017:01:12-插入/更新.0-ERROR(version8.2.0.0-342,build8.2.0.0-342from2018-11-1410.30.55bybuildguy):Anerroroccurredduringiniti
harry5508·2019-07-15 15:10

Kettle一些问题总结

1.oracle读取速度慢解决办法：在选项中添加defaultRowPrefetch，值设置为10000以上，具体是数据库情况而定。2.使用MySQL批量插入在数据库连接中添加参数：?useServerPrepStmts=false&rewriteBatchedStatements=true在“表输出”组件中勾选使用批量插入3.导出csv文件过大默认导出文本文件使用的是固定宽度，需要设置字段为最小
民国先生·2019-07-12 09:33

Kettle使用初体验之批量数据入库体验插入更新和表输出组件使用区别

Kettle使用初体验之批量数据入库体验插入更新和表输出组件使用区别Kettle使用初体验之批量数据入库实验场景问题结论实验步骤实验一：使用文本文件作为输入，输出使用“插入/更新”组件实验一总结实验二：
suifeng_2004·2019-07-11 19:29

kettle执行sql语句错误总结

kettle配置图：1.组件-字段选择报错：ERROR(version7.1.0.0-12,build1from2017-05-1617.18.02bybuildguy):字段{0}已经被指定2次(或更多
zapoul·2019-07-10 11:27

kettle简单入门案例(一)--转换

Kettle是什么？Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
harry5508·2019-07-09 16:35

Kettle 邮件发送附件

Kettle邮件发送附件最近用户个需求，利用kettle分析出的数据，通过邮件的形式，发送给本人。这里讲解下kettle发送邮件的方法。
默直·2019-07-08 16:11

kettle 安装实录

前提条件:操作机器上安装了docker–>mysql依赖dockermaven-->用到mvnjdk1.8以上版本-->mvn依赖javatomcat9-->java1.部署mysql实例linyingjiedeMacBook-Pro:5.xlinyingjie$morestart-mysql-docker.sh#!/bin/bashdockerstopmysqldockerrmmysqldock
开心自由天使·2019-07-04 19:10

六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)

六种主流ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax，OracleGoldengate)比较维度\产品DataPipelinekettleOracleGoldengateinformaticatalendDataX
DataPipeline数见科技·2019-07-04 12:00

kettle循环

介绍两种循环方式，一种是官方自带例子，通过job组件执行每一行来循环，第二种通过javaScript脚本组件循环1.kettle8官方案例文件位置：$KETTLE_HOME/samples/jobs/processalltables
大蚂蚁2号·2019-07-04 11:33

kettle之Caused by: java.lang.ClassNotFoundException: org.pentaho.metastore.api.IMetaStore错误

主要原因：相关依赖jar没有，查阅相关资料是少了pentaho-metastore-5.0.0.1.jar解决办法：将相关依赖jar包引入到项目当中，kettle相关依赖pom下载不下来，我重新下载jar
不爱吃的胖子0o·2019-07-03 15:52

kettle之Caused by: java.lang.ClassNotFoundException: org.pentaho.metastore.api.IMetaStore错误

主要原因：相关依赖jar没有，查阅相关资料是少了pentaho-metastore-5.0.0.1.jar解决办法：将相关依赖jar包引入到项目当中，kettle相关依赖pom下载不下来，我重新下载jar
不爱吃的胖子0o·2019-07-03 15:52

kettle解析xml数据，并且入库到oracle

接入xml数据的控件入图从该控件的解释中可以得到信息，获取数据要用到xpath学习xpath，可以百度xpath，例如菜鸟教程中的https://www.runoob.com/xpath/xpath-examples.html添加文件，books.xml可以自动获取xml结构的路径之后可以自动获取字段，其中第一个是属性字段，需要手动添加，预览数据之后数据库建表：bookscreatetablebo
回味昨天的你·2019-07-01 21:56

Kettle发送邮件

Kettle发送邮件上一篇博客中我们提到怎么使用kettle操作数据库提取数据然后生成excel,现在我们来学习一下怎么通过kettle发送邮件~1.启动kettle,新建作业，进入通用里面，选择Start
阿叮339·2019-07-01 14:00

Kettle8.2修复作业或者转换重命名功能

kettle版本：8.2.0.0-311问题描述：创建一个转换或者作业，命名为A并保存到资源库中，打开A，在探索资源库面板将A重命名为B，再打开B，这时Spoon面板会出现A与B两个。
打杂员工·2019-06-28 15:00

采用Kettle分页处理大数据量抽取任务

转自：https://www.cnblogs.com/greyzeng/p/5524614.htmlKettle进行数据迁移（ETL）:https://www.cnblogs.com/wlming/p/
beststone1·2019-06-28 10:51

Kettle数据中文乱码问题（Mysql）

Kettle数据中文乱码问题准备工作已安装Kettle链接：https://community.hitachivantara.com/docs/DOC-1009855Mac/Linux/Windows版本的
CooperMin·2019-06-26 16:33

Kettle数据中文乱码问题（Mysql）

Kettle数据中文乱码问题准备工作已安装Kettle链接：https://community.hitachivantara.com/docs/DOC-1009855Mac/Linux/Windows版本的
CooperMin·2019-06-26 16:33

ETL工具KETTLE表输入表输出提速5-10倍

1、数据库操作：因为是大批量数据迁移，主要影响抽取速度的是表输出，因此目标数据库要重新启动下，保证目标数据库性能最好，暂时没有其它进程写入数据。2、表输入jdbc连接操作：（1）jdbc连接地址配置参数：?autoReconnect=true&failOverReadOnly=false&connectTimeout=0&socketTimeout=0&allowMultiQueries=true
LSY_csdn_·2019-06-25 08:19

kettle jdbc MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT'

kettle使用表输入连接mysql获取字段名时，报checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear
巨魔战将-深度大数据·2019-06-22 23:55

keetle

开源ETL工具之Kettle介绍What起源Kettle是一个Java编写的ETL工具，主作者是MattCasters，2003年就开始了这个项目，最新稳定版为7.1。
爪洼小小白·2019-06-21 10:41

Kettle实现从数据库中提取数据到Excel

刚好近期同事在研究使用kettle自动提数且完成邮件的发送，觉得很实用又挺有意思的就学了一下这个技能~首先我们需要新建转换转换：可以将数据从数据库中提取到excel中然后我们如果想要定时提取数据的话，可以新建作业作业
阿叮339·2019-06-18 19:00

Kettle在windows上安装

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
阿叮339·2019-06-18 18:00

kettle spoon运行正常，却无法同步数据时解决。

故事开始：接到一个需求，要从集团人事系统接数据到我们这边使用，是从关系型数据库到关系型数据库，那就用ETL取数呗，公司这边呢，用ETL开源工具kettle，调度kettle脚本有单独的平台，只需要开发ktr
Yeomer·2019-06-17 17:47

ETL工具KETTLE资源库简介

KETTLE资源库：就是KETTLE设计的文件存放的位置。一般KETTLE设计的文件可以存放在3个地方：本地自定义位置、数据库资源库、文件库资源库。
LSY_csdn_·2019-06-16 21:38

ETL工具KETTLE简介

ETL的实现有多种方法，常用的有三种：第一种：是借助ETL工具(如Oracle的OWB、SQLServer2000的DTS、SQLServer2005的SSIS服务、Informatic、Kettle等
LSY_csdn_·2019-06-16 21:35

KETTLE数据互交

1.KETTLE简介一种ETL工具，ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程
只想开心·2019-06-15 18:00

数据仓库为什么要分层

第一家公司的老数仓技术架构：mysql+kettle，分层s（ods）层、b层（有点记不清了，一个是取数据，一个是做拉链）、m层（根据业务设计的表：贷前loan_before、贷后loan_after，
我爱听听力·2019-06-14 18:18

Kettle学习， 输出表数据。

上一篇文章：Kettle学习，更新表数据。接下里，我将进行讲解使用Kettle进行表数据输出。2个数据库的环境、所涉及到的表与我上一篇文章Kettle学习，更新表数据。一样。
_明月·2019-06-13 20:11

Kettle学习， 更新表数据。

说明，接下来我会写一系列关于Kettle使用的博客，希望能够帮到各位。环境：Oracle数据库，建立test_student02表。
_明月·2019-06-13 19:35

初始Kettle

初始Kettle（水壶）是开源的ETL（数据抽取Extract、转换Transform、加载Load）工具，数据抽取和转换工具。
Blue后花园·2019-06-13 16:10

Kettle学习，安装注意事项及快速入门。

一、环境说明：1、Kettle版本：7.1.0.0-12我本人使用的zip解压缩版本的kettle工具。官网下载地址：Kettle官网下载2、JDK安装本地Win系统需要安装好Java的JDK。
_明月·2019-06-13 16:16

kettle插件开发

一、开发环境开发工具:eclipse-OxygenJDK:1.8Kettle源码包版本:pentaho-kettle-7.1地址：https://github.com/pentaho/pentaho-kettle
旖析木·2019-06-12 17:32

kettle插件开发

一、开发环境开发工具:eclipse-OxygenJDK:1.8Kettle源码包版本:pentaho-kettle-7.1地址：https://github.com/pentaho/pentaho-kettle
旖析木·2019-06-12 17:32

Kettle 一

ETL-kettle（一）ETLKETTLE启动方式DB配置文件转换和作业作业转换post的配置：插入更新作业并行作业串行作业下某节点失效ETLETL,英文：Extract-Transform-Load
帝君l·2019-06-12 15:43
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他