KEttle

数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets

工具比对：Kettle（传统的ETL工具）特性：纯Java编写优点：可在Windows、linux、Unix上执行；数据抽取高效稳定；子组件spoon有丰富的Steps可以开发复杂业务逻辑场景，方便实现全量
xiaozm1223·2020-07-29 00:48

Kettle建立数据库链接报错-'MS SQL Server' driver (jar file) is installed. kettle的bug

Kettle建立数据库链接报错-‘MSSQLServer’driver(jarfile)isinstalled.kettle的bug1、链接sqlserver数据库报错错误连接数据库[My_vm_win_sql
星际绿光·2020-07-28 22:21

kettle学习

一：kettle下载下载网址：https://jingyan.baidu.com/article/9f7e7ec0ee1c656f2915546d.html国外下载速度很慢，可以在国内镜像上下载，但版本只到
weixin_41620638·2020-07-28 20:54

Kettle的DB连接出现“错误连接数据库”报错

环境：win10,Kettle,Spoon,JDK，MySQlKettle是一款国外开源的ETL工具，纯Java编写，可以在Window和Linux上运行，不需要安装就可以使用。
码之成长·2020-07-28 20:48

一个未预期的错误发生在Spoon: probable cause:在停止Spoon前，请先关闭其它spoon窗口!...

2019独角兽企业重金招聘Python工程师标准>>>kettle操作hbase通过kettle将hdfs上的txt文件导入hbase的时候，HbaseOutput保存mapping信息的时候会报错：申明
weixin_34370347·2020-07-28 19:46

MySQL上云同步脚本-Python3

最近在做本地同步至云的脚本使用kettle的话,几百个表的同步要一一设置,实在是蛋疼的紧还好python可以解决一部分问题,所以写了个转换由于5.6版本的mysql对null的处理不是很好,因此全部转为
weixin_34311757·2020-07-28 19:54

将根据时间戳增量数据方案修改为根据批次号增量数据方案

之前写过根据时间戳来增量数据，时间戳增量数据存在一定的缺点，就是如果开启自动的话，以后如果因为某个外在因素出错了，那么这个开始时间和结束时间不好控制，那么就可能造成一些其他数据量不准的情况，但是根据批次号不会出现这个问题：使用kettle
weixin_34001430·2020-07-28 18:13

kettle-实现每个分组的前N的数据

2019独角兽企业重金招聘Python工程师标准>>>第一步：创建表及数据：createtableuid(uidint,--uidcatevarchar(20),--类别pricedouble--金额)insertintouidvalues(123,'c1',21);insertintouidvalues(123,'c2',23);insertintouidvalues(123,'c3',14);
weixin_33966365·2020-07-28 18:53

Kettle入门操作——sqlserver数据源配置

1、SqlServer的数据库链接Sqlserver链接有两类，MSSQLSERVER和MSSQLSERVER(NATIVE)，这两个有什么区别呢，且看下面。第一类，MSSQLSERVER链接，填写好信息后，进行测试，报错。接下来，我们点开特征列表查看一下：第二类，使用MSSQLSERVER(NATIVE),如下，特征列表如下，由此可以推断出，MSSQLSERVER和MSSQLSERVER(NAT
weixin_30776273·2020-07-28 17:38

ELT工具Kettle之CDC（Change Data Capture）实现实例

Kettle之基于时间戳的CDC实现实例实现思路：首先表中要有数据更新的时间戳如：最后一次修
weixin_30642869·2020-07-28 16:28

spoon kettle连接数据库失败解决方法

Driverclass'oracle.jdbc.driver.OracleDriver'couldnotbefound,makesurethe'Oracle'driver(jarfile)isinstalled.oracle.jdbc.driver.OracleDriver刚刚下载了spoon，准备写一个简单的示例测试一下，登录数据库的时候遇到了这个错误，看错误描述就是找不到相应的oracle驱动
weixin_30354675·2020-07-28 16:15

基于Linux配置ODBCMysql连接字符串

最近换工作了，新公司的项目是基于多个数据源的，因此需要用到ETL工具，例如Informatica，Kettle。由于公司已经搭建好了Informatica平台，所以没得选择。
菜鸟程序员也有梦想·2020-07-28 14:51

Kettle插件开发流程

最近正好做了有关Kettle中插件开发的工作，对Kettle插件的源码进行了一定的研究，并开发了自定义的插件，在此有些感悟，记录下来。
RacingHeart·2020-07-28 14:30

python | Python魔法方法指南

(译)Python魔法方法指南原文:http://www.rafekettler.com/magicmethods.html原作者:RafeKettler翻译:hit9原版(英文版)Repo:https
努力努力再努力tq·2020-07-28 14:21

kettle中JDBC Connection Reset问题分析

半年前开始，项目组测试MM在验证功能时，经常报怨讲测试环境上的应用在启动时很慢，偶尔会报失败，遇到类似问题多数情况下重新启动一次就可以启动成功，但少数时候也有反复启动不成功的案例。当启动失败时，日志里有如下的异常，看起来似乎和网络有关。java.sql.SQLRecoverableException:I/OException:Connectionresetatoracle.jdbc.driver.
斌胜国强·2020-07-28 12:48

(Kettle)合并记录步骤

转载：http://blog.itpub.net/post/37422/464323该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源。新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。1.“identical”–旧数据和
tianlianchao1982·2020-07-28 12:33

kettle7.0下实现数据库整体迁移

一、采用软件自带方式1.新建一个job，创建两个DB连接：source、target（源数据库和目标数据库连接），在菜单中找到【复制多表向导】，点击进行相关操作：2.选择源数据库和目标数据库3.选择所需迁移的表4.编辑生成的job文件名：qy.kjb，和文件目录，编辑好后【Finish】5.运行qy.kjb，可在test2数据库中看到成功生成迁移来的表。二、自定义数据库迁移（oracle>>mys
sunggff·2020-07-28 12:12

ElasticSearch之定时删除数据

/bin/sh#example:shdelete_es_by_day.shlogstash-kettle-loglogsdate30index_name=$1daycolumn=$2savedays=$3format_day
珊瑚海的世界·2020-07-28 10:07

kettle 7.1 连接sqlserver 2008 报错解决

source=files下载完后将jar包放入kettle安装目录下，lib文件夹中即可，重启kettle错误2：实例sqlexpress/mssqlserver不存在，我的实例是sqlexpress首先看
wxj的小博客·2020-07-28 08:16

数据集成工具Kettle、Sqoop、DataX的比较

数据集成工具很多，下面是几个使用比较多的开源工具。1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2、Apache开源软件：SqoopSqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(
czl---·2020-07-28 08:27

实现SQL Server到MySQL的表增量同步

注：只实现了新增与更新数据，源库中删除的数据未实现同步1、前期准备开始之前，请记得自行安装JDBC，安装步骤百度搜索即可Kettle的安装，请参考我的《Kettle安装部署》教程配置步骤2、配置“输入”
逃跑的肉丸·2020-07-28 00:39

(摘抄)SQLServer 中发布与订阅

在对数据库做迁移的时候，会有很多方法，用存储过程，job，也可以用开源工具kettle，那么今天这些天变接触到了一种新的方法，就是SqlServer中自带的发布与订阅。首先说明一下数据复制的流程。
阿霂·2020-07-27 23:15

kettle7.0连接sqlserver连不上报异常解决

提示：错误连接数据库[sql]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefound
danfeixia·2020-07-27 21:37

Spark作为ETL工具与SequoiaDB的结合应用

常见的ETL工具有OracleDataIntegrator、InformaticaPowerCenter、DataStage、Kettle、DataSprider等。
choulou0356·2020-07-27 20:27

Kettle 终极篇之将Oracle数据导入Mysql

关注微信公共号：小程在线关注CSDN博客：程志伟的博客学习Kettle的目的就是实现不同数据之间的数据传输，以满足基本工作需要，不在继续深入学习。
程志伟·2020-07-27 19:00

Kettle 连接oracle将数据保存到Excel

\pdi-ce-8.2.0.0-342\data-integration\lib下复制完成之后打开Kettle，若已经打开，重启一下kettl
程志伟·2020-07-27 19:00

Kettle 一遍搞定计算器

关注微信公共号：小程在线关注CSDN博客：程志伟的博客只讲解核心内容，忽略了中间的错误，有啥问题可以留言一、整体流程主要是有四部分组成：输入、拼接、计算器、输出二、Excel输入输入的数据由6列数据构成，导入数据的过程，查看前几篇讲的文章三、Concatfields1.根据自己的习惯，起个名字；2.拼接符号：-3.选在拼接的字段四、计算器1.querter:第几个季度2.weekofday:一周的
程志伟·2020-07-27 19:00

SQLServer字段替换隐藏字符CHAR(0)，踩坑后Get新技能

坑王驾到背景：用Kettle导SQLServer中的十几张表到PostgreSQL，导某个表的时候发现有些字段肉眼看上去是空白的，但死活都导不进去，用LEN()函数发现竟然有长度，职业性的加上LTRIM
BingCorePower·2020-07-27 19:47

使用Kettle从FTP拉取文件

1、业务场景简要说明对接方式：FTP文件。客户的FTP目录路径:/201602/01/xxx.txt/201602/01/xxx.txt注意点对方在写文件的时候，应先将文件写入到临时文件，写完后，再rename文件名。如：先写xxx.txt.tmp->xxx.txt2、流程2.1转换流程构造路径//获得当前系统时间，此处得到初始化时间vardateFormatYearAndMonth=java.t
awenzhangc·2020-07-27 19:17

Kettle系列文章二(安装配置Kettle+SqlServer+简单的输入输出作业)

一、下载Kettle下载地址：https://community.hitachivantara.com/docs/DOC-1009855下拉到DownLoad，点击红框中的链接进行下载。.
MichaelZhu·2020-07-27 18:49

Java调用kettle实现ETL功能：使用mysql8.0.x版本的驱动

来个目录吧背景实现效果附录参考文档背景最近项目上需要java调用kettle实现ETL逻辑，所以找度娘看了看kettle相关的知识，刚开始写了个demo项目，见参考文档。
蛋蛋的忧伤-_-·2020-07-27 18:42

Kettle同步数据报错：KettleDatabaseException:java.lang.ArrayIndexOutOfBoundsException

geBiz_app_common.0-ERROR(version7.0.0.0-25,build1from2016-11-0515.35.36bybuildguy):org.pentaho.di.core.exception.KettleDatabaseException
Peasmaster·2020-07-27 18:02

【Kettle Spoon】数据迁移Spoon的使用

一、问题1.1、环境电脑环境：Windows10；开发工具：IntelliJIDEA；数据库环境：Redis3.2.100JDK环境:Jdk1.8；1.2、问题如何使用Spoon工具，讲A数据库的demo表，迁移到B数据库的demo2表？以MySQL为例1、字段名不一致如何处理；2、字段类型不一致如何处理；3、字段长度不一致如何处理；4、多个字段对应1个字段如何处理；5、A库demo表某字段为空如
陶洲川·2020-07-27 17:46

使用kettle连接SQL Server数据库详细教程

默认你的kettle安装环境是没有问题，如果是kettle的连接问题可以参考以前文章有详细的教程，这里主要讲用kettle连接SQLServer数据库1、先打开kettle2、找到工具-探索资源库-连接
Jmayday·2020-07-27 16:36

kettle学习笔记

1.kettle的简介PentahoDataIntegration(kettle)是一款开源的ETL(ExtractTranssformationLoad)工具，用来完成数据的抽取、清洗、转换和加载等数据处理方面的工作源代码下载地址
Jenrey·2020-07-27 15:04

数据库迁移 软件Spoon Kettle环境搭配（本人踩过的坑）

初始版本使用的是Kettle（70+M）由于是测试就在本地整了。70M版本java环境要求比较严格，我本身就是1.8的环境。还是不匹配。无奈根据弹框下载两次jre安装后可以打开。
可爱又迷人的少女杀手·2020-07-27 14:55

工具：SQL Server和Oracle数据类型比对

今天在用Kettle做数据迁移的时候遇到一个问题，通过Kettle把从SQLServer的源数据导入到Oracle数据库中出现很多问题，也就是因为表信息不一致造成数据无法导入。
敬谦·2020-07-27 14:05

kettle连接sqlserver连不上报异常解决

kettlesqlserver数据库报错错误连接数据库[My_vm_win_sql]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefo
weixin_34124939·2020-07-27 13:45

Kettle7.1 学习笔记

Kettle7.1学习心得该博客主要记录作者在学习过程中遇到的问题及解决。1、数据库连接失败。原因：没有下载对应数据库驱动包放入lib文件夹下面。解决：驱动包应放入....
Peasmaster·2020-07-27 11:55

java调用kettle文件,根据环境修改数据源

在使用kettle可视化工具进行编辑生成kettle文件时,只能指定一个数据源,并且我们在开发到发布过程中最少有三套环境,dev,test,prod.如果按照kettle只能指定一个数据源,对应的kjb
毛于晏·2020-07-23 20:45

kettle踩坑java.lang.NoClassDefFoundError: Could not initialize class oracle.security.o5logon.O5Logon

kjb中访问的是oracle数据库,本地测试没问题发到测试环境,运行报如下错误先说解决方案:在kettle的可视化操作文件夹的lib包下找commons-collections-3.2.2.jar加到项目依赖中
毛于晏·2020-07-17 19:26

Kettle部署centos7并添加远程图形界面访问

Kettle部署centos7并添加远程图形界面访问安装运行环境安装远程访问（xmanager）添加中文支持安装运行环境kettle需要java环境才能运行，因此要安装Java，点击我查看部署jdk。
princejwg·2020-07-16 04:21

kettle后台命令执行任务

kettle后台命令执行任务kitchenPan配置定时任务kitchenkitchen是一个作业执行引擎，用来执行作业。
princejwg·2020-07-16 04:50

用Kettle的一套流程完成对整个数据库迁移

2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。
青龙白虎米老鼠·2020-07-16 01:56

在非图形界面的linux下部署kettle并使用示例

下载kettle的zip包上传至linux对应的目录下将windows上.kettle目录下的所有文件copy至linux对应的目录下在linux上创建目录作为资源文件目录以便保存.ktr和.kjb文件修改
jsjw18·2020-07-16 01:15

如何使用kettle连接hive和hive2

连接hive的方法：进入hive所在的服务器，输入：hive--servicehiveserver（目的：启动thrift）打开kettle配置连接界面，输入hive所在服务器的ip、所需要的hive库
jsjw18·2020-07-16 01:15

kettle4.1 连接 mysql8 库异常：org.gjt.mm.mysql.Driver

问题描述：mysql版本：8.0.16kettle版本：4.1使用kettle4.1连接mysql8库异常：org.gjt.mm.mysql.Driver默认mysql驱动版本：mysql-connector-java
huryer·2020-07-16 00:48

【开源】etl作业调度工具性能综合对比

最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？
taskctl调度工具·2020-07-16 00:43

Kettle与java项目集成指南

因为本次项目中使用java项目对kettle进行了封装，是用java代码来运行kettle的ktr和job文件，整理了一些需要注意的事项：1，首先是需要引入的第三方jar包：2，需要用文件的方式来保存kettle
晚霞下的枫叶·2020-07-16 00:25

用Kettle从MySQL迁移数据到Trafodion牛刀小试

众所周知，Kettle（PentahoDataIntegration,PDL）是市场上一款领头的开源的ETL工具，可以高效稳定的抽取、转换和迁移数据。
post_yuan·2020-07-15 18:56
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他