kettle

linux下的Kettle集群搭建

1、安装jdk2、安装kettle6.0到linux系统指定目录3、上传.kettle文件到/root目录4、修改kettle6.0/data-integration/pwd/carte-config-master
Hello_Error·2020-07-08 10:59

kettle数据同步的五种方案

数据同步：当数据源发生改变时，其他相关数据也跟着发展变化。根据需求不同可采取以下方案。1.触发器在数据库建立增删改的触发器。触发器将变更放到一张临时表里。oracle同步cdc优点：实时同步缺点：影响到业务系统，因为需要在业务系统建立触发器2.日志通过分析源数据库日志，来获得源数据库中的变化的数据。oracle异步cdc优点：不影响业务系统缺点：有一定得延时，对于没有提供日志分析接口的数据源，开发
楚兴·2020-07-08 09:23

Kettle的使用分享

pwd目录：Kettle集群配置文件。samples:自带的示例。simple
紧到长卜帅·2020-07-08 08:54

使用JAVA代码执行kettle的Job和转换

目录0.码仙励志1.需要导入的jar包2.使用JAVA代码执行kettle的Job3.使用JAVA代码执行kettle的转换4.GitHub地址0.码仙励志所谓勇气，就是不断经历失败，但是从不丧失热情。
码仙♥·2020-07-08 08:34

Java集成kettle开发-解决kettle无法插入空字符串的问题

问题背景今天使用kettle做数据归档时，发现kettle无法插入空字符串，它默认会把空字符串变为null。这就导致问题出现。
天地炫舞·2020-07-08 07:11

Kettle安装及配置运行环境

Kettle安装及使用1、kettle安装1.1kettle下载直接进入kettle官网，官网地址（http://community.pentaho.com/projects/data-integration
spurs611·2020-07-08 06:44

Kittle工具抽取文件出现乱码的情况解决方法

当使用kettle抽取文件时，遇到中文字符会出现乱码的问题，比较容易导致查询错误等问题。
A阿楠521·2020-07-08 03:43

ETL - 实战 Kettle 第三讲

前(fei)言(hua)在填充数据的时候，如果是测试数据，我们会经常发现有重复数据，这时候我们可以在表输入中，使用distinct语句去重，但是如果几行重复数据中，有一些诸如创建时间、更新时间等无关字段不同时，语句去重就达不到目的，这时候，我们就可以用PDI提供的去除重复记录步骤来实现，它的方便不在于能去除重复行数据，甚至可以去重指定字段，你只需在需要去重的步骤后添加即可。搜索步骤去除重复记录，拖
金华松软的我·2020-07-08 01:28

ETL - 实战 Kettle 第一讲

前(fei)言(hua)PDI主要有两个部件，一个是转换，另一个是作业，他们之间不同的是作业是同步的，即每一步骤都要等待前一步骤完成，而转换是所有步骤异步运行。对于我们的实战项目，要先将数据迁移填充至新客户表，因为订单表需要客户表的主键id作为它的外键，所以我们首先需要一个作业和两个转换，作业将会一个一个执行转换，第一个转换是迁移客户表数据，第二个则是将订单表拆分，和客户表关联。让我们创建一个新的
金华松软的我·2020-07-08 01:28

ETL - 实战 Kettle 第二讲

前(fei)言(hua)现在我们开始较为复杂的转换，我们需要来自两个数据库的关联数据。我们需要来自旧数据库的订单数据，还需要来自新数据库的客户表主键id和name来填充外键。我们将创建两个表输入、一个记录集连接（关联）和一个表输出。创建一个新的转换，另存为“订单客户关联数据迁移”。创建一个步骤表输入，新建数据库连接，为该步骤指定一个名称，编写查询，也可以直接点击获取SQL查询语句按钮获取，如下:创
金华松软的我·2020-07-08 01:28

ETL - 什么是 Kettle 及如何安装

前(fei)言(hua)Kettle使用突破性的元数据驱动方法，提供强大的提取、转换和加载(ETL)功能。
金华松软的我·2020-07-08 01:57

kettle数据库工具

一、kettle数据库工具，我认为主要用来做数据同步工作比较好用，其他方面肯定也有应用，工具有什么功能是一回事，用户怎么用，用来干嘛看用户操作够不够骚。
洛阳城里无落阳·2020-07-08 01:52

kettle的java脚本及java数据类型与kettle数据类型对应

publicbooleanprocessRow(StepMetaInterfacesmi,StepDataInterfacesdi)throwsKettleException{Object[]r=getRow
川xc·2020-07-07 22:28

ETL工具(kettle)相关资料-《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》研读

MattCasters的博客:http://www.ibridge.be/、www.kettle.be书籍:《PentahoKettle解决方案：使用PDI构建开源ETL解决方案》链接：https://
极客PlusA·2020-07-07 19:15

kettle集群部署

Kettle集群部署1)Kettle集群简介集群技术可以用来水平扩展转换，使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。
南方嘉木.·2020-07-07 14:10

Kettle集群介绍及（Windows、Linux）环境搭建

一、Kettle集群概述1)Kettle集群简介集群技术可以用来水平扩展转换，使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。
kone666·2020-07-07 12:35

ETL工具Kettle对PostgreSQL操作的基本介绍

用途和背景ETL(extract,transform,load)工具是用于数据库数据迁移清洗处理等操作的工具。我们有时会面临一种情况：实时运行的系统由于需求的变化而去更新DB的结构，这样便需要收集系统实时运行的数据，然后将其传入到新的DB结构中去，以确保实时运行的数据不会丢失。当然我们可以通过SQL（在没有bytea字段的情况下）或JDBC去完成整个流程，但是这样做远远不如ETL高效。Bug修改在
jaytse·2020-07-07 11:40

Kettle安装开发环境

//Kettle安装开发环境-http://www.jianshu.com/p/4f87043ada09下载kettle链接，选择需要的下载版本。
葡萄喃喃呓语·2020-07-07 10:08

Kettle — 安装和集群搭建

前提Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。
Demonson·2020-07-07 06:57

kettle从sftp下载多个文件并进行转换后输出

一.主流程梳理主流程1获取sftp上对应文件的存放路径;2从sftp下载指定的文件到指定的目录;3从下载后的指定目录,获取数据进行转换操作;二.获取ftp路径获取ftp路径1.生成记录生成记录此处要注意:限制为1;2.JavaScript代码JavaScript代码可通过点击测试脚本按钮测试脚本执行是否正确.//ScripthereDate.prototype.Format=function(fm
夏光辉·2020-07-07 06:20

【ETL】使用kettle工具将数据从oracle迁移到mysql

【ETL】使用kettle工具将数据从oracle迁移到mysql1kettle安装及运行kettle官网下载地址,下载完毕后大概有800多m下载完毕后，直接解压，双击Spoon.bat进行运行。
coco3600·2020-07-07 05:32

Kettle 增量导出MongoDB到Mysql表中

二、实现方式：1.kettle2.python脚本三、遇到的问题：kettle如何将增量时间作为变量传入到MongoDBInput中？
xukai5265·2020-07-07 03:03

一次kettle性能优化

将2.04G的数据导入到mysql数据库中，数据格式是json格式，由于包含不同类型的数据，需要将不同类型的数据进行拆分操作，提取出目标数据。其中涉及值替换，json解析，字段选择等操作。刚开始运行的过程发现很慢，而且解析到最后出现OOM的情况，完全崩溃，运行了几个小时OOM了，泪流满面。既然OOM，当然第一想到的是，那肯定内存不够啊，立马给加内存。好歹也学了一段时间深入虚拟机内存，打开jvisu
晨宇·2020-07-07 01:56

数据去重 填补空缺值（拉格朗日）

2.去重（1）将文本传入kettle，转换为excel文件（2）进行去重步骤操作，可以看到有4条重复数据被去除，输出表格。3.使用拉格朗日填补空缺值(一度读成朗格拉日(๑°ㅁ°๑)‼)（1）话不多说直
小刀砸儿·2020-07-07 00:40

kettle中调度kitchen.bat后面接参数，写定时更新任务

先普及一点知识Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。
QQzyb·2020-07-06 23:27

Linux环境下kettle集群部署小记（本文部署一主三从服务器）

kettle集群的部署已过了很长时间，今天突然想总结下部署过程，方便后人和自己以后部署方便。
KimballYue·2020-07-06 22:34

kettle使用教程(超详细)

今天详细详细说一下kettle的安装，安装的版本：jdk:jdk-8u152-windows--x64kettle:KETTLE-5.4一、环境部署1、安装JDK,按默认值安装即可2、设置环境变量,如图下图具体步骤
Jmayday·2020-07-06 22:06

java web项目整合kettle进行数据自动导入

文章目录分析：项目github地址：[kettle-springboot](https://github.com/haochenchn/kettle-springboot)实现：1、springboot
等等等等等再等·2020-07-06 20:07

Java实现Oracle到MySQL的表迁移

最近在做有关项目的时候，由于服务器数据库被其他人算法读取，导致我读取的时候很慢，于是乎打算将自己需要的表导入到本地的mysql数据库进行处理，刚开始当然是不想写代码，尝试用kettle实现表迁移，但是无奈数据量较大
weixin_30945319·2020-07-06 19:26

Kettle集群介绍及（windows、linux）环境搭建

一、Kettle集群概述1)Kettle集群简介集群技术可以用来水平扩展转换，使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。
HiloLv·2020-07-06 18:44

【开源】etl作业调度工具性能综合对比

最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？
wx5f02e1882406e·2020-07-06 16:12

kettle 将mysql 导入到hive（借助Hadoop File Output组件）

背景在使用kettle的表输出组件的时候，因为服务器hive版本为0.13,不支持insertintovalues的语法（hive的0.14版本才支持），所以通过表输出的方式，插入到hive会报错。
data_haozi·2020-07-06 15:11

Kettle与Hadoop（九）提交Spark作业

实验目的：配置Kettle向Spark集群提交作业。
wzy0623·2020-07-06 08:22

Kettle与Hadoop（八）执行Oozie作业

1.打开PDI，新建一个作业，如图1所示。图12.编辑'Ooziejobexecutor'作业项，如图2所示。图2说明：CDH631是已经建好的Hadoop集群连接，参见“https://wxy0327.blog.csdn.net/article/details/106406702#%E4%BA%8C%E3%80%81%E8%BF%9E%E6%8E%A5Hadoop%E9%9B%86%E7%BE%
wzy0623·2020-07-06 08:51

Kettle与Hadoop（七）执行Sqoop作业

目录一、Sqoopexport二、Sqoopimport一、Sqoopexport1.建立一个作业，将HDFS文件导出到MySQL数据库。（1）打开PDI，新建一个作业，如图1所示。图1（2）编辑'Sqoopexport'作业项，如图2所示。图2说明：CDH631是已经建好的Hadoop集群连接，参见“https://wxy0327.blog.csdn.net/article/details/10
wzy0623·2020-07-06 08:51

Kettle与Hadoop（六）执行HiveQL语句

1.建立hive表，导入原始数据，过程参考https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。2.建立一个作业，查询hive表，并将聚合数据写入一个hive表。（1）打开PDI，新建一个作业，如图1所示。图1（2）编辑'SQL'作
wzy0623·2020-07-06 08:50

could not initialize org.apache.hadoop.hive.ql.parse.StorageFormat

  客户现场安装好kettle，配置好集群，测试集群通过后，使用hive组件执行建表sql时报错(也不能向hive表中插入数据)：java.lang.NoClassDefFoundError:couldnotinitializeorg.apache.hadoop.hive.ql.parse.StorageFormat
遛猫达人·2020-07-06 04:02

kettle

失败处理：测试资源库是否可以连接Ping一台主机检查是否可以连接以返回行数为条件判断SQL语句运行成功或失败检查文件目录是否为空检查文件、数据库表、表的列是否存在。文件和目录的比较设置FTP和SSH连接超时每一个作业项执行后，都有成功或失败的输出。增量数据捕获CDCETL：从不同的源刺痛中抽取数据，把数据传递到流程的下一个步骤。把从源系统中抽取出的数据放在缓冲的数据库表活文件中作为中间存储层（这个
weixin_42304063·2020-07-06 03:17

Kettle入门教程

最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。
O型血橙·2020-07-06 01:02

kettle学习笔记（四）——kettle输入步骤

一、输入步骤概述输入步骤主要分为以下几类：•生成记录/自定义常量•获取系统信息•表输入•文本文件输入•XML文件输入•Json输入•其他输入步骤二、生成记录和自定义常量1.生成记录由于生成记录每行都是一样的数据，所以便诞生了自定义常量数据来手工模拟数据2.自定义常量数据常用于构造一些测试数据三、获取系统信息获得各类系统信息，常见的包括：•转换开始时间。•关键时间点信息•最多十个命令行参数•主机名/
weixin_30686845·2020-07-05 21:35

Kettle 使用教程（1）—入门

大数据的开发过程中使用的是Kettle为6.1.0版本简介Kettle是一款纯Java开发的ETL工具，它是跨平台的，所以它可以在Window、Linux、Unix上运行。
沙漏无语·2020-07-05 16:26

liunx下ETL（kettle）脚本定时任务（crontab）启动失败定位及解决

现象：最近项目有使用ETL工具kettle进行数据抽取更新，最终在服务器上执行时需要进行定时启动；通过crontab-e配置之后发现没有启动成功，由于只有子用户权限，没有root用户及sudo权限，经过一番排查及操作才得以解决
叶落自飘零·2020-07-05 15:48

使用Kettle向CDH集群中Hive导入数据表

使用Kettle向CDH集群中Hive导入数据表使用Kettle向CDH集群中Hive导入数据表步骤概览详细步骤环境准备环境配置数据抽取过程开发CDH集群搭建好了，需要向Hive中导入数据，环境如下：CDH
俊不见高堂明镜·2020-07-05 15:45

Kettle从零出发--1：初识

前言：开发工作中难免与数据库打交道，经常会遇到数据处理方面的一些问题，诸如：各种数据的处理，转换，迁移以及跨库操作数据表等基本操作，不使用工具直接写SQL处理起来可能比较复杂，这里的Kettle是处理上述问题简单方便
俊不见高堂明镜·2020-07-05 15:13

Kettle解析LIST JSON数据

JSON格式如下：{"list":[{"ref_date":"2016-06-12","user_source":0,"new_user":2,"cancel_user":14},{"ref_date":"2016-06-12","user_source":1,"new_user":3,"cancel_user":0},{"ref_date":"2016-06-12","user_source":
俊不见高堂明镜·2020-07-05 15:42

Kettle实战100篇 第1篇 介绍与安装

简介Kettle是一款由纯Java语言开发的免费开源的ETL工具,ETL即是Extract-Transform-Load的缩写,用来描述将数据从来源端通过萃取(Extract)、转换(Transform
萧明·2020-07-05 15:33

kettle连接Webservice接口

发送HTTPGET请求，获取返回内容，可以从前面获取URL、参数名、参数值通过Restful获取数据通过webService获取数据查询HTTP/WebService点击“load”能加载出方法kettle
u010082526·2020-07-05 15:05

Kettle Spoon入门教程

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
yysx·2020-07-05 15:01

在Window下安装解压版的mysql 5.7.11

今天由于要在windows下学习Kettle，因此在Windows下安装了mysql5.7.11，本来是没什么大问题的，但是在启动服务时还是出了点问题，服务老是启动不了：（一）解压到安装路径；（二）配置
tuhooo·2020-07-05 15:42

Kettle入门教程（1）：Mac安装Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Supperdoof·2020-07-05 13:10
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他