kettle

Kettle 从oracle导入hhbase

Kettle从oracle导入hhbase配置Hbaseoutput配置一：Configureconnection配置1：找到hbase的主节点作为hadoopcluster的链接地址2：从hbase主节点中获取对应的
CentOS_Pc·2019-02-19 15:38

java代码调用kettle的一次实践

使用kettle版本为8.2，开始时使用7.1但是7.1中写java代码片段时出现不少问题，换成8.2问题都消失了。
No丶Bug·2019-02-15 10:22

kettle 入门（四） 乱码问题 ！

在日常工作中我在oracle把数据导入到mysql当中的时候出现了中文乱码情况。本来是个很简单脚本操作，没想到难住我了，我用字段选择强制转码也不行，最后还是公司的老员工帮我解决了一下问题，我在这里也分享一下。（其实是个挺简单的操作就可以避免，但是也要确定你两个数据库的编码方式）正常的表输入，插入/更新操作。只需要在主对象树DB连接里面编辑一下你的mysql连接就可以轻松解决在选项里面增加几个参数就
corey_qz·2019-02-13 15:08

Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试

Windows环境安装安装版本：7.1基础环境：JDK1.8u144下载路径：https://sourceforge.net/projects/pentaho/files/DataIntegration/解压缩即可使用，绿色无污染SqlServer连接下载路径http://www.microsoft.com/zh-cn/download/details.aspx?id=11774，解压缩后的jre
不羁之心·2019-02-12 15:54

ketlle windows下的安装(最基本)

ketlle基本介绍kettle是纯java开发，开源的etl工具。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本还可以二次开发。
lillcol·2019-01-30 16:00

使用Kettle实现数据实时增量同步

0.前言本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。
仰望星空的我·2019-01-30 11:13

KETTLE常见问题和优化

http://www.cnblogs.com/jifeng/p/4741498.html这篇介绍KETTLE的博文可以经常阅读下面是我自己开发的一些体会：1.创建MySQL空资源库报错问题：因为boolean
仰望星空的我·2019-01-30 09:31

KETTLE —— 表输出

KETTLE——表输出KETTLE表输出添加DB链接驱动未安装配置参数添加输入源KETTLE表输出添加DB链接要输出到MySQL或Oracle等数据库时，必须添加DB连接。
Jiweilai1·2019-01-27 18:00

GeoKettle

【GeoKettle快速入门文档】https://live.osgeo.org/archive/10.5/zh/quickstart/geokettle_quickstart.htmlGeoKettle
目光的方向·2019-01-27 14:36

【Kettle】Kettle专栏：第2章：作业（Job）、转换（Transform）

*******************************本专栏由黎老湿独家创作，一家之言，不喜勿喷*******************************Kettle的控件分为2种：作业（Job
老黎·2019-01-25 23:39

解决HBase版本高低差异造成表查询失败问题

最近应公司业务需求，需要研究kettle的HBase表输入和表输出读取操作，自己用java写完测试demo，测试库是用公司的环境，HBase版本是2.1.2，一切ok，但是当产品让客户测试的时候，出了问题了
sharehoo·2019-01-25 10:12

kettle 入门（一）输入输出写日志 / 插入更新

里面有各种数据库的连接类型根据自己的需求选择数据库连接配置好之后我们就开始写kettle脚本（在里面写具体的sql脚本就可以）现在核心对象里面找到表输入拉入到我们新建的转换里然后是表输出然后将我们这个两个插件连接到一起在核心对象找出文本文件输出将他们连接在一起连接选择的时候选择错误步骤处理
corey_qz·2019-01-24 15:02

Kettle的使用分享~动态参数~JS脚本~多文本文件输入

Kettle设置参数通过js脚本设置参数变量并进行赋值，让参数变得可动态变化，便于后期定时任务的执行生成记录添加一个"输入->生成记录"对象，用于变量的声明javascript代码添加一个"脚本->Javascript
const_qiu·2019-01-21 16:15

Kettle的使用分享~Java脚本处理数据

其实最初使用kettle时还没注意到可以直接使用java代码进行数据处理，因为涉及到筛选数据，然后就各种添加字段处理、过滤等转换，写了十几个，结果当发现可以用java处理时，直接先写好java方法，然后打包成
const_qiu·2019-01-21 15:41

Kettle使用分享~安装和使用

下载安装第一步当然是下载安装了，我用的是pdi-ce-7.1.0.0-12版本，900M左右的压缩文件，解压后就可以直接使用了链接：https://pan.baidu.com/s/1R45y4BqWlr59dekgbSbYoQ提取码：xw1m配置java环境变量鼠标右击"我的电脑"->属性->高级系统设置->环境变量，然后再系统变量下新建一个新的变量pentaho_java_home，变量值就是你
const_qiu·2019-01-21 11:20

Kettle中ETL的效率优化

背景Kettle是什么？Kettle是一款开源的ETL工具，目前由Pentaho公司在管理。该工具包含一个可视化界面，可以用来设计、运行、调试ETL，被很多公司广泛采用。ETL是什么？
dqswuyundong·2019-01-17 14:18

开源ETL工具Kettle在win7下安装和配置笔记

Kettle主要用于数据库间的数据迁移（ETL），是一款免费开源的ETL工具，适合小型公司使用，感觉用这个自学数据挖掘很不错。
liuyawei2018·2019-01-17 13:27

kettle报错couldn't convert string [1970-01-01 00:00:00] to a date using format [yyyy/MM/dd HH:mm:ss.SS

kettle报错couldn'tconvertstring[1970-01-0100:00:00]toadateusingformat[yyyy/MM/ddHH:mm:ss.SSS]1.报错如下2019
LittleLawson·2019-01-08 13:25

Kettle报OPTION SQL_SELECT_LIMIT=DEFAULT错误的解决办法

近日使用kettle开发报表时，遇到错误：OPTIONSQL_SELECT_LIMIT=DEFAULT。
irokay·2019-01-07 15:02

IDEA使用教程2—Project Structure

TestIDEA_02.png在这里可以设置output位置IDEA_03.png在这里可以设置依赖IDEA_04.png在这里可以添加多个子项目IDEA_05.pngJava多项目的目录配置可以参见Kettle
yepeng05·2019-01-05 18:51

ETL工具之kittle使用案例整理

1.kettle案例一抽取gz格式文本内容保存到mongodbhttps://blog.csdn.net/zzq900503/article/details/786586492.kettle案例二抽取mysql
梦想编织着青春```·2018-12-28 17:47

shell-kitchen-job-资源库

/usr/local/app/jdk1.8.0_66exportLANG=en_US.UTF-8job_name=$2echo“------------start--------------”cd~/kettle
呆小妞·2018-12-26 13:02

Kettle日常使用汇总整理

Kettle日常使用汇总整理【日常链接地址：https://www.cnblogs.com/lsy-blogs/p/8268318.html】【命令地址：https://www.2cto.com/kf/
呆小妞·2018-12-26 13:26

数据补录-shell

数据补录-shellshjobssh~/kettle/shell/jobs_date.shCNVNCNVN_JOB>>~/kettle/shell/logs/dw/CNVN_job_.logjobs_date.sh
呆小妞·2018-12-26 13:43

Kettle使用示例

Kettle是一个开源ETL工具，做数据仓库用Spoon。
朱潘·2018-12-24 09:25

设置kettle的日志输出到指定文件下,carte子服务器设置日志输出位置，log4j配置

kettle数据处理时获取kettle控制台日志信息，配置如下：kettle工具版存放位置：D:\pdi-ce-6.0.1.0-386new需要设置D:\pdi-ce-6.0.1.0-386new\data-integration
Dr_Mnka·2018-12-22 16:18

java集成kettle6.0.1.0-386版本遇见的问题

1、kettlejava集成以api方式向carte发送执行job,接收到后能解析kjb文件，不能解析ktr文件；不能正常获取到资源库的名称信息Unexpectederrorduringtransformationmetadataload2018
Dr_Mnka·2018-12-22 15:36

java集成kettle6.0.1.0-386版本遇见的问题

1、kettlejava集成以api方式向carte发送执行job,接收到后能解析kjb文件，不能解析ktr文件；不能正常获取到资源库的名称信息Unexpectederrorduringtransformationmetadataload2018
Dr_Mnka·2018-12-22 15:36

hive 在kettle 作业return code 2 的问题 Unexpected exception: Unexpected exception: Unexpected exception:

今天突然进去跑不了数据老是报错returncode2.之前可以跑通的。日志如下矢量查询(Vectorizedquery)每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。可以通过设置sethive.vectorized.execution.enabled=true;但是如果数据量很大，她的batch就会很多，有可能导致returncode
IloveMing0305·2018-12-20 20:58

数据架构

数据源：DB数据库：来自服务端的数据Flume：埋点事件数据API：各个服务接口数据Kafka：服务消息数据Kettle：数据壶，数
说的对·2018-12-19 13:15

linux 环境下设置Kettle的转换，作业定时执行简单操作

1，Centos目录下面创建三个文件（kettleFile--存放kettle的转换或者作业；kettleLogs--存放运行中的日志；kettleShs--存放任务定时的shell文件）A2，对应的shell
起风了_ZXJ·2018-12-17 18:26

Kettle使用时间戳增量抽取数据

一、使用时间戳抽取数据原理数据库之间基于时间戳同步数据，原理是通过判断数据采集或者更新时间与某一个基准时间对比，把数据在时间的维度进行排序，同步变化了的数据，具体如图所示：A表是主表，B表是附表，中间表：时间戳表Time记录同步的基准时间。它的工作流程如下：1.Time表的原始记录是（T0,T0），一旦开始同步，它会变成（T0,Now）；2.取出A表中lastupdatetime>=T0andla
阿甘亮·2018-12-13 21:57

Kettle初识

目录Kettle初识起源关于HitachiVantara公司Kettle初识基本概念体系结构下载获取kettle名词解释Kettle的组件转换与作业的执行方式kettle转换之多线程以及job并行问题解决
西京刀客·2018-12-13 17:59

kettle常用插件

  最近在用kettle，分享一下我常用的一些插件。Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
CLG_csdn·2018-12-12 16:14

Flask（Jinja2） 服务端模板注入漏洞

原理参考文章：https://www.blackhat.com/docs/us-15/materials/us-15-Kettle-Server-Side-Template-Injection-RCE-For-The-Modern-Web-App-wp.pdfhttp
qianxiao996·2018-12-11 19:48

Kettle 全量抽取数据

本例子，来源表是一个oracle视图，目的表是一个oracle表，采用“表输入—表输出”进行ETL。1.在Spoon中，打开核心对象——表输入数据库连接中选择DB连接中的视图，SQL语句是相关的视图，需要哪些字段、过滤哪些条件，都是在SQL里面设置。如下图所示。2.在Spoon中，打开核心对象——表输出选择数据库连接，目标模式是oracle的用户（即导入哪个用户），目标是：新建表名。执行SQL语句
阿甘亮·2018-12-10 21:33

Kettle连接数据库(DB连接)

打开Kettle，建立转换，在DB连接中可以配置所有的数据库连接，以便在后续的过程中使用。连接创建并测试通过后可以在左侧DB连接下右键共享出来。
阿甘亮·2018-12-10 21:57

kettle 采取Hadoop 读取本地数据到hive

打开解压之后的文件双击spoon.sh，打开kettle的图形界面文件->新建->转换左侧主对象树->DB连接右击新建连接类型选择自己需要的数据库类型，这里我选择的是sqlserver,填好信息之后点击测试出现如图所示说明连接数据库成功
对方正在输入中……·2018-12-07 16:28

Linux服务器上部署kettle及ORACLE、sqlldr

Linux服务器上安装kettle安装相关文件Kettle直接将kettle压缩包放至服务器解压。
数据猿丶·2018-12-07 14:15

Kettle抽取数据时乱码解决方法

Kettle乱码问题oracle-oracle源数据US7ASCII,目标数据ZHS16GBKKettle程序在本地和服务器上运行可能会因为服务器默认编码格式问题出现乱码，Windows运行JVM的默认编码格式为
数据猿丶·2018-11-28 20:35

Kettle生成TXT文件文档时，指定文件内容分隔符，也可以指定ASCII码作为分隔符

在使用如左图插件来生成文本文件时，往往需要用到分隔符来区分列内容，通过情况下的键盘上可以看到的特殊字符就可以当作通用的分隔符了，如|;,|^等等；但如果以上情形还不满足的话，可以考虑用ASCII码中的特殊字符来区分，如我如果想使用|(竖线和向左的箭头)这个字符串来分为分隔符怎么办呢，如下图格式：解决办法：在文件文件输出插件的【内容】设置窗口中的分隔符处设置如下：即内容如下：|$[1B]说明：其中$
遇见小豆·2018-11-27 17:39

选用Kettle开源ETL工具应注意的问题

Kettle是一个Java编写的ETL工具，从4.2版本开始遵守ApacheLicence2.0协议，最新稳定版为7.1。。
Johny_Beijing·2018-11-27 13:44

kettle读txt文件并处理

kettle版本7.1,java版本必须是1.8实例1：text文件只有一列1.同时读取多个文件使用Textfileinput工具若是读取单个文档，直接输入：路径加文件名即可若是读取多个文件，输入文件所在目录
binbin_09_10·2018-11-27 11:27

kettle8调度监控平台（kettle-scheduler）开源

原文链接：https://my.oschina.net/u/4023929/blog/2907276背景Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。
chenyou9037·2018-11-22 17:00

kettle中表输入和插入/更新的区别

表输出跟插入更新对比少了更新这个步骤，通过比较源表和目标表中的主键。案例一：源表有的，目标表没有源表idvalue11112222目标表idvalue1111表输入和插入更新的最终目标表结果idvalue11112222结论：表输入和插入更新的结果一样案例二：源表和目标表条目相同，value字段不一样源表idvalue11112222目标表idvalue11112111表输入的最终目标表结果idv
隨遇灬而安·2018-11-19 15:51

Kettle 中常用 控件一览

DataGrid:TheDataGridstepallowsyoutoenterastaticlistofrowsinagrid.Thisisusuallydonefortesting,referenceordemopurposes.Calculator:对一个表结构数据，至多对其中三列进行计算，生成新的一列Switch/Case:根据某一列的值，routetherowdatatodifferen
chenyiming2010·2018-11-16 17:33

KETTLE常见问题和优化

1.创建MySQL空资源库报错问题：因为boolean类型的问题，Mysql中的boolean类型实际上保存为TINYINT，需要手动的修改生成资源库的sql脚本，将其中的插入用户ENABLED的值由Y修改为1，在数据同步的时候也特别要注意TINYINT类型的字段，ETL在读取数据以后会将值显示为Y或者N，保存到另外一张表的TINYINT中就会报错。2.乱码问题：数据库连接在选项中添加charac
chenyiming2010·2018-11-16 12:35

Java基础与Kettle分析学习笔记001

秉承借助分析Kettle的机会，巩固JavaSE基础，学习优秀源代码程序。1.Kettle工具简介（1）Kettle是一款国外开源ETL工具，有两种脚本文件：transformation和job。
HNDX2018·2018-11-09 14:52

kettle抓取网页上的数据存储到数据表中

今天做一个利用kettle抓取网页数据存储到数据表中的demo，如抓取AA市的空气质量AQI1.查看网页信息2.按下开发者工具，查看获取空气质量日报的请求3.弄懂了网页请求，并通过查看数据格式，可以在数据库中建表
bird_tp·2018-11-09 09:24

【Kettle】—— Kettle增量同步变动数据

需求：最近在用kettle同步数据的时候，有增量同步的需求。之前也遇到过这个需求，查阅了很多文章，也试了很多方法，都没有实现我所需的简洁的方式。
MaiXiaochai·2018-11-07 00:56
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他