kettle

Java基础与Kettle分析学习笔记001

秉承借助分析Kettle的机会，巩固JavaSE基础，学习优秀源代码程序。1.Kettle工具简介（1）Kettle是一款国外开源ETL工具，有两种脚本文件：transformation和job。
HNDX2018·2018-11-09 14:52

kettle抓取网页上的数据存储到数据表中

今天做一个利用kettle抓取网页数据存储到数据表中的demo，如抓取AA市的空气质量AQI1.查看网页信息2.按下开发者工具，查看获取空气质量日报的请求3.弄懂了网页请求，并通过查看数据格式，可以在数据库中建表
bird_tp·2018-11-09 09:24

【Kettle】—— Kettle增量同步变动数据

需求：最近在用kettle同步数据的时候，有增量同步的需求。之前也遇到过这个需求，查阅了很多文章，也试了很多方法，都没有实现我所需的简洁的方式。
MaiXiaochai·2018-11-07 00:56

Kettle抽取数据-循环遍历数据

Kettle是个好工具，可是教程还是比较少，自己研究遇到了不少坑。版本：7.1循环遍历数据场景：我查出一个列表，需要针对列表中的每一个值再进行相同的处理。
bingovhh·2018-11-02 15:40

centos7 下使用kettle

参考：https://blog.csdn.net/zzq900503/article/details/79110810https://blog.csdn.net/shile/article/details/522505661.将压缩包拷贝到linux服务器下2.unzipXXX.zip解压如出现commondnotfound则需要安装unzip包，yuminstall-yunzipzip3.给sh
ajiu_9999·2018-10-29 18:57

【Trafodion使用技巧篇】Trafodion数据加载介绍

下表介绍了两种加载方法的区别：类型描述方法/工具TrickleLoad数据量较小，立即插入ODB工具（性能通常较第三方ETL工具更好);ETL工具如kettle、Informatica等;自主开发的ODBC
EsgynChina·2018-10-29 00:00

kettle进阶之database join

前言这并不是一篇入门教学，且不是一篇高阶教学，仅仅针对kettle的databasejoin。那么问题来了，kettle的databasejoin是什么？
北岛极客·2018-10-25 10:16

kettle定时任务

Kettle定时提取数据一、建立转换建立转换选择转换拖拽“表输入”、“表输出”控件，长按shift将两个控件连接起来①双击“表输入”，点击新建，输入要抽取的数据库的信息，如图1，点击测试显示连接成功
码&酒&故事·2018-10-24 11:16

KettleSpoon常见错误

在sqlserver中bit可以为1,0,null在kettlespoon转换到oracle中隐射的类型不允许为空,这个时候就会报错:列类型错误导致抽取数据的转换中断处理方式:将原系统中那些空的转换为0
隶属感·2018-10-24 11:32

kettle 知识

kettle的正常转换速度场景正常不正常数据库操作3k-2w条/秒3k以下文件操作2w条以上1w条以下、网络操作比数据库慢容易产生性能问题的场景1.查询类：数据库查询：数据库查询、数据库连接、插入更新Web
山猫233·2018-10-23 12:33

Kettle学习笔记009之脚本组件

主要介绍【Java代码】组件，【SQL】组件，【Shell】组件【Java代码】组件序言：【Java代码】组件是个自定义插件，用于当Kettle内置的组件无法满足需要的时候。
HNDX2018·2018-10-18 09:38

kettle学习笔记008之转换组件

注意：在使用【去除重复记录】组件之前一定要对去重的字段进行排序使用一个小示例来介绍这几个组件的使用，数据准备如下：要求目标表数据如下，即需要把原数据中name列不规范的数据处理掉并进行去重：Kettle
HNDX2018·2018-10-17 16:54

Kettle学习笔记007之转换--输出组件

介绍三个表输出组件：Excel输出，文本文件输出，表输出一.Excel输出组件1.Kettle提供两种Excel组件。【Excel输出】【MicrosoftExcel输出】a.
HNDX2018·2018-10-17 16:50

KETTLE中string转number

需求：需要将String类型的数据转换成number，输入到数据库表中前景：文本文件中有大量的number数据，但是有一些数据不是number。而是字符串'null'读取数据的时候报错：Couldn'tparsefield[Number(25)]withvalue[null],format[null]ondatarow字符串当然不能按number读取出来了。这个时候可以先将数据以String方式读
WIME·2018-10-16 23:28

Kettle环境搭建及使用（数据迁移）

Kettle的功能非常强大，是一款免费开源的ETL工具。这里主要讲将Excel文件数据导入到数据库中。
一只行走在闹市的猪·2018-10-10 14:30

简单shell脚本，与日志重定向输出

linuxcrontab定时任务：*/5****flock-xn/tmp/kettle_job_sjgz_server.lock-c'/bin/bash/opt/pdi-ce-6.1.0.1-196/kettle_job_sjgz_server.sh
gongchengshiv·2018-09-28 15:16

[数据仓库]kettle——入门操作(文本文件输入流)

文本文件有文件、内容、错误处理、过滤、字段和Additionaloutputfields等几个页签，主要说一下内容和过滤两个页签。内容，如下1）文件类型，保持默认csv即可2）分隔符：指的是文本文件每个字段间的分区标志，如下不可见分隔符的输入方法：$[01]3）文本限定符：当文本字段中有分隔符作为字段内容一部分的时候就需要文本限定符了，如下使用方法如下：结果如下4）逃逸字符：针对文本限定符而言，当
风一样的男人_·2018-09-27 22:35

Kettle提高表输出写入速度（每秒万条记录）

由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限
饭米粒zerlinda·2018-09-27 16:59

maven+kettle调用ktr文件，与web项目集成demo

先做一个jar工程，这个工程是jdk1.7的，使用maven说明：这个东西需要使用Spoon.bat设计转换，然后使用java调用Spoon.bat设置的demo.ktr文件目录结构如下：首先需要下载kettle6
不会撒谎的乌索普·2018-09-21 17:21

ETL工具-Kettle Spoon教程

KettleSpoon简介ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，了解并掌握一种etl
liaomin416100569·2018-09-21 14:03

Kettle快速入门

Kettle作为ETL工具，用于数据的抽取、转换、加载，为数据的整理提供数据采集、转换、导入、导出等功能。
古山行·2018-09-20 16:51

Kettle之【执行SQL脚本】控件用法

版本：kettle6.1控件：执行SQL脚本该控件可以执行一个update语句，用来更新某个表中的数据，如果不带条件，就很简单，把SQL语句粘贴到控件中，设置好数据库连接即可如果需要带条件执行，则需要进行一些设置
chenyiming2010·2018-09-14 17:49

手把手教你使用Kettle JAVA API进行数据抽取

原文转自：轻样知生-手把手教你使用KettleJAVAAPI进行数据抽取-TyliliKettle作为一款优秀的数据抽取程序，因为高效稳定的性能，一直被广大使用者所喜爱，并且还在国内广受好评。
Tylili.·2018-09-14 16:32

kettle 各组件说明

获取系统信息(getsysteminfo):这个步骤从Kettle环境中获取信息。生成行（GenerateRows）：这个步骤输出一定数量的行，缺省为空。可选包括一定数量的静态字段。
W_CHENGYOUQING·2018-09-14 13:28

Kettle提高表输出写入速度（每秒万条记录）

由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限
弧光_MAS·2018-09-12 17:41

kettle监控系统性能

这是官网对kettle监控系统性能介绍的链接：https://help.pentaho.com/Documentation/7.0/0P0/Monitoring_System_Performance/About_System_Performance_Monitoring
eiffel_forever·2018-09-12 11:28

Sqoop最佳实践

Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况
奔跑de五花肉·2018-09-08 01:44

kettle使用：数据转移到新数据库

什么是kettleKettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Stevent·2018-09-07 16:59

kettle入门使用手册一：把表导出txt文件

主要是因为没有txt数据文件，而数据库的表数据非常好造，哈哈哈，无论怎么加载，只要你好好的看了这篇文章，我感觉你就能简单的使用kettle进行数据加载了。
Lightning_2017·2018-09-06 16:39

No operations allowed after statement closed

昨晚kettle跑数据pao出了错本人链接的是mysql数据库发现这个org.pentaho.di.core.exception.KettleDatabaseException:UnabletoclearbatchforpreparedstatementNooperationsallowedafterstatementclosed.cuo
弧光_MAS·2018-09-06 15:47

KETTLE源码部署

文章参考：https://www.cnblogs.com/i-blog/p/6848582.html1.源码下载下载地址：https://github.com/pentaho/pentaho-kettle
eiffel_forever·2018-09-06 15:09

kettle的【阻塞数据】、【阻塞数据直到完成】、【执行SQL脚本】

kettle转换中的各个组件是并行的关系，job中是有先后顺序的，这样就可能会遇到一种情况——我想在某个步骤完成后再执行下面的步骤，这时该怎么办呢？
夜七夜·2018-09-05 21:21

ETL工具kettle的几个小插件（字符串替换，字段选择，将字段值设置为常量）

继续给大家介绍几个小组件：一、字符串替换这个功能类似于oracle的replace函数，就是将某个字段的某些字符替换成我们给定的字符首先，选择【输入流字段】，【输出流字段】自己命名（就是用来保存处理后的结果的字段，可以和输入流字段保持一致），可以选择【使用正则表达式】，【搜索】就是你希望被替换的字符、字符串，可以是一个正则表达式，【使用，，，替换】就是你期望用什么值替换被替换的部分，【设置为空串】
夜七夜·2018-09-03 16:11

ETL工具kettle的几个小组件（剪切字符串，增加常量，计算器）

接下来几天给大家介绍下几个常用的kettle组件1.剪切字符串所谓的剪切字符串，就类似于Oracle的substr函数，具体位置在某个转换的核心对象-转换中，如图使用方法为--双击打开组件，选择你要裁剪的流字段
夜七夜·2018-09-03 10:03

ETL工具kettle的数据分发和复制的区别

大家在实际操作过程中可能会出现一个这样的情况，当你将一个组件与另一个组件进行连接时，会出现一个告知框，如图这时候会让你选择分发或者复制，这时候很多朋友会疑惑，这俩有啥区别呢；当你的目标组件是单线程时，选谁没区别，什么叫目标组件和单线程呢，我这样解释如图：当你从表输出到更新时，更新就是目标组件，这时更新的组件左上方没有出现数字时就是单线程，当出现数字时就是多线程，如图咱们继续复制和分发，怎么区分是复
夜七夜·2018-08-27 21:27

ETL工具kettle怎么做定时任务

kettle做定时任务平时任务中经常需要用两种方法；一、kettle自带的功能。
夜七夜·2018-08-27 21:01

同步数据工具Pentaho-（也就是Kettle）

下载地址：https://community.hitachivantara.com/docs/DOC-1009855参考地址：https://sourceforge.net/projects/pentaho/中文参考地址：https://www.oschina.net/p/pentaho配置文档参考：https://blog.csdn.net/github_38806262/article/det
如此简单^_^·2018-08-27 17:43

kettle从数据库添加要求指定的日期内的数据，并且时间实现自增模式

首先我们有三张表事务表1EVENT_TEMP01（ID，代码，说明，START_TIME）事务表2EVENT_TEMP02（ID，代码，说明，START_TIME）时间表TIME_TEMP01（ID，START_TIME，END_TIME）三张表根据时间表的字段的开始时间，与最终时间获取事务表1的录入时间的这短时间的数据，并且这个任务执行完成之后，数据库时间表的内容自动更新为第二天的时间先创建作业
Mr_Tanga·2018-08-27 16:24

【记录】几个kettle的问题

本人由于对于kettle不太熟悉，因此有些做法可能比较蠢，不太合理，如果有更好的方式，也希望各位能够批评指出，谢谢~1、流程：通过ktr中执行一条sql，查看需要更新哪些日期，可能会出来三条数据如图：如果
lsr40·2018-08-27 11:03

kettle插入/更新

kettle插入/更新1.数据库环境--------------------实时表CREATETABLENowTable(IDINT,NAMEVARCHAR(100),InfoVARCHAR(100))
czzan·2018-08-25 09:07

kettle链接hive的环境配置

kettle链接hive1）首先将hive/lib目录的包导入到kettle目录D:\software\data-integration\plugins\pentaho-big-data-plugin\
小丑鱼1127·2018-08-24 09:14

ETL工具kettle怎么进行增量数据抽取：一、通过标志位

在平时的操作过程中可能大家需要经常进行增量的数据抽取，方法有很多种，接下来几天讲给大家介绍几种我本人经常使用的几种方式；首先给大家介绍我最喜欢的一种，就是通过标志位；操纵方法如下，在源表中增加一个标识字段，比如tongbu，当然可以为它设个默认值N，然后我们再增加一个索引nvl（tongbu，‘N’），增加索引是为了提高查询的速度，接下来我们来写具体的流程；我写的这个流程非常简单，有的朋友们会非常
夜七夜·2018-08-23 19:44

ETL工具kettle的csv输入和excel输入

实际工作中我们可能回经常将excel或者csv的数据导入到数据库中,这里讲下怎么通过kettle进行导入;首先说下这两种格式的区别:CSV是文本文件,用记事本就能打开,XLS是二进制的文件只有用EXCEL
夜七夜·2018-08-22 10:58

【Oracle】ORA-14400: 插入的分区关键字未映射到任何分区

问题描述：工作中使用kettle将原始库中的数据抽取到标准库中，在抽取过程中报错：【ORA-14400:插入的分区关键字未映射到任何分区】/【ORA-14400:insertedpartitionkeydoesnotmaptoanypartition
echo>>log·2018-08-21 13:00

ETL工具kettle基础--插入更新组件

插入更新组件主要是对表进行插入或者更新操作这个组件的逻辑是，根据选定的字段判断目标表中是否存在现有数据，如果存在则执行更新操作，否则执行插入操作；首先选择或添加一个数据库连接，目标模式指的是用户，用户同实例跨用户访问，提交记录数量理论上比较大的值有助于提高速度，但有可能引起锁表，所以一般不要设置太大，100-10000之间就好，如果出现频繁锁表的情况下也可以将值设置为1；‘不执行任何更新’：这个选
夜七夜·2018-08-21 09:00

探索Flask/Jinja2中的服务端模版注入（一）

如果你还没听说过SSTI(服务端模版注入)，或者对其还不够了解，在此之前建议大家去阅读一下JamesKettle写的一篇文章。作为一名专业的安全从事人员，我们的工作便是帮助企业组织进行风险决策。
大方子·2018-08-19 23:30

ETL工具kettle的使用,基础--1 (最基本的输入输出)

直接上干活,不扯淡我使用的kettle是6.1版本的,有需要的朋友可以到:https://sourceforge.net/projects/pentaho/files/Data%20Integration
夜七夜·2018-08-17 17:44

使用Kettle批量同步数据库表

目的(Kettle版本5.2或以上可由官网下载，免费开源)从源库中同步若干张数据表至目标库或目标文件中(鉴于Kettle工具对数据库连接的插件支持不是太好，最好是在源库与目标库类型相同的情况下使用，如：
遇见小豆·2018-08-14 12:16

使用kettle excel模板导入数据

水壶使用模板导入的Excel中1.选择Excel中输入，选择下图中红框显示的那个。2.按照下面步骤勾选文件在使用模板向一个已存在的表中插入数据时遇到过这个错误：018/08/1011:23:05-MicrosoftExcel输出2.0-错误（版本7.1.0.0-12，版本1来自2017-05-1617.18.02bybuildguy）：写入错误：java.lang.IllegalArgumentE
LaterEqualsNever~~·2018-08-10 14:39

kettle使用命令行来运行ktr和kjb

1：cmd方式运行1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data-integration,然后执行文件的命令为：pan/fileD:\etltest\EtltestTrans.ktr2.kjb的运行：运行job文件是通过kitchen.bat来运行的。打开cmd命令行窗口，转到Pan.bat所
chenyiming2010·2018-08-09 14:58
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他