E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kettle
ETL工具--
Kettle
介绍
最早接触
Kettle
是在11年当时还在北京汇金科技公司(如今该公司被北京立思辰科技股份有限公司并购重组)的时候,从一个同事那里拷贝过来的,才知道我这么一个玩意儿,我当时主要用在异构数据库之间的快速导入数据
gaojingsong
·
2016-07-10 11:00
ETL工具--Kettle介绍
kettle
安装使用
下载kettile安装
kettle
前必须要装了java,如果系统内存大于4G,最好装64位的下载链接解压之后根目录下找到Spoon.bat文件,用编辑器打开,找到下面代码PENTAHO_DI_JAVA_OPTIONS
jaysonhu
·
2016-07-08 15:42
ETL
【Maven】Maven解决jar冲突调试步骤:第三方组件引用不符合要求的javassit导致的异常...
【环境参数】开发框架:Spring+MyBatis+SpringMVC+
Kettle
JDK版本:1.8.0_91javassist依赖版本:javassit-3.12.1.GA【障碍再现】在
Kettle
cjjwuh5400551
·
2016-07-04 22:31
kettle
读文件
读一个简单的txt文件输入——》文本文件输入新建文本文件test.txt内容为:“lastname”,”firstname”,”country”,”birthyear”“Larsson”,”Stieg”,”Swedish”,1954“King”,”Stephen”,”American”,1947“Hiaasen”,”Carl“,”American”,1953“Handler”,”Chelsea“,
CrazyL-
·
2016-06-28 21:39
#
kettle
SQLITE
KETTLE
抽取
用户需要的数据存放到sqlite数据库文件,拷贝数据库文件,安装客户端可以访问具体数据(oracle应该不可以)首先遇到问题为中文乱码,查找资料发现sqlite的字符集默认为UTF-8(查询命令忘记了)使用的抽取工具为
KETTLE
4.1
cuishaobo1694
·
2016-06-27 22:34
Kettle
资源库采用SQLserver数据库需要注意的点
Kettle
开源ETL工具有着自己的元数据存储方式,可以分为两种1:File 2:DB文件存储我这里就不多说了,下面说一下在用SQLserver2008R2作为资源库在创建的过程中遇到的问题
Kettle
Version
kingstudy
·
2016-06-20 21:00
数据提取、转换和加载 - ETL工具
OracleWarehouseBuilder)、ODI(OracleDataIntegrator)、InformaticPowerCenter、AICloudETL、DataStage、RepositoryExplorer、Beeload、
Kettle
ejinxian
·
2016-06-01 10:27
数据库
大数据
Kettle
TableInput 将从前一步骤获取参数整合到数据流中
开源ETL工具
Kettle
transformation中的tableInput步骤无法将上一步骤中参数添加到inputTable输出流中。但是有时需要上一步骤中的数据,这种情况下就很难处理了。
zokaper
·
2016-06-01 00:08
编程语言
ETL实践
Kettle
TableInput 将从前一步骤获取参数整合到数据流中
开源ETL工具
Kettle
transformation中的tableInput步骤无法将上一步骤中参数添加到inputTable输出流中。但是有时需要上一步骤中的数据,这种情况下就很难处理了。
jdk2006
·
2016-06-01 00:00
Kettle-ETL
kettle
增量抽取框架
利用
kettle
进行数据抽取,其实和手工的ETL流程差不多,最近结合项目整理了一个简单实用的抽取框架。
寡丶人
·
2016-05-30 17:04
Kettle
WebService组件无法传参问题解决
1.
Kettle
WebService组件
kettle
WebService转换组件【Web服务查询】可以用来调用我们发布的webservice。
ZzzCrazyPig
·
2016-05-30 14:17
etl.kettle
MERE CHRISTIANITY
MERECHRISTIANITYC.S.Lewis1943ScanandOCRbyCopper
Kettle
akaT.A.G,2003-12-21.Yekaterinburg.Corrected:vladioanSpellcheck
卡皮
·
2016-05-22 20:13
MERE CHRISTIANITY
MERECHRISTIANITYC.S.Lewis1943ScanandOCRbyCopper
Kettle
akaT.A.G,2003-12-21.Yekaterinburg.Corrected:vladioanSpellcheck
卡皮
·
2016-05-22 20:13
Kettle
环境搭建和源码编译
Kettle
主要是用于数据的转换工具,常见用于ETL。其实用它来做一些简单的数据接口转换功能再好不过了。
朱株
·
2016-05-18 18:30
kettle
介绍
1.
kettle
是什么
Kettle
是“
Kettle
E.T.T.L.Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETL需求:抽取、转换、加载数据;
kettle
翻译成中文名称应该叫水壶
ZzzCrazyPig
·
2016-05-17 20:57
etl.kettle
kettle
-error-OPTION SQL_SELECT_LIMIT=DEFAULT
问题描述
kettle
在抽取mysql数据到SqlServer时,表输入mysql查询正常,表输出获取字段时报错:Causedby:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException
bayden_hu
·
2016-05-17 19:56
kettle
详解大数据数据仓库分层架构
构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、
Kettle
kwu_ganymede
·
2016-05-10 23:08
Hadoop
Hive
Spark
详解大数据数据仓库分层架构
HIVE构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Fume、Sqoop、
Kettle
kwu_ganymede
·
2016-05-10 23:00
大数据
数据仓库
关于NLPIR应用在
KETTLE
中的探索
一:什么是NLPIR?NLPIR汉语分词系统(自然语言处理与信息检索共享平台),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。全球用户突破20万,先后获得了2010年钱伟长中文信息处理科学技术奖一等奖,2003年国际SIGHAN分词大赛综合第一名,2002年国
kingstudy
·
2016-05-09 14:00
ElasticSearch之定时删除数据
/bin/sh #example:shdelete_es_by_day.shlogstash-
kettle
-loglogsdate30 index_name=$1 daycolumn=$2 savedays
shan1369678
·
2016-05-09 13:00
elasticsearch
删除
数据
Kettle
中调用用户自定义的jar包
ETL工具断断续续的也接触了Informatica,
Kettle
,SSIS,个人感觉Info很强大但是也很贵,而且有着一些神秘感。
kingstudy
·
2016-05-04 15:00
Pentaho Work with Big Data(八)——
kettle
集群
一、简介 集群技术可以用来水平扩展转换,使它们能以并行的方式运行在多台服务器上。转换的工作可以平均分到不同的服务器上。 一个集群模式包括一个主服务器和多个子服务器,主服务器作为集群的控制器。简单地说,作为控制器的Carte服务器就是主服务器,其他的Carte服务器就是子服务器。 一个集群模式也包含元数据,元数据描述了主服务器和子服务器之间怎样传递数据。在Carte服务器之间通过T
wzy0623
·
2016-04-18 22:00
kettle
download
https://sourceforge.net/projects/pentaho/files/Data%20Integration/https://sourceforge.net/projects/pentaho/?source=directory
lingzhiwangcn
·
2016-04-14 12:00
Pentaho Work with Big Data(四)—— 转换Hive里的数据
图2说明:
kettle
连接hive的相关配置参考http://blog.csdn.net/w
wzy0623
·
2016-04-13 10:00
KETTLE
6.0版本体验小结
不知不觉
Kettle
以及到了6.0,名字似乎也变了Pentaho官方的名称是Pentaho DataIntegration,于是就下载了最新的版本,下载地址为:PentahoDataIntegration
kingstudy
·
2016-04-11 17:00
Pentaho Work with Big Data(二)——
Kettle
提交Spark作业
实验目的:配置
Kettle
向Spark集群提交作业。
wzy0623
·
2016-04-08 16:00
Pentaho Work with Big Data(一)——
Kettle
连接Hadoop集群
从简单的开始,今天实验了一下
Kettle
连接Hadoop集群。实验目的:配置
Kettle
连接Hadoop集群的HDFS。
wzy0623
·
2016-04-07 16:00
【
Kettle
】数据库数据转移工具
阅读更多一、关于
Kettle
Kettle
是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定的数据迁移工具。
zhangliguoaccp
·
2016-04-07 09:00
Kettle
数据库数据转移
数据库操作
【
Kettle
】数据库数据转移工具
一、关于
Kettle
Kettle
是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定的数据迁移工具。
zhangliguoaccp
·
2016-04-07 09:00
Kettle
数据库操作
数据库数据转移
【
Kettle
】数据库数据转移工具
阅读更多一、关于
Kettle
Kettle
是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定的数据迁移工具。
zhangliguoaccp
·
2016-04-07 09:00
Kettle
数据库数据转移
数据库操作
kettle
java api 执行
Kettle
的作业和 转换
创建完毕后,添加
kettle
jar包;将上面类加入到classpath,同时还需要加入两个依赖: org.apache.commons commons-vfs2 2.0 org.scannotation
Rayn-瑞恩
·
2016-03-29 17:00
Kettle
kettle
-插件开发
插件下载地址:https://github.com/zry963/plugin_obfus该插件的主要功能为模糊字段值,如:李四---李某,18081198871--180811xxxxx等等Obfus.java代码/********************************************************************** **** **Thiscodebelon
zry112233
·
2016-03-24 10:00
java
源码
Kettle
kettle
-step插件结构
步骤插件-四个接口StepMetaInterface:这个接口向外面提供步骤的元数据并处理串行化。StepInterface:这个接口根据上面接口提供的元数据,来实现步骤的功能。StepDataInterface::这个接口用来存储步骤的临时数据,文件句柄等。StepDialogInterface::这个接口是Spoon里的图形界面,用来编辑步骤的元数据步骤插件StepMetaInterf
zry112233
·
2016-03-23 21:00
java
源码
Kettle
kettle
源码
1、
kettle
的体系结构
kettle
主要由3部分组成spoon,kitchen,pan。其中Spoon是一个图形化的界面,有转换和作业两种脚本。
zry112233
·
2016-03-23 20:00
java
源码
Kettle
ETL工具
kettle
源码解读-前言
kettle
4.4源码分析入手 1、源码导入 eclipse 可以从github上下载相应的 https://github.com/pentaho/pentaho-
kettle
并加入相应的关系
zry112233
·
2016-03-23 20:00
java
源码
Kettle
Kettle
数据抽取
1、创建数据库连接2、建立转换3、指定源数据库和目标数据库的字段映射一定要在「输出」中勾选「指定字段」,然后点按钮「GetAllfields」,再「Entermapping」,在弹出窗口映射字段。4、值映射指定字段,然后把要映射的数据拷贝到列表中。之前不会用这个的时候,还想着连个数据对码表,然后在这再设置下连接就可以了,现在看来把这软件想得太智能了,其实这样也很明了。5、记录过滤true和fals
taojiahuanjia
·
2016-03-21 15:00
kettle
定时任务(使用资源库)
转自:http://blog.csdn.net/feng19821209/article/details/58009601,
Kettle
跨平台使用。
david412306524
·
2016-03-19 11:00
Kettle
kettle
5.1.0 连接 Hadoop hive 2 (hive 1.2.1)
1.配置HiveServer2,在hive-site.xml中添加如下的属性 hive.server2.thrift.bind.host 192.168.56.101 BindhostonwhichtoruntheHiveServer2Thriftservice. hive.server2.thrift.port 10001 PortnumberofHiveServer2Thrifti
wzy0623
·
2016-03-16 10:00
Kettle
笔记
Kettle
笔记脚本用途说明: carte.sh:
kettle
提供的WebServer,可以远程监控和开启转换集群; kitchen.sh:用来运行作业; pan.sh:用来运行转换;
Rayn-瑞恩
·
2016-03-15 15:00
Kettle
kettle
获取系统信息及输出
实验任务:用
kettle
将postgreql中的数据,根据某个字段大于或小于某个值的数据输出到文本文件和数据库中。
drbing
·
2016-03-15 00:32
kettle
kettle
中调度kitchen.bat定时执行任务
转自:http://f.dataguru.cn/thread-178515-1-1.html本周项目上用到了
kettle
并且需要做任务调度,听老师说用
kettle
自带的调度不大稳定于是便baidu了下,
david412306524
·
2016-03-14 10:00
Kettle
kettle
开源etl数据抽取工具
需要进行数据的抽取,抽取到另外数据库表进行读取(2)对某些总计数据可以进行预先计算,抽取到另外数据库表(3)随访业务数据库为mongodb,统计程序编程效率低,需要转成sql类数据库提高效率2.工具使用
kettle
十年
·
2016-03-11 00:00
etl
mongodb
ETL利器
Kettle
实战应用解析系列一【
Kettle
使用介绍】
一、ETL利器
Kettle
实战应用解析系列一【
Kettle
使用介绍】二、ETL利器
Kettle
实战应用解析系列二【应用场景和实战DEMO下载】三、ETL利器
Kettle
实战应用解析系列三【ETL后台进程执行配置方式
李丁玲
·
2016-03-04 11:00
Hadoop技巧(01):插件,终端权限
文章是哥(mephisto)写的,SourceLink 序 在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的
Kettle
。
sinodzh
·
2016-02-29 10:00
在集群模式[slave-test]里没有定义从服务器问题的解决
部分
Kettle
版本部署集群时会遇到如下问题:需要修改源码,添加服务器列表在方法privatevoidcheckClusterConfiguration()中添加如下代码: //updatebycaiyyforslaveServers
caiyeyu
·
2016-02-21 12:04
最近学习
最近由于要把两个sqlserver2000中数据库(其他两个公司)导入公司自己的sqlsever2008.使用到了
kettle
工具,今天看了一天
kettle
,感觉会用,但是摸不着核心。
HappyBoyLi
·
2016-02-21 03:18
Kettle
etl
AI
ml
kettle
常用插件插入/更新数据丢失问题
[img]http://dl2.iteye.com/upload/attachment/0115/1637/4dbbc08a-6935-332c-825d-bfb6d4c0f98c.png[/img]数据采集过程中使用[color=red]插入/更新[/color]插件需要注意:1:关键字段查询,需要目标库不存在相同关键字段的数据,否则会多数据,如果存在类似的情况需要替换成[color=red]表
caiyeyu
·
2016-02-18 16:15
kettle脚本编辑
数据迁移工具--“水壶”(一)
也许这个名称听起来很陌生,但是数据迁移和数据转换都是大家耳闻能详的术语,而这个
kettle
就是为了更好的帮我们实现这些术语的工具;
kettle
是“
kettle
E.T.L Envirnonment
YSC1123
·
2016-02-18 15:00
数据
迁移
KETTLE
——(三)数据输出
数据输出和数据输入基本差不多,
KETTLE
本身支持的数据输出方式也特别多,还是以数据库输出为例。
「已注销」
·
2016-02-16 09:00
KETTLE
服务和工具
Kettle
转换(Trans)执行流程分析
1.
Kettle
转换执行流程
Kettle
转换执行流程体现在Trans类的execute()方法,代码如下所示:publicvoidexecute(String[]arguments)throws
Kettle
Exception
ZzzCrazyPig
·
2016-02-12 11:40
etl.kettle
上一页
44
45
46
47
48
49
50
51
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他