E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kettle
【
Kettle
】3、数据源连接配置
1、各系统版本信息System:Windows旗舰版ServicePack1
Kettle
版本:6.1.0.1-196JDK版本:1.8.0_722、连接介绍关于
Kettle
数据源连接方式有三种:Native
卡卡不卡
·
2017-09-19 16:00
Pentaho
Kettle
Solutions (读书笔记)【2.
Kettle
基本概念】
Kettle
设计模块转换转换包括一个或多个步骤(step),这些步骤由跳(hop)连接,跳定义了一个单向通道,允许数据从一个步骤向下一个流动。
NathanGan
·
2017-09-19 16:22
读书笔记
数据
etl
【
Kettle
】2、文件夹与界面介绍
1、文件夹介绍下载
Kettle
6.1解压后出现下图相关文件夹以及文件夹介绍说明:Lib:存放
Kettle
的核心(core)jar包、工作引擎(engine)jar包、数据库(DB)jar包、图形界面(UI
卡卡不卡
·
2017-09-19 14:00
【
Kettle
】1、简单介绍
--------------------------------------------------------------------------------------------------1、
Kettle
卡卡不卡
·
2017-09-19 11:00
【
Kettle
】8、变量参数传递介绍
本文为转载,感觉作者的辛勤劳作:http://blog.csdn.net/rotkang/article/details/21008271-----------------------------------------------------------------------------------------------------------------------------------
卡卡不卡
·
2017-09-19 11:00
数据仓库分层架构设计
构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、
Kettle
丹江怒潮
·
2017-09-15 10:39
hive
数据仓库
Kettle
连接Mysql数据库报错
新安装了
Kettle
6.1,安装文件为pdi-ce-6.1.0.1-196.zip。连接Mysql数据,输入IP地址数据库名称用户名密码,报错!
logic_tibu
·
2017-09-14 17:29
Windows下
kettle
安装及建立与资源库连接
日常牢骚结束,开始进入正文(我都不信)好吧,进入正题,本熊最近接触了有关
kettle
的一些内容,关于
kettle
,中文水壶,一种数据抽取的工具我也还不是很理解,大概百度一下你就知道了(就这种博客纯属坑人啊
菜鸟程序熊
·
2017-09-12 19:44
kettle
使用
kettle
跨库同步表数据
场景:在oracle数据库中有一个表A,在mysql数据库中有一个表B,现在需要将表A中的数据,同步到表B中解决方案:使用
kettle
转换表数据输入(数据来源)先new一个转换点击
kettle
的左上角的
我是范特西啊
·
2017-09-06 12:00
kettle
Kettle
根据时间戳同步数据实现
1
Kettle
总体步骤更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考—最全的数据同步总结由于
Kettle
自身的特殊性以及在多个步骤中
kettle
自身处理数据库事务的特殊性
张永清
·
2017-08-14 22:00
Kettle
7.1 创建数据库资源库方法整理
本文主要是在
Kettle
7.1中配置资源库得方法,将配置资源库时遇见得问题整理了一下,作为备忘录使用1.运行spoon.bat的常见错误:1.1.Java错误该错误是因为
Kettle
7.1版本不支持jdk1.7
香辣绵阳卷
·
2017-08-11 12:19
教程
常见ETL工具一览
的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具
Kettle
Luob.
·
2017-08-08 11:00
数据挖掘
常见ETL工具一览
的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具
Kettle
Luob.
·
2017-08-08 11:00
数据挖掘
Kettle
资源库-保存
Kettle
元数据
Kettle
资源库-保存
Kettle
元数据
Kettle
资源库–元数据元数据的通用概念:•“描述性数据”或“数据的数据”ETL的元数据:•描述ETL要执行的任务,简单的说就是在转换或者作业里面进行的那些设置
风吹蛋蛋凉凉
·
2017-08-08 09:59
kettle
Linux服务器上安装配置VNC Server
前言项目需要在Linux上进行数据抽取的相关任务,使用的是
Kettle
这一ETL工具,但是服务器就一个主机,这里对应
Kettle
的job和trans等相关配置就无法进行,所以需要使用远程图形界面VNC来实现
木大白易
·
2017-08-07 16:46
Linux
OS
kettle
调用java代码处理数据
1.新建Java测试类,导出Jar包,放在
kettle
目录中的libext文件中packagetest;publicclassTest{publicstaticfinalStringgetMyName(
arno_dzl
·
2017-08-04 14:59
JAVA
ETL工具之——
kettle
使用简介
阅读更多阅读原文请点击摘要:今天我们打断一下ELK工具的使用讲解过程,来说说ETL工具
kettle
。
骑猪逛街666
·
2017-08-04 14:00
java中调用
kettle
转换文件
本文说明
kettle
5.1中假设通过其它API和java代码无缝集成;网上大多数资料都是低版本号的。在
kettle
5.x中已经不能执行。
F1576813783
·
2017-08-04 11:26
kettle
整合到web项目并运用quartz实现定时任务
同步工具运用了比较流行的ETL工具
kettle
,首先我们在
kettle
界面工具Spoon中设计好同步文件如studentTableETL.ktr,然后在web项目通过quartz定时调用studentTableETL.ktr
live_xian
·
2017-08-02 10:28
kettle
etl
用
kettle
进行数据库的迁移--DB2 迁移到 mysql
一、前言开始给用户提供的整套系统是部署在WAS服务器和DB2数据库上的,由于WAS和DB2都属于IBM收费产品,根据用户需求,为了节省这笔开销,想使用免费开源的数据库和Tomcat服务器。于是数据库选择了MariaDB。这就涉及到,在不动系统代码的情况下,怎样直接将DB2数据库的表结构、数据、主键、索引等迁移到MariaDB上。接着这个苦差事就落到我头上了。第一次做这类型的工作,在网上找各种数据库
码农界的彭于晏
·
2017-08-01 00:00
kettle
迁移
db2
mysql
Kettle
调度实现
9本文介绍使用shell调用
kettle
job实现数据调度功能。
天蓝-fly
·
2017-07-31 14:42
DW系列
kettle
的job中运行每行
假设我们须要导入从一个起始日期到昨天全部的旧数据,手工执行job是痛苦的也是错误的做法,
kettle
是能
aoe41606
·
2017-07-30 18:00
在centos7下设置
kettle
定时任务
环境centos7jdk1.8.141
kettle
7.11.确定本地已配置好java1.8环境,将
kettle
安装包复制到linux目录下,unzip解压2.运行kitchen.sh可以看到相关命令说明环境配置无误
PC663
·
2017-07-25 23:15
父类的引用对象指向子类的对象
下面的一段代码来实现这个比喻:1publicclass
Kettle
{2public
Kettle
(){3System.out.println("水壶容量有2升");4}5}67pub
ppliupeng
·
2017-07-23 11:00
一个人的敏捷开发
AlexAndrews在成立Ten
Kettle
s的时候花了很多了精力去考虑这个问题。直到有一天上帝把敏捷开发砸到了他的头上,很快他就找到了适合他的敏捷开发之道。他认为敏捷开发极大的解放了他的生产力。
CepheusSun
·
2017-07-22 14:55
Kettle
之【执行SQL脚本】控件用法
版本:
kettle
6.1控件:执行SQL脚本该控件可以执行一个update语句,用来更新某个表中的数据,如果不带条件,就很简单,把SQL语句粘贴到控件中,设置好数据库连接即可如果需要带条件执行,则需要进行一些设置
周小科
·
2017-07-20 11:40
kettle
KETTLE
大批量提交数据时出现丢失问题
之前在做ETL是,表输入控件中,设置批量提交,并且将【提交记录数】设置为10万,脚本正常执行完,没有报然后错误,但是目标表的数据行数只有源表的三分之一左右,出现了数据莫名丢失的情况,在交流群中求助,也没有谁能解答,百思不得其解。一次偶然的机会,在网上看到关于oracle的jdbc驱动,比较ojdbc6.jar与ojdbc14.jar的区别。提到ojdbc14.jar存在的一些bug,批量插入10万
周小科
·
2017-07-18 15:45
ORACLE学习日记
kettle
Kettle
性能调优汇总
本章主要是介绍
Kettle
的性能优化及效率提升。一、
Kettle
调优1、调整JVM大小进行性能优化,修改
Kettle
定时任务中的Kitchen与Pan脚本中。
32氪
·
2017-07-18 15:34
性能测试
性能测试(工具)
kettle
迁移数据
导航转换作业笔者当时做的数据量还是比较大的,所以当时参考网上的文章,做了分页的操作;分页vartotalCount=parseInt(parent_job.getVariable("TOTAL_COUNT"));varpageSize=parseInt(parent_job.getVariable("PAGE_SIZE"));vartotalPage=parent_job.getVariable(
AlisaSmiler
·
2017-07-15 11:51
Kettle
实现简单的数据抽取
1、实现目标实现将A数据库(115.29.208.253为例)中sys_user表格中的某一条数据抽取出来,插入到B数据库(192.168.1.252为例)中t_sys_user表格中的去。2、实现方法1)打开Spoon软件,文件--新建--转换;2)文件--新建--数据库连接,新建两个连接115.29.208.253和192.168.1.252,如图1、图2。链接名称随便写,主机名称xxx.xx
牛梦林
·
2017-07-14 23:07
ETL工具
Kettle
数据
Kettle
中根据一个输入行派生出多个输出行
依然在北京,早上停电了,整个人感觉对不好了,接下来就说一下在使用ETL工具
kettle
做数据校验的时候遇到的一些问题,一级解决方案.1:数据校验效果图下图:原始表数据(需要校验的表数据)对上表数据进行校验
KingCodes
·
2017-07-12 17:20
[
KETTLE
]
kettle
开发中的OPTION SQL_SELECT_LIMIT=DEFAULT报错
请支持原创,认准DannisTang(tangweixuan1995@foxmail.com)在
kettle
开发过程中,使用jdbc连接到mysql数据库,但能够连接到数据库,但是无法获取到字段,显示错误为
DannisTang
·
2017-07-12 14:10
ETL
日常报错问题
etl工具
kettle
学习——创建数据库连接及转换
前提条件:表里的字段指你从表输入或表输出中读取到的数据库中表的字段流字段指的是你
kettle
流程中输入控件输出的字段oracle用户:test/testtest用户下的表:test_student、t2
Jatham
·
2017-07-10 10:37
数据库
kettle
进行数据的简单处理
数据展示:(一)选取字符串最开始的数字和最后一个数字,筛除分隔符数据如图要进行操作的是“职位年薪”采用js脚本:varZDNX=parseInt(职位年薪);varindex=indexOf(职位年薪,'-');//varindex1=indexOf(职位年薪,'-');varin1=indexOf(职位年薪,'元');varZGNX=parseInt(substr(职位年薪,index+1,in
XXXX_T
·
2017-07-04 15:04
kettle
kettle
7.1 集成 HDP2.6 写入HDFS 报错问题
不仅HDP2.6存在问题,在与ApacheHadoop2.6.4集成过程中也出现同样的问题。2017/06/3012:18:18-生成随机数.1-完成处理(I=0,O=0,R=1,W=1,U=0,E=0)2017/06/3012:18:18-生成随机数.2-完成处理(I=0,O=0,R=1,W=1,U=0,E=0)2017/06/3012:18:18-HadoopFileOutput.0-ERRO
张章章Sam
·
2017-06-30 15:00
kettle
spoon配置资源库的数据库问题
最近在研究
kettle
调度工具的时候,发现了
kettle
-manager这个管理平台,原文地址:https://my.oschina.net/majj/blog/983091。
haiMing_csdn
·
2017-06-29 10:40
etl
kettle
mysql
kettle-manager
spoon
大小写
0609【精彩回顾】2017年奥瑞金冰球追梦之旅难忘瞬间大盘点2(冰上训练篇)
整个营期生活的大部分时间里,营员们往返于驻地和
Kettle
rCapitalsIceplex(首都人队训
orgsports
·
2017-06-21 18:44
Kettle
相关文章索引(1)
环境部署DataIntegration-
Kettle
6.0下载安装下载链接http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration
BlackEnn
·
2017-06-16 15:00
大数据
Kettle
Kettle
相关文章索引(1)
环境部署DataIntegration-
Kettle
6.0下载安装下载链接http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration
BlackEnn
·
2017-06-16 15:00
大数据
Kettle
Python开发
Kettle
做大数据ETL(前期准备)
Python开发
Kettle
做大数据ETL,这回事要上线的了。前期准备
kettle
任务,本地阶段。
大壮vip
·
2017-06-13 19:36
大数据
Python开发
Kettle
做大数据ETL(前期准备)
Python开发
Kettle
做大数据ETL,这回事要上线的了。前期准备
kettle
任务,本地阶段。
qq_33792843
·
2017-06-13 19:00
技术
大数据
架构
Kettle
etl
大数据
Kettle
数据清洗与定时任务开发
做一个定时校验的Job
Kettle
自行百度,做ETL的。下面就开始吧。
大壮vip
·
2017-06-13 19:59
大数据
hive
大数据
Kettle
数据清洗与定时任务开发
做一个定时校验的Job
Kettle
自行百度,做ETL的。下面就开始吧。
qq_33792843
·
2017-06-13 19:00
大数据
架构
Kettle
etl
数据清洗
Linux 下部署
Kettle
1.安装JDKLinux会自带JDK,如果不使用自带版本的话需要卸载。1.1卸载系统自带的jdk版本查看自带的jdk#rpm-qa|grepgcj比如,看到如下信息:libgcj-4.1.2-44.el5java-1.4.2-gcj-compat-1.4.2.0-40jpp.115使用rpm-e--nodeps命令删除上面查找的内容:#rpm-e--nodepsjava-1.4.2-gcj-com
qq_31556477
·
2017-06-11 11:48
linux运维工具
Kettle
连接MySQL数据库出现问题,连接不上
使用
Kettle
连接MySQL数据库,发生了错误,废话不多说,直接上图:错误信息:错误连接数据库[tcc]:org.pentaho.di.core.exception.
Kettle
DatabaseException
苏文星
·
2017-05-31 19:29
数据库
kettle
安装,启动spoon之后一闪就没了问题
Kettle
是Pentaho的一个组件,主要用于数据库间的数据迁移(ETL)。
Kettle
有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面。
chenxr36
·
2017-05-26 14:28
Kettle
kettle
工具的设计原则
Kettle
工具在设计初,就考虑到了一些设计原则。这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训。易于开发:作为数据仓库和ETL开发者,你只想把时间用在创建BI解决方案上。
weixin_33834679
·
2017-05-26 11:00
c#操作
Kettle
的KTR文件
Kettle
的开发和运行都是Java环境的,平时的启动也是依靠jvm,但由于本人不怎么会java,写java脚本也不是那么溜。所以,在很多时候就用C#来替代对转换的批量操作。
Async_1338
·
2017-05-22 17:39
KETTLE
整库迁移方案(SQL server迁移至Mysql,迁移过程自动创建表结构)
KETTLE
整库迁移方案1.
KETTLE
可以实现的数据抽量抽取方式2.
KETTLE
整库迁移方案3.
KETTLE
调度方式
KETTLE
可以实现的数据抽量抽取方式:基于时间戳字段在目标表中必须有时间戳字段(递增的形式
Saving_A
·
2017-05-19 15:51
kettle
etl
执行转换时如何让
Kettle
记录错误并继续执行?——记一种解决方案
如题,近几天在利用
Kettle
进行数据迁移的工作(也就是把数据全量导入到新数据库中,其中有些字段有些许调整),在写好脚本并执行后发现一个很严重的问题——每次脚本在执行到某个位置的时候就会意外停止,如下两图所示而自带的日志中提示类似如下
远在远方的风比远方更远
·
2017-05-13 14:16
【Kettle】
上一页
41
42
43
44
45
46
47
48
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他