E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
KEttle
ETL学习笔记之
Kettle
下载与部署
的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具
Kettle
刘浩辰Junioo
·
2017-09-28 16:44
ETL学习笔记
Kettle
Linux下安装
kettle
7.1
安装环境:centos7
kettle
版本:pdi-ce-7.1.0.0-12.zip需要JDK环境为1.8需要卸载自带JDK一、安装JDK1.8,我的路径是/usr/local下配置Java环境变量[root
白话
·
2017-09-25 15:51
kettle
kettle
kettle
——(3)全量抽取和增量抽取
上一节:
kettle
——(2)抽取数据同步数据库最近公司在做数据总线的工作,需要用
kettle
这个ETL工具,所以花了一些时间来研究研究,喜欢的话点个赞一数据抽取二全量抽取三增量抽取一增量数据抽取常用的捕获变化数据的方法触发器方式又称快照式会降低源数据库的性能所以用户一般不会同意滴时间戳方式一般比较常用好用全表删除插入方式全表比对方式性能较差日志表方式较为麻烦
Mr.yang♂
·
2017-09-22 16:37
ETL工具
kettle
——(1)介绍和Execl输出举例
最近公司在做数据总线的工作,需要用
kettle
这个ETL工具,所以花了一些时间来研究研究,喜欢的话点个赞一、何为
kettle
1.ETL(数据仓库技术)英文Extract-Transform-Load的缩写
Mr.yang♂
·
2017-09-21 09:20
ETL工具
【
Kettle
】4、SQL SERVER到SQL SERVER数据转换抽取实例
1、系统版本信息System:Windows旗舰版ServicePack1
Kettle
版本:6.1.0.1-196JDK版本:1.8.0_722、连接数据库本次实例连接数据库时使用全局变量。
卡卡不卡
·
2017-09-20 16:00
【
Kettle
】3、数据源连接配置
1、各系统版本信息System:Windows旗舰版ServicePack1
Kettle
版本:6.1.0.1-196JDK版本:1.8.0_722、连接介绍关于
Kettle
数据源连接方式有三种:Native
卡卡不卡
·
2017-09-19 16:00
Pentaho
Kettle
Solutions (读书笔记)【2.
Kettle
基本概念】
Kettle
设计模块转换转换包括一个或多个步骤(step),这些步骤由跳(hop)连接,跳定义了一个单向通道,允许数据从一个步骤向下一个流动。
NathanGan
·
2017-09-19 16:22
读书笔记
数据
etl
【
Kettle
】2、文件夹与界面介绍
1、文件夹介绍下载
Kettle
6.1解压后出现下图相关文件夹以及文件夹介绍说明:Lib:存放
Kettle
的核心(core)jar包、工作引擎(engine)jar包、数据库(DB)jar包、图形界面(UI
卡卡不卡
·
2017-09-19 14:00
【
Kettle
】1、简单介绍
--------------------------------------------------------------------------------------------------1、
Kettle
卡卡不卡
·
2017-09-19 11:00
【
Kettle
】8、变量参数传递介绍
本文为转载,感觉作者的辛勤劳作:http://blog.csdn.net/rotkang/article/details/21008271-----------------------------------------------------------------------------------------------------------------------------------
卡卡不卡
·
2017-09-19 11:00
数据仓库分层架构设计
构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、
Kettle
丹江怒潮
·
2017-09-15 10:39
hive
数据仓库
Kettle
连接Mysql数据库报错
新安装了
Kettle
6.1,安装文件为pdi-ce-6.1.0.1-196.zip。连接Mysql数据,输入IP地址数据库名称用户名密码,报错!
logic_tibu
·
2017-09-14 17:29
Windows下
kettle
安装及建立与资源库连接
日常牢骚结束,开始进入正文(我都不信)好吧,进入正题,本熊最近接触了有关
kettle
的一些内容,关于
kettle
,中文水壶,一种数据抽取的工具我也还不是很理解,大概百度一下你就知道了(就这种博客纯属坑人啊
菜鸟程序熊
·
2017-09-12 19:44
kettle
使用
kettle
跨库同步表数据
场景:在oracle数据库中有一个表A,在mysql数据库中有一个表B,现在需要将表A中的数据,同步到表B中解决方案:使用
kettle
转换表数据输入(数据来源)先new一个转换点击
kettle
的左上角的
我是范特西啊
·
2017-09-06 12:00
kettle
Kettle
根据时间戳同步数据实现
1
Kettle
总体步骤更多数据实时同步方案,请参考笔者的另一篇博文:大数据时代,数据实时同步解决方案的思考—最全的数据同步总结由于
Kettle
自身的特殊性以及在多个步骤中
kettle
自身处理数据库事务的特殊性
张永清
·
2017-08-14 22:00
Kettle
7.1 创建数据库资源库方法整理
本文主要是在
Kettle
7.1中配置资源库得方法,将配置资源库时遇见得问题整理了一下,作为备忘录使用1.运行spoon.bat的常见错误:1.1.Java错误该错误是因为
Kettle
7.1版本不支持jdk1.7
香辣绵阳卷
·
2017-08-11 12:19
教程
常见ETL工具一览
的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具
Kettle
Luob.
·
2017-08-08 11:00
数据挖掘
常见ETL工具一览
的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具
Kettle
Luob.
·
2017-08-08 11:00
数据挖掘
Kettle
资源库-保存
Kettle
元数据
Kettle
资源库-保存
Kettle
元数据
Kettle
资源库–元数据元数据的通用概念:•“描述性数据”或“数据的数据”ETL的元数据:•描述ETL要执行的任务,简单的说就是在转换或者作业里面进行的那些设置
风吹蛋蛋凉凉
·
2017-08-08 09:59
kettle
Linux服务器上安装配置VNC Server
前言项目需要在Linux上进行数据抽取的相关任务,使用的是
Kettle
这一ETL工具,但是服务器就一个主机,这里对应
Kettle
的job和trans等相关配置就无法进行,所以需要使用远程图形界面VNC来实现
木大白易
·
2017-08-07 16:46
Linux
OS
kettle
调用java代码处理数据
1.新建Java测试类,导出Jar包,放在
kettle
目录中的libext文件中packagetest;publicclassTest{publicstaticfinalStringgetMyName(
arno_dzl
·
2017-08-04 14:59
JAVA
ETL工具之——
kettle
使用简介
阅读更多阅读原文请点击摘要:今天我们打断一下ELK工具的使用讲解过程,来说说ETL工具
kettle
。
骑猪逛街666
·
2017-08-04 14:00
java中调用
kettle
转换文件
本文说明
kettle
5.1中假设通过其它API和java代码无缝集成;网上大多数资料都是低版本号的。在
kettle
5.x中已经不能执行。
F1576813783
·
2017-08-04 11:26
kettle
整合到web项目并运用quartz实现定时任务
同步工具运用了比较流行的ETL工具
kettle
,首先我们在
kettle
界面工具Spoon中设计好同步文件如studentTableETL.ktr,然后在web项目通过quartz定时调用studentTableETL.ktr
live_xian
·
2017-08-02 10:28
kettle
etl
用
kettle
进行数据库的迁移--DB2 迁移到 mysql
一、前言开始给用户提供的整套系统是部署在WAS服务器和DB2数据库上的,由于WAS和DB2都属于IBM收费产品,根据用户需求,为了节省这笔开销,想使用免费开源的数据库和Tomcat服务器。于是数据库选择了MariaDB。这就涉及到,在不动系统代码的情况下,怎样直接将DB2数据库的表结构、数据、主键、索引等迁移到MariaDB上。接着这个苦差事就落到我头上了。第一次做这类型的工作,在网上找各种数据库
码农界的彭于晏
·
2017-08-01 00:00
kettle
迁移
db2
mysql
Kettle
调度实现
9本文介绍使用shell调用
kettle
job实现数据调度功能。
天蓝-fly
·
2017-07-31 14:42
DW系列
kettle
的job中运行每行
假设我们须要导入从一个起始日期到昨天全部的旧数据,手工执行job是痛苦的也是错误的做法,
kettle
是能
aoe41606
·
2017-07-30 18:00
在centos7下设置
kettle
定时任务
环境centos7jdk1.8.141
kettle
7.11.确定本地已配置好java1.8环境,将
kettle
安装包复制到linux目录下,unzip解压2.运行kitchen.sh可以看到相关命令说明环境配置无误
PC663
·
2017-07-25 23:15
父类的引用对象指向子类的对象
下面的一段代码来实现这个比喻:1publicclass
Kettle
{2public
Kettle
(){3System.out.println("水壶容量有2升");4}5}67pub
ppliupeng
·
2017-07-23 11:00
一个人的敏捷开发
AlexAndrews在成立Ten
Kettle
s的时候花了很多了精力去考虑这个问题。直到有一天上帝把敏捷开发砸到了他的头上,很快他就找到了适合他的敏捷开发之道。他认为敏捷开发极大的解放了他的生产力。
CepheusSun
·
2017-07-22 14:55
Kettle
之【执行SQL脚本】控件用法
版本:
kettle
6.1控件:执行SQL脚本该控件可以执行一个update语句,用来更新某个表中的数据,如果不带条件,就很简单,把SQL语句粘贴到控件中,设置好数据库连接即可如果需要带条件执行,则需要进行一些设置
周小科
·
2017-07-20 11:40
kettle
KETTLE
大批量提交数据时出现丢失问题
之前在做ETL是,表输入控件中,设置批量提交,并且将【提交记录数】设置为10万,脚本正常执行完,没有报然后错误,但是目标表的数据行数只有源表的三分之一左右,出现了数据莫名丢失的情况,在交流群中求助,也没有谁能解答,百思不得其解。一次偶然的机会,在网上看到关于oracle的jdbc驱动,比较ojdbc6.jar与ojdbc14.jar的区别。提到ojdbc14.jar存在的一些bug,批量插入10万
周小科
·
2017-07-18 15:45
ORACLE学习日记
kettle
Kettle
性能调优汇总
本章主要是介绍
Kettle
的性能优化及效率提升。一、
Kettle
调优1、调整JVM大小进行性能优化,修改
Kettle
定时任务中的Kitchen与Pan脚本中。
32氪
·
2017-07-18 15:34
性能测试
性能测试(工具)
kettle
迁移数据
导航转换作业笔者当时做的数据量还是比较大的,所以当时参考网上的文章,做了分页的操作;分页vartotalCount=parseInt(parent_job.getVariable("TOTAL_COUNT"));varpageSize=parseInt(parent_job.getVariable("PAGE_SIZE"));vartotalPage=parent_job.getVariable(
AlisaSmiler
·
2017-07-15 11:51
Kettle
实现简单的数据抽取
1、实现目标实现将A数据库(115.29.208.253为例)中sys_user表格中的某一条数据抽取出来,插入到B数据库(192.168.1.252为例)中t_sys_user表格中的去。2、实现方法1)打开Spoon软件,文件--新建--转换;2)文件--新建--数据库连接,新建两个连接115.29.208.253和192.168.1.252,如图1、图2。链接名称随便写,主机名称xxx.xx
牛梦林
·
2017-07-14 23:07
ETL工具
Kettle
数据
Kettle
中根据一个输入行派生出多个输出行
依然在北京,早上停电了,整个人感觉对不好了,接下来就说一下在使用ETL工具
kettle
做数据校验的时候遇到的一些问题,一级解决方案.1:数据校验效果图下图:原始表数据(需要校验的表数据)对上表数据进行校验
KingCodes
·
2017-07-12 17:20
[
KETTLE
]
kettle
开发中的OPTION SQL_SELECT_LIMIT=DEFAULT报错
请支持原创,认准DannisTang(tangweixuan1995@foxmail.com)在
kettle
开发过程中,使用jdbc连接到mysql数据库,但能够连接到数据库,但是无法获取到字段,显示错误为
DannisTang
·
2017-07-12 14:10
ETL
日常报错问题
etl工具
kettle
学习——创建数据库连接及转换
前提条件:表里的字段指你从表输入或表输出中读取到的数据库中表的字段流字段指的是你
kettle
流程中输入控件输出的字段oracle用户:test/testtest用户下的表:test_student、t2
Jatham
·
2017-07-10 10:37
数据库
kettle
进行数据的简单处理
数据展示:(一)选取字符串最开始的数字和最后一个数字,筛除分隔符数据如图要进行操作的是“职位年薪”采用js脚本:varZDNX=parseInt(职位年薪);varindex=indexOf(职位年薪,'-');//varindex1=indexOf(职位年薪,'-');varin1=indexOf(职位年薪,'元');varZGNX=parseInt(substr(职位年薪,index+1,in
XXXX_T
·
2017-07-04 15:04
kettle
kettle
7.1 集成 HDP2.6 写入HDFS 报错问题
不仅HDP2.6存在问题,在与ApacheHadoop2.6.4集成过程中也出现同样的问题。2017/06/3012:18:18-生成随机数.1-完成处理(I=0,O=0,R=1,W=1,U=0,E=0)2017/06/3012:18:18-生成随机数.2-完成处理(I=0,O=0,R=1,W=1,U=0,E=0)2017/06/3012:18:18-HadoopFileOutput.0-ERRO
张章章Sam
·
2017-06-30 15:00
kettle
spoon配置资源库的数据库问题
最近在研究
kettle
调度工具的时候,发现了
kettle
-manager这个管理平台,原文地址:https://my.oschina.net/majj/blog/983091。
haiMing_csdn
·
2017-06-29 10:40
etl
kettle
mysql
kettle-manager
spoon
大小写
0609【精彩回顾】2017年奥瑞金冰球追梦之旅难忘瞬间大盘点2(冰上训练篇)
整个营期生活的大部分时间里,营员们往返于驻地和
Kettle
rCapitalsIceplex(首都人队训
orgsports
·
2017-06-21 18:44
Kettle
相关文章索引(1)
环境部署DataIntegration-
Kettle
6.0下载安装下载链接http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration
BlackEnn
·
2017-06-16 15:00
大数据
Kettle
Kettle
相关文章索引(1)
环境部署DataIntegration-
Kettle
6.0下载安装下载链接http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration
BlackEnn
·
2017-06-16 15:00
大数据
Kettle
Python开发
Kettle
做大数据ETL(前期准备)
Python开发
Kettle
做大数据ETL,这回事要上线的了。前期准备
kettle
任务,本地阶段。
大壮vip
·
2017-06-13 19:36
大数据
Python开发
Kettle
做大数据ETL(前期准备)
Python开发
Kettle
做大数据ETL,这回事要上线的了。前期准备
kettle
任务,本地阶段。
qq_33792843
·
2017-06-13 19:00
技术
大数据
架构
Kettle
etl
大数据
Kettle
数据清洗与定时任务开发
做一个定时校验的Job
Kettle
自行百度,做ETL的。下面就开始吧。
大壮vip
·
2017-06-13 19:59
大数据
hive
大数据
Kettle
数据清洗与定时任务开发
做一个定时校验的Job
Kettle
自行百度,做ETL的。下面就开始吧。
qq_33792843
·
2017-06-13 19:00
大数据
架构
Kettle
etl
数据清洗
Linux 下部署
Kettle
1.安装JDKLinux会自带JDK,如果不使用自带版本的话需要卸载。1.1卸载系统自带的jdk版本查看自带的jdk#rpm-qa|grepgcj比如,看到如下信息:libgcj-4.1.2-44.el5java-1.4.2-gcj-compat-1.4.2.0-40jpp.115使用rpm-e--nodeps命令删除上面查找的内容:#rpm-e--nodepsjava-1.4.2-gcj-com
qq_31556477
·
2017-06-11 11:48
linux运维工具
Kettle
连接MySQL数据库出现问题,连接不上
使用
Kettle
连接MySQL数据库,发生了错误,废话不多说,直接上图:错误信息:错误连接数据库[tcc]:org.pentaho.di.core.exception.
Kettle
DatabaseException
苏文星
·
2017-05-31 19:29
数据库
上一页
41
42
43
44
45
46
47
48
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他