E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kettle
Kettle
创建 Transformation
1.第一步,先准备数据和工具 安装好mysql以及客户端工具 数据: USE `test`; CREATE TABLE `account` ( `id` int(11) NOT NULL AUTO_INCREMENT, `account_name` varchar(50) CHARACTER SET latin1 NOT NULL, `custo
·
2015-11-01 12:07
transform
etl工具,
kettle
实现了周期
Kettle
这是国外的来源ETL工具,纯java写。能Window、Linux、Unix在执行。绿色无需安装,稳定高效的数据提取。
·
2015-11-01 11:20
Kettle
ETL利器
Kettle
实战应用解析系列一【
Kettle
使用介绍】
http://www.cnblogs.com/limengqiang/archive/2013/01/16/
kettle
apply1.html ETL利器
Kettle
实战应用解析系列一【
Kettle
使用介绍
·
2015-10-31 11:23
Kettle
jdbc认为mysql datetime默认值无效
今天想使用
kettle
抽取一张30W记录的表,我想简单的看一下
kettle
抽取的效率,不想在抽取至7999行时报错。
·
2015-10-31 10:16
DateTime
调整mysql字符设置解决
kettle
ETL时出现的乱码
从生产环境抽取数据至仓库时,发现目标库中的汉字是乱码。我的环境是从mysql至mysql,暂时没有异构数据库,架构比较简单。解决这个问题方法是调整mysql服务器的字符集,确保如下: mysql> show variables like 'char%'; + -- ------------------------+----------
·
2015-10-31 10:16
Kettle
Pentaho
kettle
使用环境
kettle
需要jdk环境,可先去oracle官站上下载。另外使用
kettle
需要用到jdbc或者odbc。我比较倾向于jdbc,恶补一下jdbc的概念与知识。
·
2015-10-31 10:15
pentaho
备忘--简单比较SPSS、RapidMiner、KNIME以及
Kettle
四款数据分析工具
SPSS、RapidMiner、KNIME以及
Kettle
四款工具都可以用来进行数据分析,只是彼此有各自的侧重点和有劣势。它们都可以逐步的定义数据分析过程,也同样都可以对数据进行ETL处理。
·
2015-10-31 10:17
Kettle
kettle
内存溢出
ETL工具
kettle
,在老版设计后,使用新版时,居然发生了内存溢出的错误: 出现: java heap 或者 OutOfMemory等字样 这是
kettle
分配的内存不足
·
2015-10-31 09:13
Kettle
维度模型数据仓库(三) —— 准备数据仓库模拟环境
示例数据库和ETL的SQL实现是在《DimensionalDataWarehousingwithMySQL:ATutorial》基础上做了些修改,增加了
Kettle
实现的部分。
wzy0623
·
2015-10-31 08:00
维度模型数据仓库(一) —— 概述
这三本书分别是《数据仓库工具箱(第三版)》、《DimensionalDataWarehousingwithMySQL:ATutorial》和《Pentaho
Kettle
解决方案》。
wzy0623
·
2015-10-31 07:00
自制Informatica教程
Informatica是最常用的ETL工具之一,与之类似的工具还有DataStage和
kettle
; 由于个人只用过Informatica
·
2015-10-30 16:55
Informatica
ETL利器
Kettle
实战应用
本系列文章主要索引如下:一、ETL利器
Kettle
实战应用解析系列一【
Kettle
使用介绍】二、ETL利器
Kettle
实战应用解析系列二【应用场景和实战DEMO下载】三、ETL利器
Kettle
实战应用解析系列三
techchan
·
2015-10-30 14:03
数据仓库
Kettle
连接Mysql数据库异常
环境:
Kettle
:
kettle
-spoon 版本stable release -4.3.0 Mysql:MySQL Server 5.5 数据库连接信息: 测试数据库连接情况
·
2015-10-30 12:29
Kettle
java调用
kettle
动态传参修改数据库连接
感言:网络的确帮助了我们,但是
kettle
的资料真实太少,英语学好是有必要的; 整体思路:创建javaproject→导入
kettle
所需要的包→实现
kettle
中的对象→重写对象内容→调用对象执行
·
2015-10-30 10:23
Kettle
kettle
工具导出excel报错内存溢出的解决方法GC overhead limit exceeded
一般情况下,我们会执行这样的语句调用kjb$
kettle
_home/kitchen.sh-file=$file_path/tongji.kjb在执行shtongji.sh时,有时数据量不是很大,只有几万条就会报错
叽哩古哩
·
2015-10-29 15:29
kettle
kettle
的jdk1.7环境变量配置
1).到官网下载需要安装的
kettle
版本,目前最新版本4.2,官网地址:http://
kettle
.pentaho.org,我们是使用的版本是
kettle
3.2 2).本地安装jdk 1.4或以上版本
·
2015-10-27 15:16
Kettle
kettle
菜鸟学习笔记3----
kettle
数据库连接错误及解决
若像我一样用的是mysql的话,可以到
kettle
的lib目录下,寻找,看有木有名称类似于mysql-connector-j
·
2015-10-27 12:45
Kettle
Kettle
添加对应hadoop版本的支持
在hdp的官网上有一个ETL工具叫做Talend Open Studio,然后我就下了,并且在群里询问了一下,突然间冒出来一群ETL高手,经高人指点认识了一款叫做
Kettle
的软件,经过这两天的试用
·
2015-10-27 12:14
hadoop
Kettle
简介
ETL和
Kettle
简介 ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。
·
2015-10-27 11:35
Kettle
kettle
作业(job)调用转换,设置变量,写日志到数据库中
首先建立转换:从数据库表到日志 表输入的设置: 日志设置: 新建job: 转换选择刚才建好的输出日志转换。变量设置如下: 此ID就是转换中的${ID},执行job,可以看到控制台输出日志结果: 黑色字体部分中只写出了id=1的一条记录。
·
2015-10-26 15:26
Kettle
可用于Hadoop下的ETL工具——
Kettle
看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——
Kettle
。
·
2015-10-26 15:25
hadoop
数据清洗小记(11):
Kettle
_利用设置变量实现数据增量(小例)
【背景】利用
kettle
工具,完成某表的增量工作。
huangyanlong
·
2015-10-22 01:00
Kettle
etl
设置变量
kettle
使用log4j管理输出日志
在使用
kettle
进行数据分析和清洗时日志非常多而且杂乱,使用原有的日志有时找不到异常的位置,有时日志不够详细,说简单一点就是日志不是我们想要的。
·
2015-10-21 12:54
Kettle
kettle
作业中的js如何写日志文件
在
kettle
作业中JavaScript脚本有时候也扮演非常重要的角色,此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。 job的js写日志的方法。
·
2015-10-21 12:53
Kettle
kettle
job如何利用java的反射机制获取执行的sql语句
kettle
job中的JavaScript如何获取同一个job中SQL步骤的执行语句并让执行语句记录在日志中呢?
·
2015-10-21 12:53
Kettle
Kettle
集群
本文转自:http://blog.csdn.net/dqswuyundong/article/details/5952009
Kettle
集群
Kettle
是一款开源的ETL工具,以其高效和可扩展性而闻名于业内
·
2015-10-21 12:53
Kettle
kettle
转换JavaScript加载外部js文件
日常开发中,时常会出现这样一种情况。有大量的函数是通用的。而每个JavaScript里面写一遍,给维护带来很大的困扰。因而需要将公共的函数写在外部js文件中。这时就需要引入外部的公共文件了。下面是在转换里的JavaScript组件中引入外部公共js文件。 //加载js文件 LoadScriptFile(getVariable("Internal.Transforma
·
2015-10-21 12:52
JavaScript
使用
kettle
转换中的JavaScript对密码进行加密和解密
然而
kettle
是怎么对密码进行加密和解密的呢? 下面的代码需要再转换中的JavaScript中运行。
·
2015-10-21 12:51
JavaScript
解决
kettle
配置文件中的中文乱码
在日常开发中有时候配置文件会出现中文(如config.properties 里有中文),为了避免出现乱码,因而要转成unicode编码。 1、在设置变量的javascript(转换中的JavaScript)中进行编码转换。(推荐使用此方式) if(!Value.isNull()){ var value = new java.lang.String(new java.lang.Stri
·
2015-10-21 12:50
Kettle
kettle
的内存设置及输出日志的时间类型
本文转载自:http://blog.csdn.net/dqswuyundong/archive/2010/10/19/5952004.aspx 设置
kettle
的内存 REM ***********
·
2015-10-21 12:49
Kettle
如何在命令行下运行
kettle
的作业(job)和转换(transform)
pan 是执行转换的。 Pan.bat /file C:\test.ktr /logfile c:\log.txt /level Basic kitchen是执行job的。 kitchen.bat /file C:\test.kjb /logfile c:\log.txt /level Basic 更多资料可参考:http://wiki.pentaho.co
·
2015-10-21 12:48
transform
kettle
与各数据库建立链接的链接字符串
kettle
与各数据库建立链接的链接字符串 Sybase: TO_DB_URL = jdbc:sybase:Tds:192.168.168.163:5000/testdb?
·
2015-10-21 12:48
Kettle
Kettle
命令行使用说明
Kettle
命令行使用说明 1.Pan——转换执行器 用来执行转换。参数与Kitchen类似,如下。
·
2015-10-21 12:12
Kettle
kettle
使用命令行来运行ktr和kjb
1:cmd方式运行 1.ktr的运行:运行transformation文件是通过Pan.bat来运行的。 打开cmd命令行窗口,转到Pan.bat所在的目录,如d:\data-integration,然后执行文件的命令为:pan /file D:\etltest\EtltestTrans.ktr 2.kjb的运行:运行job文件是通过kitchen.bat来运行的。 打开cmd命令行窗口,
·
2015-10-21 11:11
Kettle
java调用
kettle
批量执行
程序控制ETL数据抽取过程的时候,难免会遇到要执行一个复选框列表的ktr,那么前段传过来的就不仅仅是一个ktr;那就是一个未知数目的ktr列表了,思想就是封装:遍历:赋值:执行; 1 package
kettle
·
2015-10-21 11:09
Kettle
kettle
环境变量设置类问题
kettle
免安装的,但是需要配置环境变量 ComSpec=%SystemRoot%\system32\cmd.exe--和CMD命令有关的环境变量。
·
2015-10-21 11:06
Kettle
Linux下面部署和手工执行
kettle
Job
login as: hadoophadoop@192.168.0.2's password:Last login: Sat Mar 2 17:48:03 2013 from 192.168.0.13[hadoop@hadoop-etl-2-175 ~]$ crontab -l31 19 * * * /bin/sh /pentaho/Plan/a.sh15 23 * * * /bin/sh /pen
·
2015-10-21 11:05
Kettle
数据抽取工具
Kettle
使用
今天介绍一款常用的数据抽取工具—-
Kettle
。
Kettle
是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
唐僧打怪兽
·
2015-10-20 09:31
开源
Java
[置顶] 数据抽取工具
Kettle
使用
今天介绍一款常用的数据抽取工具—-
Kettle
。
Kettle
是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
JaCman
·
2015-10-20 09:00
Kettle
数据迁移
Kettle
版本升级
Kettle
版本升级一、将开发的iso插件注入到新的版本1、因为iso开发的是一个完整的插件,所以只需要将插件注入新的版本即可具体操作步骤如下:1、2、点击LinkSource找到插件的工程所在目录3、
qq_32130279
·
2015-10-19 12:12
【解决】
kettle
启动时出现的Java Runtime Environment异常
[Author]:kwu 【解决】
kettle
启动时出现的JavaRuntimeEnvironment异常,启动出现如下异常[plain] viewplaincopyXlib: extension "
kwu_ganymede
·
2015-10-13 13:00
异常
Kettle
Kettle
定时任务(V4.1)
定时任务的原理:
Kettle
定时任务是通过操作系统的定时计划来实现的,以Windows8为例:操作系统定时任务触发BAT文件执行,BAT文件调用job从而实现定时任务的功能。
CalmReason
·
2015-10-10 11:43
数据库
Kettle
安装jar文件到本地maven仓库
--------阿里服务器编译环境由于pentaho-
kettle
提供的mvn库下载不到这两个jar,此机器又访问不了内网,所以在生产环境要本地安装方式来引入jar.上传两个jar包目标机器
kettle
-core
健步狂飞
·
2015-09-26 14:00
kettle
的技巧
Kettle
ETL工具集总称。pentaho公司收购了
kettle
项目,主要用于db数据处理,
kettle
中spoon是一个图形界面的名称,主要用于方便开发者开发程序。
健步狂飞
·
2015-09-25 23:00
Kettle
技巧
环境变量
etl
生成密文
crontab的技巧
/bin/shsource/etc/profile #在crontab中是不执行环境变量的,所以这里要手动运行一下获取变量... java-D
KETTLE
_HOME=$
KETTLE
健步狂飞
·
2015-09-25 23:00
crontab
技巧
Kettle
合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
[size=large][color=red]该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。[/color][/size]需要设置的参数:旧数据来源:旧数据来源的步骤新数据来源。新数据来源的步骤标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。[color=blue]1.“identic
艾伦蓝
·
2015-09-24 14:20
Kettle
Kettle
合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数:旧数据来源:旧数据来源的步骤新数据来源。新数据来源的步骤标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。1.“identical”–旧数据和新数据一样2.“changed”–数据发生了变化;3.“new”–新数据中有而旧数据
艾伦蓝
·
2015-09-24 14:00
kettle
使用命令行来运行job和transform
[Author]:ipple1:cmd方式运行1.ktr的运行:运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口,转到Pan.bat所在的目录,如d:\data-integration,然后执行文件的命令为:pan /file D:\etltest\EtltestTrans.ktr2.kjb的运行:运行job文件是通过kitchen.bat来运行的。打开cmd
大数据部
·
2015-09-22 13:21
BIDW:ETL/DW/BI
用
kettle
一套完整的数据库迁移
2.你是否还在使用
kettle
重复的画着:表输入-表输出、创建表,而烦恼。下面为你实现了一套通用的数据库迁移流程。
hackshi008
·
2015-09-22 11:03
Kettle
kettle
使用-txt去除空格
I.配置转换II.配置数据源II.配置输入输出I.配置jobII.start>作业>successI.调用job#!/bin/bashexportJAVA_HOME=/usr/local/wdds/jdk1.6.0_45/exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/too
dingsai88
·
2015-09-16 17:00
上一页
47
48
49
50
51
52
53
54
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他