E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kettle
kettle
gbk数据到utf8 mysql乱码问题解决
源文件是csv,字符集是gbk的,目标mysql是utf8的字符集,按照网上说的,设置characterEncoding为gbk时,能正常导入到mysql,而且没有乱码。但是在做主从库时,出现SlaveSQL:Error'IncorrectstringvalueError_code:1366的错误。仔细追查原因,发现是由于设置characterEncoding为gbk造成的,需要设置charact
Jekey
·
2015-09-08 16:00
Kettle
行列转换
参考:http://blog.itpub.net/29254281/viewspace-1271742/
Kettle
是一种开源的ETL工具行转列并不陌生http://blog.itpub.net/29254281
CalmReason
·
2015-09-01 15:21
Kettle
采用ETL with RDBMS模式来实现ETL
loading太重了,需要将ETL压力转移到专门的ETLServer上.对于ETL工具,市场上已有很成熟的商业/开源工具,比如Informatica的PowerCenter,IBM的Datastage,开源的
Kettle
harrychinese
·
2015-08-31 17:00
将自己私有的jar包添加到本地Mvn仓库
install-file -DgroupId=包名 -DartifactId=项目名 -Dversion=版本号 -Dpackaging=jar -Dfile=jar文件所在路径 以
kettle
-core.jar
sql007
·
2015-08-29 15:00
kettle
系列-5.
kettle
实现二进制文件迁移
本文就是分享下二进制文件(图片、txt文件等)在oracle和文件系统间的传输的转换示例。 转换示例如下图: 示例本身较简单,但很多人应该还是不太清楚怎么做,很多时候都是上网搜索,网上有关的就是通过javascript脚本入库,整体体验不太好,这里分享的这个示例是我和搞数据的朋友讨论慢慢弄出来的,在windows中文件图片在oracle和文件系统间相互传输都能正常打开。
马进举
·
2015-08-29 12:00
Kettle
5.4实战项目培训课程
Kettle
3.2的时候就开始用
Kettle
了,但都是解决临时问题,没有好好深入研究。最近六个月在公司项目上好好地使用了一把
Kettle
5.3。
荷露叮咚
·
2015-08-26 07:29
Kettle
Kettle视频
Kettle5
Kettle
5.4实战项目培训课程
Kettle
3.2的时候就开始用
Kettle
了,但都是解决临时问题,没有好好深入研究。最近六个月在公司项目上好好地使用了一把
Kettle
5.3。
荷露叮咚
·
2015-08-26 07:29
Kettle
Kettle5
Kettle视频
kettle
系列-4.
kettle
定制化开发工具类
要说的话这个工具类还是比较简单的,每个方法体都比较小,但用起来还是可以的,把开发中一些常用的步骤封装了下,不用去
kettle
源码中找相关操作的具体实现了。
马进举
·
2015-08-23 11:00
kettel job脚本执行定时任务步骤
1 下载
kettle
安装包1.1
Kettle
安装包官网下载地址:http://sourceforge.net/projects/pentaho/files/Data%20Integration
baidu_16217779
·
2015-08-21 16:00
数据库
脚本
Kettle
数据迁移工具
kettle
简单上手
最近做了不少数据迁移工作,无一例外都是
kettle
做的,对于这些工具,我觉得,够用就好,不用做特别多的研究(当然,除非你是这款工具的忠实粉丝,我相信这样的没几个)。
jeyson
·
2015-08-21 14:31
数据库
使用
kettle
创建连接时提示Driver class not found
使用
kettle
工具时,创建连接时提Driverclass'com.ibm.db2.jcc.DB2Driver'couldnotbefound解决:把db2驱动jar包放在data-integration
endlessBei
·
2015-08-20 11:00
driver
Kettle
Class
could
found
be
not
使用PitStop去掉pdf的xobject类型的"水印"
在网上下了份材料《ETL工具
Kettle
用户手册.pdf》,200多页有水印而且水印是被切割小块状的,翻页的时候加载很慢很慢(滚动条动一下,页面闪两下),直接影响到了我的阅读,才进行处理的。
飞向天空的蚂蚱
·
2015-08-19 15:54
PDF
kettle
在windows下执行job脚本 定时
这个是job脚本存在你的资源数据库里面的方法见一个.bat文件 里面放上如下代码,当然路径还是要你自己的,还有 rep:名资源库名称-在你登陆资源库时显示的资源库名字。/job:你要执行的job名称;dir:就是你Job存放的路径是资源库里的 user&pass 用户密码 /lever:basic日志; 后面是日志存放路径,d:cdD:\pdi-ce-5.4.0.1-130\data-inte
baidu_16217779
·
2015-08-17 17:00
数据库
Kettle
kettle
系列-3.
kettle
读取数据库资源库很慢的优化
环境:windows7,jvm内存设置14G,
kettle
5.1后来升级到5.4,oracle作为资源库。
马进举
·
2015-08-15 12:00
Kettle
最常用控件 (v5.30)
Kettle
控件的特点:
Kettle
的控件分类比较细致,功能相对单一也很具体。使用起来很容易掌握。
Kettle
一般处理方法:正式由于
Kettle
控件的细化特点,所以往往需要组合起来使用。
CalmReason
·
2015-08-13 15:46
Kettle
java中调用
kettle
转换文件
java中调用
kettle
转换文件通过命令行也可以调用,然后java中调用命令行代码也可以;这样没有和java代码逻辑无缝集成。
xingxiupaioxue
·
2015-08-12 15:00
Kettle
使用Json输入
Kettle
输入拉入一个Json输入;拉一个Excel输出新建test.js文件json数据拷贝进去:{"buriedPointId":"90c0fda26921473f9d52754371964a5f79dGa4a9
cqutzj
·
2015-08-10 20:12
Kettle
1.3
Kettle
从web抽取数据
一.基于文本文件的web客户端抽取由于
kettle
使用了ApacheVFS系统,VFS系统可以像处理文本文件一样处理http文件,所以在‘文本文件输入’步骤中可以直接将URL作为文件名: 二.HTTP客户端使用
the_victory
·
2015-08-05 13:00
数据
Kettle
BI
数据仓库
etl
Kettle
(二)——控件简述
上篇简单讲述了
Kettle
理论基础知识,那么
Kettle
工具到底有哪些控件呢?能够完成我们开发中针对数据抽取转换加载的那些功能,这篇博客简单讲述
kettle
的常用控件。
liujiahan629629
·
2015-08-04 23:00
Kettle
etl
1.2
Kettle
数据库抽取
一.通过使用参数查询1.数据表构建本次使用的数据表是test数据库中的test表,如下:2.自定义常量数据3.表输入4.右键预览查看结果符合条件二.通过变量替换查询1.设置一个作业其中包含两个转换:1.设置变量转换2.表输入转换2.设置变量其中的自定义常量数据和上面的一样3.表输入4.运行作业查看结果
the_victory
·
2015-08-04 22:00
Kettle
数据仓库
1.1
kettle
抽取文本文件
一.单个文件获取1.文本文件输入2.点击内容选项选择正确的格式3.可以通过文件选项卡里的显示文件内容来查看文本的分隔符4.选择正确的分隔符5.点击字段选项获取字段二.多个文件获取6.增加获取文件名步骤来批量获取文件名7.将文本文件输入里修改为从以前的步骤获取文件名注意,不能直接获取多个文件名后再获取字段,否则会报以下错误:可以先选择一个文件获取字段后在选取多个
the_victory
·
2015-08-04 21:00
Kettle
数据仓库
[error handle][mahout] 由于空字符串错误导致model创建失败
借阅数据有30多万条,用
kettle
处理过后是这样long,long,flout型,用逗号隔开,符合要求。
xia4820723
·
2015-07-30 16:00
Mahout
kettle
(一)概述
最近两个月一直和
kettle
打交道,从开始的没听说过,到现在能够熟练运用,不得不说项目驱动下,学习东西是最快的。好了,虽然使用
kettle
应付项目的任务绰绰有余,但是还是想系统的学习一下,总结一下。
~小龙~
·
2015-07-25 23:44
数据库
学习
kettle
(一)概述
最近两个月一直和
kettle
打交道,从开始的没听说过,到现在能够熟练运用,不得不说项目驱动下,学习东西是最快的。
liujiahan629629
·
2015-07-25 23:00
Kettle
etl
数据转换工具
Kettle
流查询 与 数据库查询的区别
他们的主要区别: •流查询步骤只能进行等值查询,数据库查询步骤可以进行非等值查询 •流查询在查询之前把数据都加载到内存里,数据库查询可以选择是否把数据加载到内存。 •进行等值查询时,数据库查询步骤如果选中了全部缓存,性能接近但仍不如流查询的性能。 •进行等值查询时,数据库查询步骤如果没选中全部缓存,性能较低,每次查询都要向数据库发送一个SQL 查询请求。
艾伦蓝
·
2015-07-17 15:00
Kettle
Kettle
调用存储过程
不带参数的存储过程可以直接使用“调用DB存储过程”控件,将存储过程名称配置进去即可。带返回值的参数 CREATEORREPLACEPROCEDUREJOBTEST(CCXOUTNUMBER)AS BEGIN CCX:=88; DBMS_OUTPUT.PUT_LINE(CCX); END; 前一个步骤需要指定参数CCX注意'返回值名称'不要填写表输入--->带参数的存储过程注意表输入的参
艾伦蓝
·
2015-07-17 10:00
Kettle
Kettle
设置全局参数(
kettle
.properties)
答案是有 1.首先,打开.
kettle
\
kettle
.properties,直接在里面定义,( 注意这个文件需要与spoon.bat放在同一个目录下面)比如: paramName=to_char
艾伦蓝
·
2015-07-16 15:00
properties
Kettle
注意事项
注意事项 1)进入到
Kettle
部署的路径 2)执行 chmod *.
艾伦蓝
·
2015-07-16 15:00
Kettle
Kettle
初步学习
kettle
是一个ETL(Extract, Transform and Load 抽取、转换、载入)工具,ETL工具在数据仓库项目使用非常频繁,
kettle
也可以应用在以下一些场景:
艾伦蓝
·
2015-07-16 15:00
Kettle
Java
kettle
程序执行
kettle
文件
Java执行本地ktr文件和kjb文件 import org.pentaho.di.core.
Kettle
Environment; import org.pentaho.di.core.database.DatabaseMeta
艾伦蓝
·
2015-07-16 15:00
Kettle
Kettle
变量和自定义java代码的实例应用
1
kettle
.properties参数配置数据源连接和FTP连接由于测试环境和生产环境中数据库连接FTP等配置会在部署过程中变更,所以预先定义成配置项,在配置文件中修改,这样测试和发布将会变得简单,下面以数据库为例说明这类配置的使用
RocChenKing
·
2015-07-14 14:17
java
ETL
BI
kettle
_为子服务器创建carte服务
原创作品,出自“深蓝的blog”博客,深蓝的blog:http://blog.csdn.net/huangyanlong/article/details/46876783 把
kettle
中carte创建成
huangyanlong
·
2015-07-14 13:00
Kettle
子服务器
carte
如何利用
kettle
官方社区查找关于carte服务的设置
深蓝的blog:http://blog.csdn.net/huangyanlong/article/details/46863223 利用
Kettle
社区查找资料:举例:查找关于carte服务的配置搜索
huangyanlong
·
2015-07-13 15:00
Kettle
carte
官方社区
kettle
调用存储过程
存储过程pro_create:实现在tb_teacher表中插入一条数据1.调用不带参数的存储过程createorreplaceprocedurePRO_createisbegininsertintotb_teacher(id,name)values(4,'郑老师');commit;endPRO_create;---------------------------------------sim
叽哩古哩
·
2015-07-08 16:07
kettle
Kettle
中转换(transformation)的执行过程
1,Spoon.java的main方法是整个
Kettle
运行的入口。当打开
Kettle
的设计器界面后,可以在其中设计作业和转换。这里讨论转换的执行过程。
·
2015-07-08 16:00
transform
kettle
菜鸟学习笔记1----相关准备知识
最近导师让给师弟师妹做个关于
kettle
的培训,瞬间囧了,
kettle
我也只是简单学过,连皮毛都算不上,而且,上次使用
kettle
已然是去年的事了…… 没办法,只好重新学习下,好在之前写了几个文档,也留下了几行代码
·
2015-07-07 17:00
Kettle
Kettle
定时执行(ETL工具)
1,
Kettle
跨平台使用。
·
2015-07-03 17:00
Kettle
Kettle
——转换步骤信息统计两种实现
Kettle
-步骤数据处理数量记录获取
Kettle
获取数据处理条数记录日志信息:以前的途径是配置转换的日志信息来保存到数据库中,这种方式不是很灵活。有没有一种类似步骤方式来进行获取呢?
zokaper
·
2015-06-30 09:57
ETL实践
Kettle
——转换步骤信息统计两种实现
Kettle
-步骤数据处理数量记录获取
Kettle
获取数据处理条数记录日志信息:以前的途径是配置转换的日志信息来保存到数据库中,这种方式不是很灵活。
jdk2006
·
2015-06-30 09:00
Kettle
kettle
动态设置输入文件路径
这样就要
kettle
导入的文件路径是个变量。最好定义到数据库中。我的这个例子就是从数据库读取文件路径,文本文件的路径使用变量:下边是一些截图。代码可以下载(1)(2)(3)
skying007
·
2015-06-27 10:00
Kettle
etl
kettle
日期参数使用
在使用日期类型参数进行比较大小的时候,务必保证传递的日期类型参数和比较的类型保持一致。在ETL过程中使用日期类型的参数很是常见,例如SQL如下:SELECTb.display_name,a.company_id,date_format(max(first_send_notice_date),‘%Y-%m’)accMonth,count(*)totalReport,sum(CASEWHENa.tak
u011402596
·
2015-06-18 21:00
参数
日期
Talend open studio如何调试代码
Talend将设计的模型直接生成了java代码,可以直接对模型生成的java代码进行调试,排查问题比
kettle
灵活很多,设计的模型如下:生成的代码如下:点击JavaDebug进入调试模式,可以设置断点
·
2015-06-15 18:00
open
Kettle
基本概念学习
二,
Kettle
转换 转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在
Kettle
中,数据的单
·
2015-06-15 17:00
Kettle
一个实际项目Java架构设计之ETL(
Kettle
)部分介绍
1总体设计1.1总体设计所有的数据源都将在ETL中配置数据源连接,分别建立好数据转换包处理各自同步、清洗业务,相关的规则都配置到ETL转换包中展示平台仅有一些最终统计数据展示报表(尽可能不出现多个地方配置规则)第三方系统将通过一个webservice服务器接口获取到数据中心的信用信息运政等公司内部系统则可以直接连接中心数据库交换信用有关的数据1.2中心数据库与各业务数据库关系图关于信用相关的表
RocChenKing
·
2015-06-13 12:13
java
kettle
spoon连接hbase
spoon下载安装地址:http://www.pentaho.com/download选择DownloadWindows,只有windows版的才是spoon,下载解压后即可使用,无需安装。spoon是纯java编写的,所以使用前必需安装java的jdk包下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html连
ttlxihuan
·
2015-06-12 14:49
hbase
spoon
其它
Linux下面
kettle
的部署
转载:http://www.cnblogs.com/wxjnew/p/3417942.html Linux下面
kettle
的部署一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触
hanty
·
2015-06-11 18:00
KETTLE
使用javascript步骤过滤特殊字符
KETTLE
使用javascript步骤过滤特殊字符使用
kettle
在抽取大量excel数据时,总是遇到excel中有一些特殊字符,导致ExecuteSQLscript步骤执行失败,本文记录一些方法过滤一些特殊字符
neweastsun
·
2015-06-11 07:05
数据库
pentaho
pentaho
kettle
深入浅出
KETTLE
使用javascript步骤过滤特殊字符
KETTLE
使用javascript步骤过滤特殊字符 使用
kettle
在抽取大量excel数据时,总是遇到excel中有一些特殊字符,导致ExecuteSQLscript步骤执行失败,本文记录一些方法过滤一些特殊字符
neweastsun
·
2015-06-11 07:00
正则表达式
Kettle
pentaho
字符替换
javascript步骤
kettle
配置文件修改
C:\Users\wangqiao\.
kettle
1、修改
kettle
.properties ddshow_monitor_stat_ip= ddshow_monitor_stat_port
wangqiaowqo
·
2015-06-08 15:00
Kettle
在
kettle
中使用内存数据库H2
好了,说说怎么在
kettle
中使用H2先去下载H2,点击下载我测试的时候下的是windows版本,解压后,执行h2/bin/h2
sucre
·
2015-06-05 16:00
上一页
48
49
50
51
52
53
54
55
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他