E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
KEttle
【1】
Kettle
输入输出
输入最常用的输入便是表输入了。1.读取表数据,首先建立数据库连接。点击:文件-->新建→数据库连接填写相关信息,如下2.选择表输入3.双击表输入组件,填写相关信息。点击预览可查看sql执行结果输出输出可为文件、其他数据库,HDFS、HBase等输出文件4.填写文本文件输出组件的信息输出表中5.选择插入更新组件,选择要插入的表的连接信息输出为HDFS文件同文本文件输出,只不过需要指定Hadoop集群
JNSimba
·
2020-08-21 16:02
Kettle
Kettle入门与实战
kettle
输入
输出
hdfs
【
Kettle
】整合Hive进行操作
前言现在我们来讲讲
kettle
如何整合hive进行操作准备环境开启hiveserver2服务cd /export/servers/hive-1.1.0-cdh5.14.0nohupbin/hive--servicehiveserver2
没去过埃及的法老
·
2020-08-21 15:54
Kettle
数据库迁移技术记录(四)--DbLink进行数据迁移
选用DBLink缘由:在数据库迁移中对于大数据文件使用
kettle
时其中包含mysql批量添加时
kay三石
·
2020-08-21 15:26
数据库
工具的使用
kettle
7 连接Hive和Hbase配置
前一段时间使用
kettle
的时候需要连接Hive和Hbase,在网上搜的一些配置在都是
kettle
5或者6的,和
kettle
7不通用。所以自己搞了一个下午搞了出来,打个笔记记录一下。
gaoying_001
·
2020-08-21 15:43
kettle
kettle
资源库备份
存储过程:在本地使用dblink连接远程表创建物化视图,根据物化视图创建表createorreplaceprocedurebackup_
kettle
AUTHIDCURRENT_USERascursortbl_curisselecttable_nameassrc_tablefromall_tables
川xc
·
2020-08-21 15:00
数据库
kettle
案例八连接hive--抽取hive的数据保存excel
kettle
案例七连接hive–抽取mongodb的数据保存到hive本章学习如何把数据从hive中导出来。
张小凡vip
·
2020-08-21 15:20
数据仓库
kettle
通过vfs上传FTP问题
KETTLE
在转换中输出地址使用VFS上传LINUX的FTP,VFS与FTP交互默认的是主动模式,由于网络环境的原因,有时需要改为被动模式,但在
KETTLE
中如何配置呢?
onemy
·
2020-08-21 15:29
其它
Data Integration (
kettle
) 7.0 连接Hive
步骤1.启动hiveServer2
kettle
是通过jdbc来连接hive的,而jdbc方式连接hive需要启动hiveServer2(thrift接口程序),执行如下命令来启动hiveServer2.
仰望星空的我
·
2020-08-21 15:07
SpringBoot调用
Kettle
常见错误
场景:通过
kettle
工具制作表->文件导出的转换作业,由SpringBoot程序调用该产生的ktr文件错误:无法生成导出的文件CouldnotfindfilewithURI"..."
遇见小豆
·
2020-08-21 14:44
Kettle
SpringBoot
Kettle
5连接Hive
1、先启动hadoop相关的服务./hadoop-daemon.shstartnamenode./hadoop-daemon.shstartdatanode./hadoop-daemon.shstartsecondarynamenode./yarn-daemon.shstartresourcemanager./yarn-daemon.shstartnodemanager2、配置hive配置jdk、
lql_h
·
2020-08-21 14:43
kettle
Kettle
实践--从FTP上取文件,再放至另一个FTP上
如果想匹配所有以TRANS开头的文本文件,在
kettle
中要写成这样:TRANS_.*[0-9].txt。最后在windows操作系统中配置定时任务就可以定期执行该Job了。
haryyJim
·
2020-08-21 14:30
Unable to get VFS File object for filename 'file:///': Unknown scheme "sftp" in URI "{1}".
近期,项目里面使用到java,调用
kettle
,kjb文件中,使用绝对路径,调用没有问题,但是换了”${Internal.Job.Filename.Directory}
小芳123455
·
2020-08-21 12:04
java
java
kettle
kettle报错
Apache Hive+Kerberos安装配置及
Kettle
访问带 Kerberos 认证的 Hive的集成
目录1连接2KDC安装2.1安装Kerberos服务2.2配置/var/kerberos/krb5kdc/kdc.conf2.3配置/var/kerberos/krb5kdc/kadm5.acl2.4配置/etc/krb5.conf2.5创建Kerberos数据库2.6创建Kerberos管理员账号2.7将Kerberos添加到自启动服务,并启动krb5kdc和kadmin服务2.8查看认证信息3
YoreYuan
·
2020-08-21 12:20
大数据
工具
数据库
英语打卡day15
bristle短而硬的毛发desposal丢掉vice缺点primarily首要的distract.分心eliminate排除transparent透明的presumably大概的新词组pluginthe
kettle
轻甜小西
·
2020-08-21 12:47
运行
Kettle
中spoon.bat 闪退报错“a fatal exception has occurred.“
问题描述:可以保证java环境都配置完成了,
kettle
_path变量也配置完了,然鹅运行spoon.bat还是报错:查这个错,会有人告诉你说把spoon.bat里面的10242048改小一点,改成512
Seepen_L
·
2020-08-21 10:24
踩坑手札
kettle
链接报错 Driver class ‘net.sourceforge.jtds.jdbc.Driver‘ could not be found
kettle
链接报错如下,解决办法在下面错误连接数据库[本机]:org.pentaho.di.core.exception.
Kettle
DatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefound
兔子喂了没
·
2020-08-21 09:41
01-
kettle
-di-7.1安装和基本配置
简介
kettle
构成spoon:运行界面kitchen:运行.kjb文件[任务]pan:运行.ktr文件[转换]下载并解压di7.1官网下载解压:unzippdi-ce-7.1.0.0-12.zip安装驱动
gaoxiaobobo
·
2020-08-21 05:27
KETTLE
不能连接hadoop
KETTLE
不能连接hadoop今天做
KETTLE
测试发现
kettle
不能连接hadoop看了一下教程:https://www.jianshu.com/p/258fef7c7dbe发现要更新4个xml文件
AsItachi
·
2020-08-21 04:09
Kettle
ETL
HADOOP
认识
Kettle
比如,除了ODS/DW类比较大型的应用外,
Kettle
实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。
Kettle
除了支持各种关系型数据库,HBaseMongoDB这样的No
麦子星星
·
2020-08-21 02:02
kettle
题解
kettle
kettle
kettle
题解题目在这里。
2020linweitong
·
2020-08-21 00:10
题解
贪心
模拟
ETL调度系统及常见工具对比:Azkaban、Oozie、数栖云
最近遇到了很多正在研究ETL及其工具的同学向我们抱怨:同样都在用
Kettle
,起点明明没差异,但为什么别人ETL做的那么快那么好,自己却不断掉坑?
数澜科技
·
2020-08-20 23:27
etl
大数据
数据仓库
kettle
ETL调度系统及常见工具对比:Azkaban、Oozie、数栖云
最近遇到了很多正在研究ETL及其工具的同学向我们抱怨:同样都在用
Kettle
,起点明明没差异,但为什么别人ETL做的那么快那么好,自己却不断掉坑?
数澜科技
·
2020-08-20 23:27
etl
大数据
数据仓库
kettle
Kettle
小白从零开始的开发历程(二)资源库的选择与创建
资源库的选择在成功打开你的Spoon客户端编辑工具后,首先你要确立一个地方用于保存你的工程文件,
Kettle
提供了三种资源库类型:数据库类型资源库(DatabaseRepository)、文件类型资源库
RayeWu
·
2020-08-20 22:25
kettle
etl
Kettle
小白从零开始的开发历程(二)资源库的选择与创建
资源库的选择在成功打开你的Spoon客户端编辑工具后,首先你要确立一个地方用于保存你的工程文件,
Kettle
提供了三种资源库类型:数据库类型资源库(DatabaseRepository)、文件类型资源库
RayeWu
·
2020-08-20 22:25
kettle
etl
MATLAB 入门教程六:编程风格与m文件 取自http://www.matlabsky.com/forum-viewthread-tid-17682-fromuid-88314.html...
Languageislikeacracked
kettle
onwhichwebeattunedtodanceto,whileallthetimewelongtomovethestarstopity.”
weixin_30613433
·
2020-08-20 19:18
kettle
获取系统信息组件
shuizhongyue_
·
2020-08-20 18:54
kettle基本使用
操作系统
在ETL工具Spoon中调用WebService的方法
在ETL工具Spoon中调用WebService的方法:Spoon是开源
kettle
的pentaho工具中dataintegration工具。
麦粒橙
·
2020-08-20 06:22
ETL
webservice
工具
soap
xml
java
java实现从一个数据库导入数据到另外一个数据库以及将大量图片导入到数据库中jdbc实现方法
需求背景在某地客户现场,遇到一个需求,将一个数据库中的某个表的数据导入到另外一台服务器上的数据库,并且表中包含blob字段,在使用
kettle
失败的情况下,shell脚本咱又不熟悉,作为一个java程序猿
Uncle_Mo
·
2020-08-19 22:24
JAVA基础和应用
开源ETL工具
kettle
--数据迁移
背景由于项目的需求,需要将数据从Oracle迁移到MSSQL,不是简单的数据复制,而是表结构和字段名都不一样,甚至需要处理编码规范不一致的情况,如下图所示注意:Oracle和MSSQL中的同名表的字段名是不相同的如果要是采用手工SQL语句操作的话会很麻烦,需要考虑Oracle和MSSQLSQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约束目的表是否为空等等许多问题而这些问题
温欢
·
2020-08-19 22:45
数据库
项目总结
数据库迁移
最近在做oracle到mysql数据库迁移的工作,找了很多工具都不是很给力,因为原数据库设计的不好,字段命名也不规范遇到了很多问题,最后拿出最终兵器
kettle
来解决。
terryzero
·
2020-08-19 20:35
数据库基础
kettle
中设置日志表
kettle
中给ktr设置日志表需要注意的细节目的,无论是本地的.ktr文件或者是资源库的ktr模型,只要模型被调用运行的日志就保存到一张日志表,当模型在外部调用出错时,方便查看日志文件查找原因,话不多说
oufu
·
2020-08-19 18:39
数据分析
大数据
数据仓库
kettle
使用命令行来运行ktr和kjb
1:cmd方式运行1.ktr的运行:运行transformation文件是通过Pan.bat来运行的。打开cmd命令行窗口,转到Pan.bat所在的目录,如d:\data-integration,然后执行文件的命令为:pan/fileD:\etltest\EtltestTrans.ktr2.kjb的运行:运行job文件是通过kitchen.bat来运行的。打开cmd命令行窗口,转到Pan.bat所
oufu
·
2020-08-19 18:08
项目实战
kettle
做数据迁移及
kettle
迁移效率优化
前段时间做一个大数据平台项目,项目中期的时候需要把客户的HANA库中的数据迁移到我们的数据库,Oracle做中间库,当时借鉴了一些前辈的意见,初步方案是全量迁移用
kettle
,增量迁移用Javajob,
mrxuliang
·
2020-08-19 18:46
小微数据量数据迁移方案
将历史数据表和目标数据表转移到同一库如果历史数据库和目标数据库是同一数据库,如都是mysql,可以使用一些工具软件如sqlyog等进行转移,或者导入导出即可;如果历史数据库和目标数据库是不同的数据库,可以使用ETL工具
kettle
fukaiit
·
2020-08-19 17:27
数据库
PLSQL用比较表数据同步测试库和正式库表的数据
4用
KETTLE
进行同步,这是个好工具,不仅能同步相同表的数据,也能同步不同表
_zmynsa
·
2020-08-19 16:17
Kettle
安装后点击spoon.bat一闪而过处理
首先你得下载好
kettle
和jdk,并且在环境变量里面配置:PENTAHO_JAVA_HOME=你的jdk目录;如果你双击Spoon.bat出现一闪而过的现象,可以尝试修改一下spoon.bat文件if
jane_fast
·
2020-08-19 10:31
java
kettle
Kettle
7.1 连接HBase数据表
复制hbase-site.xml文件从hbase集群中复制hbase-site.xml文件到
kettle
安装目录下的“plugins/pentaho-big-data-plugin/hadoop-configurations
kongxx
·
2020-08-19 05:07
ETL工具
Kettle
介绍和一个例子 - 抓虾
导读:根目录因为公司近期招了几个实习生,需要我来做一个关于
Kettle
的培训,准备了一些培训的资料,一个ppt,用于培训的,一个数据库备份和一个详细的操作文档,是一个小作业,不敢独享,发出来给大家share
welcomei
·
2020-08-18 23:08
pentaho
Kettle
案例总结一—多表连接(记录集连接)
Kettle
是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
尘埃的故事
·
2020-08-18 22:22
kettle
ETL开源项目
kettle
总结
Kettle
1、ETL概述ETL数据抽取Extract、转换Transform清洗、加载Load到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
摸金青年v
·
2020-08-18 22:15
Kettle
Kettle
常见问题汇总
http://www.cnblogs.com/jifeng/p/4741498.html这篇介绍
KETTLE
的博文可以经常阅读下面是我自己开发的一些体会:1.创建MySQL空资源库报错问题:因为boolean
myjbase
·
2020-08-18 15:55
Kettle
中邮智递通过数加和datav将系统和服务迁移到大数据平台
概述中邮智递数据平台发展到现在经历了四个阶段:(1)直接在业务生产系统开发生成报表,提供业务部门查询(2)采用
kettle
等工具抽取各业务系统数据并处理生成报表(3)使用hive构建离线数据仓库,抽取业务数据统一处理并生成报表推送至报表系统
阿里云云栖号
·
2020-08-18 12:17
我是程序员
用maven编译、打包Java和Scala混合开发的项目
使用环境jdk1.8maven3.6.1IDEA2017spark-2.4.3scala2.1.8我的pom文件4.0.0com.dr.leoFast
Kettle
2.0.1Fast
Kettle
2.0,零售
CCWeiXiao
·
2020-08-18 12:58
maven折腾记
kettle
写入hadoop中——AccessControlException
本文主要介绍如何通过
kettle
写入到hdfs中,同时提供一个简单的demo。好,下面上货。
0day__
·
2020-08-18 12:57
kettle
pentaho
hadoop
pentaho
kettle
创建时间维度
一:流程二:实现步骤1.小时1.1生成小时1.2增加小时序列1.3javaScript代码生成小时和AM/PM//生成12小时varhours12=hours24.getInteger()%12;//生成AM/pmvaram_pm=hours24.getInteger()>12?"PM":"AM";2.分钟2.1生成分钟2.2增加分钟序列3.秒3.1生成秒3.2增加秒序列4.笛卡尔积(时*分*秒)
是谁注册了我的2052
·
2020-08-18 12:41
kettle
kettle
创建日期维度表
一:流程二:实现步骤1.生成记录2.增加日期序列3.生成日期的属性(JavaScript代码)//localevarlocale=newjava.util.Locale(language.getString(),country.getString());//calendarvarcalendar=newjava.util.GregorianCalendar(locale);//设置时间calend
是谁注册了我的2052
·
2020-08-18 12:40
kettle
【
Kettle
】逻辑转化组件使用(值映射 增加序列 字段选择)
值映射值映射就是把字段的一个值映射成其他的值在数据质量规范上使用非常多需求把json中的gender中的数据进行改变。0变为男,1变为女,2变为保密拖入一个JSON输入组件、一个值映射转换组件、一个Excel输出组件,连接三个组件配置JSON输入组件配置值映射转换组件配置Excel输出组件点击三角形箭头执行增加序列(增加一个自增的字段)从json文件读取数据,添加序列,把数据保存到Excel需求添
没去过埃及的法老
·
2020-08-18 11:32
Kettle
windows环境下
kettle
向hdfs写数据问题Caused by: org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException
windows环境下
kettle
向hdfs写数据的时候可能出现的问题Causedby:org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException
qq_39717125
·
2020-08-18 11:22
大数据
pentaho之
kettle
篇---
kettle
基本操作
今天先来做一个简单的
kettle
的例子。打开输入,选择CSV文件输入。双击CSV文件输入图标,可以看见如下:步骤名称:就是你这一步的名字,可以任意取,原则就是要明白,清楚这一步是做了什么操作。
atan0632
·
2020-08-18 10:38
Pentaho Work with Big Data(二)——
Kettle
提交Spark作业
实验目的:配置
Kettle
向Spark集群提交作业。
wzy0623
·
2020-08-18 06:52
Linux
Pentaho
Work
with
Big
Data
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他