E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
KETTLE
Kettle
Local引擎使用记录(基于
Kettle
web版数据集成开源工具data-integration源码)
Kettle
Web第一章前言第二章demo源码pom.xml引入
Kettle
引擎核心文件java源码controllerservice其它mavensettings.xml测试测试文件测试结果⁉️问题记录
韧小钊
·
2024-01-07 12:42
ETL&ELT
Kettle
Local
Engine
本地引擎运行
Kettle
web
FineBI实战(2):案例架构说明及数据准备
1系统架构基于MySQL搭建数据仓库基于
Kettle
进行数据处理帆软FineBI基于MySQL搭建的数据仓库进行数据分析2数据流程图通过
Kettle
将MySQL业务系统数据库中,将数据抽取出来,然后装载到
不死鸟.亚历山大.狼崽子
·
2024-01-07 08:25
FineBI
finebi
架构
kettle
写入mysql性能优化2019-02-28
自己真实测试过,至少速度可以提高5倍以上。首先修改mysql的配置文件vim/etc/my.cnf根据自己服务器信息修改对应参数join_buffer_size=1024Msort_buffer_size=10Mread_rnd_buffer_size=10Minnodb_flush_log_at_trx_commit=2innodb_write_io_threads=16innodb_flush
dataHunter
·
2024-01-07 04:53
教你如何将本地虚拟机变成服务器,供其它电脑访问
在虚拟机上安装hadoop和hive,然后同学机子上安装
kettle
进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器,供其它电脑访问。
吾浴西风
·
2024-01-06 16:01
服务器
运维
【
kettle
】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“
一、报错内容:UnabletoloadstepinfofromXMLstepnodeorg.pentaho.di.core.exception.
Kettle
XMLException:UnabletoloadstepinfofromXMLatorg.pentaho.commons.launcher.Launcher.main
lisacumt
·
2024-01-05 20:06
hadoop
Pentaho
Kettle
6.1连接CDH5.4.0集群
发现很多逻辑基本都是大致相同的,于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho
Kettle
香山上的麻雀
·
2024-01-05 16:43
Kettle
性能调优汇总
Kettle
性能优化是一个系统工程,不仅涉及工具本身的优化,更涉及ETL工具之外的诸多因素,比如,ETL要读取数据库,那么目标DMBS的性能,SQL语句,网络等相关因素都影响到执行效率。
GuangHui
·
2024-01-05 16:14
smart
Kettle
离线部署及问题记录
目录第一章前言背景目的总体方向第二章部署源码下载后端部署导入后端项目修改settings.xml(自动下载相关jar包)编译修改配置文件application.yml初始化数据库打包上传启动可以正常访问接口界面,即服务启动成功前端部署基础环境按照编译本地启动服务器部署验证nginx配置登录⁉️问题记录❓问题一:jar包下载不下来❗解决方式一:正常不会有问题,建议直接使用项目中提供的settings
韧小钊
·
2024-01-04 19:32
ETL&ELT
smartkettle
安装部署
nginx
mysql8
Linux安装consul的两种方式(在线和离线)
consul服务验证consul服务离线部署下载安装包上传解压启动验证(同在线安装)⁉️其它❗一:`yum-config-manager`命令解释❗二:`Consul`代理启动命令解释第一章前言背景在研究基于
Kettle
韧小钊
·
2024-01-04 19:32
工具
linux
consul
安装方式
离线在线
基于
Kettle
开发的web版数据集成开源工具(data-integration)-介绍篇
目录第一章官网介绍目标实现:让
kettle
使用更简单架构及组成第二章核心功能第三章对比
Kettle
工具栏位比对工具栏组件内容比对扩展:WebSpoon
kettle
自己的web端?
韧小钊
·
2024-01-04 19:32
ETL&ELT
PDI
web
Kettle
web
webspoon
dataintegration
基于
Kettle
开发的web版数据集成开源工具(data-integration)-部署篇
目录第一章前言背景目的总体方向第二章下载编译下载编译第三章部署准备工作安装数据库&redis&consul修改配置文件的数据库、redis、consul信息`/dataintegration-gateway/src/main/resources/application-local.yaml`修改用户认证服务SSO服务器-应用目录结构重新编译并上传jar包启动后台服务consul监控页面可以看到启动
韧小钊
·
2024-01-04 19:00
ETL&ELT
Kettle
Web版
前后端部署
consul
redis
【
kettle
】pdi/data-integration 集成kerberos认证连接hive或spark thriftserver
kettle
当前任务的jvm任务完成kerberos认证后会存储认证信息,之后直接连接hive就可以了无需提供额外的用户信息。
lisacumt
·
2024-01-03 08:37
hive
spark
hadoop
Kettle
行转列详解
一、相关说明需求说明将每个指数简称的资产负债率的2013年到2022年的数据从资产负债率那一行转换成日期和资产负债率两列,以供后续分析数据源数据期望数据二、转换步骤输入:输入里面的“csv文件输入”步骤转换:转换里面的“行转列”,“字段选择”步骤输出:输出里面的“表输出”步骤整体步骤三、转换配置csv文件输入步骤通过浏览选择数据所在的路径,可根据自己的数据选择列分隔符去掉列头行,用根据原始数据的编
孤城暮雨@
·
2024-01-03 04:17
数据库
etl
大数据
mysql
<转发>
kettle
自动批量循环发送邮件
1、批量循环发送邮件应用场景:比如:外贸公司希望监控客户的收款到账情况。单证登记每次报关合同,财务根据合同和客户登记收款明细。客户少的时候,可以认为来盯。一旦,这些工作变成流水化作业,那人为监控变为不可能。现在系统需要监控每票合同的出货金额和财务登记的到账汇总数据。同一票合同号,如果出现[出货金额]>sum[收款金额],表明客户未正常收款。为了达到提前预警的效果,我们需要根据账期判断客户的最后付款
kevinzkr
·
2024-01-02 15:52
详解大数据数据仓库分层架构
构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、
Kettle
Alukar
·
2024-01-01 14:47
sqoop的导入命令详解
sqoop是一个对数据进行导入或者导出的ETL工具,也有其他的同类产品,datax、
kettle
,但是不管使用什么工具,这都是一种手段,终其究竟,要学的是其中的思想和逻辑。
夜空痕
·
2023-12-31 13:55
kettle
入门
学习资料:
kettle
官网论坛源代码基本功能Spoon.bat:图形界面方式启动作业和转换设计器。Pan.bat:命令行方式执行转换。Kitchen.bat:命令行方式执行作业。
晓码君
·
2023-12-31 03:55
Kettle
浅入浅出
提到数据处理,不禁想到了以前使用过的ETL处理工具
Kettle
。本文将对
Kettle
做一些简单的介绍。
周凡123
·
2023-12-31 00:42
java
etl
kettle
工具连接MySQL数据库报错 Caused by: javax.net.ssl.SSLException: Received fatal alert: internal_error
前言:前几天为了修复MySQL数据库漏洞,项目上从5.7.41版本升级到了5.7.43,今天在使用
kettle
时发现数据库突然连不上了,测试连接报如下错误:Errorconnectingtodatabase
guoheng_123
·
2023-12-30 12:29
数据库
mysql
【
Kettle
实战】字符串处理及网络请求JSON格式处理
经过大量的
kettle
操作实践,我们会渐渐掌握一些技巧,大大减轻清洗的工作量。比如在哪里处理字符串更方便,在哪儿处理更合理都是一个取舍问题。
wenchun001
·
2023-12-29 15:41
数据仓库
软件研发
大数据
etl
【ETL】
Kettle
清洗任务异常提醒,Spoon作业异常通知
清洗作业如果挂在第三方任务平台或比较多的任务,执行失败无法跟踪,需要给任务添加异常提醒,这里用钉钉的群消息机器人。钉钉机器人文档自定义机器人接入-钉钉开放平台作业示例通过请求触发告警消息
wenchun001
·
2023-12-29 15:41
数据仓库
软件研发
etl
数据仓库
Kettle
介绍
Kettle
,也称为PentahoDataIntegration,是一种强大的开源ETL(Extract,Transform,Load)工具,用于数据集成、数据转换和数据加载。
小玉起起
·
2023-12-29 09:04
Kettle
ORA-14400: 插入的分区关键字未映射到任何分区】/【ORA-14400: inserted partition key does not map to any partition
问题描述:工作中使用
kettle
将原始库中的数据抽取到标准库中,在抽取过程中报错:【ORA-14400:插入的分区关键字未映射到任何分区】/【ORA-14400:insertedpartitionkeydoesnotmaptoanypartition
IDayDayHappy
·
2023-12-29 08:57
Oracle
kettle
转换控件翻译
1.Transform=转换DummyPlugin=空操作=这是一个空的测试步骤2.Input=导入数据ESRIShapefileReader=读取矢量数据=从SHP文件中读取图形数据和属性数据S3CSVInput=CSV文件输入=将读取的CSV文件数据并行存储到Amazon中3.输入AccessInput=导入数据库文件=从微软数据库文件中读取数据CSVfileinput=导入CSV文件=导入简
叫我老村长
·
2023-12-29 07:13
基于
Kettle
和帆软Finereport的血缘解析
三、解决思路:
Kettle
的转换和作业存储底层是通过
qq_36120059
·
2023-12-27 12:55
finereport
数据仓库
血缘解析
数据仓库
数据库开发常见面试题
主要针对于ORACLE和
kettle
1、DeleteTruncateDrop区别2、DML、DDL3、经常使用到得函数4、
KETTLE
内存溢出解决方案5、
kettle
中黄色的锁,绿色的对勾,红色的停止代表的意思
'接受现实'
·
2023-12-27 06:54
数据库开发
etl
数据库
kettle
循环(只适用于数据量不大的情况下)
直接上例子,适用在考虑使用:我当时的需求是将文本文件的数据插入更新到数据库,数据量大概为200w以上,执行完需要一个多小时,自己在网上搜到的用js脚本实现循环,觉得不太好(个人原因),所以无意之间发现了这个方法上图有两个转换,获取文件数据和比对数据,做相应操作需要将获取到的数据在比对数据,做相应操作转换中进行数据库匹配,打日志等操作,如果不循环查库(此处就是慢的原因,加索引也不好使)将得不到插入更
析道者
·
2023-12-26 11:49
kettle循环
kettle
闪退问题(也许不适用于所有情况,只是自己遇到之后的解决方案)
1、查看jdk版本是否为1.6以上2、查看jdk环境变量的配置是否有问题,即jdk是否可用(网上有jdk相关教程)3、查看spoon.bat中的“if"%PENTAHO_DI_JAVA_OPTIONS%"==”一这行开头的,将-xms和xmx改成512即可
析道者
·
2023-12-26 11:18
kettle疑难
【Flink SQL API体验数据湖格式之paimon】
数据仓库的部署方式也在发生着改变,之前在部署数据仓库项目时,首先想到的是选择国外哪家公司的产品,比如:数据存储会从Oracle、SqlServer中或者Mysql中选择,ETL工具会从Informatica、DataStage或者
Kettle
以茉萱
·
2023-12-25 08:01
flink
sql
大数据
【pentaho】
kettle
读取Hive表不支持bigint和timstamp类型解决。
一、bigint类型报错:Unabletogetvalue'BigNumber(16)'fromdatabaseresultset显示
kettle
认为此应该是decimal类型(
kettle
中是TYPE_BIGNUMBER
lisacumt
·
2023-12-22 11:22
hive
hadoop
抽数工具datax使用
最近做了一个项目,需要把oracle数据的表数据全量和增量抽取到mysql中,在调研了
kettle
和datax之后,果断选择了datax,datax为阿里开源的抽数工具,gitlub上可以下载,简单的配置一下
sliping123
·
2023-12-21 17:46
Oracle使用dblink同步数据
之间进行数据同步,可以借助Oracle的dblink完成,如果是Oracle与其他数据库之间,则可以使用Oracle提供的DatabaseGateways+dblink实现,当然,也可以使用开源ETL工具如
kettle
kangaroo.
·
2023-12-21 02:14
数据库
oracle
数据库
dblink
Oracle
Gateways
Kettle
连接不上数据库及中文乱码问题解决
Kettle
连接数据库问题分析及解决一、问题一:测试连接数据库出问题1将如下驱动包导入data-integration目录下的Lib目录mysql-connector-java-5.1.40.jarmysql-connector-java
Bug.Remove()
·
2023-12-19 05:43
数据库
kettle
使用笔记(三)--中文乱码
kettle
抽取数据时会出现中文乱码的问题,我们可以通过修改
kettle
中数据库的characterEncoding解决右击DB连接中的数据库点击编辑image.png到选项中添加命名参数characterEncoding
de_self
·
2023-12-19 00:56
2023.12.15 FineBI与
kettle
就是结构化数据,能转为二维表格,如CSV,Excel,2.半结构化就是部分可以转换为二维表格,如JSON,XML3.非结构化数据,就是完全无法用二维表格表示的数据,如Word文档,Mp4,图片,等文件.
kettle
白白的wj
·
2023-12-19 00:09
大数据
数据库开发
etl工程师
数据仓库
Kettle
连接oracle数据库
Kettle
连接oracle数据库
Kettle
版本:pdi-ce-6.1.0.1-196所需jar:mysql-connector-java-5.1.40-bin.jarojdbc7.jarsqljdbc4
默直
·
2023-12-18 17:37
Kettle
kettle
学习笔记参考资料:
Kettle
学习笔记林伢仔的博客-CSDN博客
kettle
如果记录为空停止转换
Kettle
是一款国外开源的ETL工具,纯Java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具
之古
·
2023-12-18 01:01
kettle
根据自增id做增量加载
kettle
根据自增id做增量加载1.场景介绍:根据自增id做增量加载2.案例适用范围:增量数据同步可参考,变量运用可参考3.前期配置表准备:a.建好两张配置表b.样例数据准备:c.配置要加载的表信息到增量加载配置表中
Dragon online
·
2023-12-17 21:49
kettle增量加载
kettle增量同步
kettle增量迁移
kettle
加载到mysql插入更新优化方案之mysql批量加载
注:MySQLBulkLoader组件必须在Linux下运行,因为MySQL批量加载时会创建一个命名管道,在Windows下是不支持的。加载工具用的是fifo1.MySQLBulkLoader组件介绍wiki文档介绍https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader这两个勾可限定是否根据主键替换2.MySQLBulkLoader组件实战介绍
Dragon online
·
2023-12-17 21:49
kettle
循环导出数据到excel生成多个sheet页
kettle
循环导出数据到excel生成多个sheet页1.场景介绍:根据不同的省份生成多个execl,每个execl中根据不同的年份生成不同的sheet页2.案例适用范围:循环job可参考,变量运用可参考
Dragon online
·
2023-12-17 21:19
kettle
etl
kettle循环
kettle循环套循环
kettle
另一种简单的循环
kettle
另一种简单的循环案例是循环从oracle插入数据到oracle一:表及表数据准备源表名为:test_input测试数据如图:select*fromtest_input;目标表名为:test_output
Dragon online
·
2023-12-17 21:18
kettle
kettle
安装运行及JDK配置
1.
Kettle
简单介绍
kettle
是一款开源的、元数据驱动的ETL工具集,是开源ETL工具里功能比较强大的一个。
Dragon online
·
2023-12-17 21:48
etl
kettle
kettle环境搭建
jdk配置
kettle如何运行
spoon.bat
kettle如何启动
kettle
+report designer导出带样式的excel包含多个sheet页
场景介绍:运用pentahoreportdesigner报表设计器,查询数据库字典表生成带有样式的excel,通过
kettle
pentaho报表输出组件导出形成数据字典,最终形成的数据字典样式如下图:案例适用范围
Dragon online
·
2023-12-17 21:17
etl
kettle
开源报表设计器
excel
开源
report
designer
kettle生成样式excel
kettle合并sheet页
开源报表设计器使用
ETL
关于咖啡☕️的词汇
今天我们来学习一下咖啡相关的词汇吧器具1.咖啡茶壶coffeepot;2.咖啡细口壶swanneck
kettle
;3.虹吸式咖啡壶siphon/syphon;4.滤纸thickpaperfilter;5
晚安少女Jane
·
2023-12-17 02:44
Linux部署
Kettle
(pentaho-server-ce-9.4.0.0-343)记录/配置MySQL存储
下载地址
Kettle
是一个开源的数据集成工具,它是PentahoDataIntegration(PDI)项目的一部分。
韧小钊
·
2023-12-16 14:27
ETL&ELT
数据集成
kettle
PDI9.4
Linux
ETL工具
PDI/
Kettle
-9.2.0.0-R(对应jdk1.8)源码编译问题记录及源码结构简介
目录第一章前言背景目的总体方向第二章代码结构初识基本结构代码模块详情⁉️问题记录❓问题一:代码分支哪些是发布版本❗答:后缀-R的版本❓问题二:`503ServiceTemporarilyUnavailableand'parent.relativePath'pointsatwronglocalPOM`❗解决方式:更换根目录下pom.xml中的仓库地址❓问题三:`karaf-maven-plugin:
韧小钊
·
2023-12-16 14:49
ETL&ELT
kettle编译失败
9.2.0.0-R
源码结构简介
kettle
-7.1手册系列(一) 启动spoon
启动SpoonLinux启动spoon打开pentaho的安装目录-->单击【Spoon.bat】windows启动linux启动spoon打开pentaho的安装目录à运行【spoon.sh】linux启动版权声明:本文为博主原创文章,转载请附上博文链接!
利伊奥克儿
·
2023-12-15 21:00
java集成
kettle
:创建转换并运行转换
设计目标:把MySql的fromdb数据库的from_user表中数据拷贝到todb数据库的to_user表中;预置条件:首先在MySql中:1.建立数据库fromdb,并创建from_user表2.建立数据库todb,并创建to_user表代码讲解:1.1创建一个名字叫cgmTransName的转换1.2在cgmTransName转换下的DB连接中创建2个数据库连接,分别叫fromDbName和
cgm625637391
·
2023-12-15 03:15
java集成
kettle
:配置资源库,并执行资源库中保存的转换
首先配置资源库1.安装
kettle
7.12.将mysql-connector-java-5.1.46.jar复制到D:\ProgramFiles\
kettle
7.1\data-integration\lib
cgm625637391
·
2023-12-15 03:44
java集成
kettle
:创建作业保存作业并运行作业
首先参考https://blog.csdn.net/cgm625637391/article/details/950477241.创建作业对应java代码2.创建START对应Java代码3.创建作业转换节点对应java代码4.创建成功节点对应java代码5.创建节点连接对应java代码6.将各个节点综合起来7.保存作业8.执行结果在资源库中创建了1个转换,1个作业项目结构pom.xml4.0.0
cgm625637391
·
2023-12-15 03:44
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他