kettle(pdi) 第3页

【kettle】pdi/data-integration 集成kerberos认证连接hive或spark thriftserver

kettle当前任务的jvm任务完成kerberos认证后会存储认证信息，之后直接连接hive就可以了无需提供额外的用户信息。

lisacumt·2024-01-03 08:37

Kettle行转列详解

孤城暮雨@·2024-01-03 04:17

<转发>kettle自动批量循环发送邮件

1、批量循环发送邮件应用场景：比如：外贸公司希望监控客户的收款到账情况。单证登记每次报关合同，财务根据合同和客户登记收款明细。客户少的时候，可以认为来盯。一旦，这些工作变成流水化作业，那人为监控变为不可能。现在系统需要监控每票合同的出货金额和财务登记的到账汇总数据。同一票合同号，如果出现[出货金额]>sum[收款金额],表明客户未正常收款。为了达到提前预警的效果，我们需要根据账期判断客户的最后付款

kevinzkr·2024-01-02 15:52

详解大数据数据仓库分层架构

构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume、Sqoop、Kettle

Alukar·2024-01-01 14:47

sqoop的导入命令详解

sqoop是一个对数据进行导入或者导出的ETL工具，也有其他的同类产品，datax、kettle，但是不管使用什么工具，这都是一种手段，终其究竟，要学的是其中的思想和逻辑。

夜空痕·2023-12-31 13:55

kettle入门

学习资料：kettle官网论坛源代码基本功能Spoon.bat:图形界面方式启动作业和转换设计器。Pan.bat:命令行方式执行转换。Kitchen.bat:命令行方式执行作业。

晓码君·2023-12-31 03:55

Kettle 浅入浅出

提到数据处理，不禁想到了以前使用过的ETL处理工具Kettle。本文将对Kettle做一些简单的介绍。

周凡123·2023-12-31 00:42

kettle工具连接MySQL数据库报错 Caused by: javax.net.ssl.SSLException: Received fatal alert: internal_error

前言：前几天为了修复MySQL数据库漏洞，项目上从5.7.41版本升级到了5.7.43，今天在使用kettle时发现数据库突然连不上了，测试连接报如下错误：Errorconnectingtodatabase

guoheng_123·2023-12-30 12:29

【Kettle实战】字符串处理及网络请求JSON格式处理

经过大量的kettle操作实践，我们会渐渐掌握一些技巧，大大减轻清洗的工作量。比如在哪里处理字符串更方便，在哪儿处理更合理都是一个取舍问题。

wenchun001·2023-12-29 15:41

【ETL】Kettle清洗任务异常提醒，Spoon作业异常通知

清洗作业如果挂在第三方任务平台或比较多的任务，执行失败无法跟踪，需要给任务添加异常提醒，这里用钉钉的群消息机器人。钉钉机器人文档自定义机器人接入-钉钉开放平台作业示例通过请求触发告警消息

wenchun001·2023-12-29 15:41

Kettle介绍

Kettle，也称为PentahoDataIntegration，是一种强大的开源ETL（Extract,Transform,Load）工具，用于数据集成、数据转换和数据加载。

小玉起起·2023-12-29 09:04

ORA-14400: 插入的分区关键字未映射到任何分区】/【ORA-14400: inserted partition key does not map to any partition

问题描述：工作中使用kettle将原始库中的数据抽取到标准库中，在抽取过程中报错：【ORA-14400:插入的分区关键字未映射到任何分区】/【ORA-14400:insertedpartitionkeydoesnotmaptoanypartition

IDayDayHappy·2023-12-29 08:57

kettle 转换控件翻译

1.Transform=转换DummyPlugin=空操作=这是一个空的测试步骤2.Input=导入数据ESRIShapefileReader=读取矢量数据=从SHP文件中读取图形数据和属性数据S3CSVInput=CSV文件输入=将读取的CSV文件数据并行存储到Amazon中3.输入AccessInput=导入数据库文件=从微软数据库文件中读取数据CSVfileinput=导入CSV文件=导入简

叫我老村长·2023-12-29 07:13

基于Kettle和帆软Finereport的血缘解析

三、解决思路：Kettle的转换和作业存储底层是通过

qq_36120059·2023-12-27 12:55

数据库开发常见面试题

主要针对于ORACLE和kettle1、DeleteTruncateDrop区别2、DML、DDL3、经常使用到得函数4、KETTLE内存溢出解决方案5、kettle中黄色的锁，绿色的对勾，红色的停止代表的意思

'接受现实'·2023-12-27 06:54

kettle循环（只适用于数据量不大的情况下）

直接上例子，适用在考虑使用：我当时的需求是将文本文件的数据插入更新到数据库，数据量大概为200w以上，执行完需要一个多小时，自己在网上搜到的用js脚本实现循环，觉得不太好（个人原因），所以无意之间发现了这个方法上图有两个转换，获取文件数据和比对数据，做相应操作需要将获取到的数据在比对数据，做相应操作转换中进行数据库匹配，打日志等操作，如果不循环查库（此处就是慢的原因，加索引也不好使）将得不到插入更

析道者·2023-12-26 11:49

kettle闪退问题（也许不适用于所有情况，只是自己遇到之后的解决方案）

1、查看jdk版本是否为1.6以上2、查看jdk环境变量的配置是否有问题，即jdk是否可用（网上有jdk相关教程）3、查看spoon.bat中的“if"%PENTAHO_DI_JAVA_OPTIONS%"==”一这行开头的，将-xms和xmx改成512即可

析道者·2023-12-26 11:18

【Flink SQL API体验数据湖格式之paimon】

数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle

以茉萱·2023-12-25 08:01

【pentaho】kettle读取Hive表不支持bigint和timstamp类型解决。

一、bigint类型报错:Unabletogetvalue'BigNumber(16)'fromdatabaseresultset显示kettle认为此应该是decimal类型(kettle中是TYPE_BIGNUMBER

lisacumt·2023-12-22 11:22

抽数工具datax使用

最近做了一个项目，需要把oracle数据的表数据全量和增量抽取到mysql中，在调研了kettle和datax之后，果断选择了datax，datax为阿里开源的抽数工具，gitlub上可以下载，简单的配置一下

sliping123·2023-12-21 17:46

Oracle使用dblink同步数据

之间进行数据同步，可以借助Oracle的dblink完成，如果是Oracle与其他数据库之间，则可以使用Oracle提供的DatabaseGateways+dblink实现，当然，也可以使用开源ETL工具如kettle

kangaroo.·2023-12-21 02:14

Kettle连接不上数据库及中文乱码问题解决

Kettle连接数据库问题分析及解决一、问题一：测试连接数据库出问题1将如下驱动包导入data-integration目录下的Lib目录mysql-connector-java-5.1.40.jarmysql-connector-java

Bug.Remove()·2023-12-19 05:43

kettle使用笔记（三）--中文乱码

kettle抽取数据时会出现中文乱码的问题，我们可以通过修改kettle中数据库的characterEncoding解决右击DB连接中的数据库点击编辑image.png到选项中添加命名参数characterEncoding

de_self·2023-12-19 00:56

2023.12.15 FineBI与kettle

就是结构化数据,能转为二维表格,如CSV,Excel,2.半结构化就是部分可以转换为二维表格,如JSON,XML3.非结构化数据,就是完全无法用二维表格表示的数据,如Word文档,Mp4,图片,等文件.kettle

白白的wj·2023-12-19 00:09

Kettle连接oracle数据库

Kettle连接oracle数据库Kettle版本：pdi-ce-6.1.0.1-196所需jar：mysql-connector-java-5.1.40-bin.jarojdbc7.jarsqljdbc4

默直·2023-12-18 17:37

Kettle

kettle学习笔记参考资料：Kettle学习笔记林伢仔的博客-CSDN博客kettle如果记录为空停止转换Kettle是一款国外开源的ETL工具，纯Java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具

之古·2023-12-18 01:01

kettle根据自增id做增量加载

kettle根据自增id做增量加载1.场景介绍：根据自增id做增量加载2.案例适用范围：增量数据同步可参考，变量运用可参考3.前期配置表准备：a.建好两张配置表b.样例数据准备：c.配置要加载的表信息到增量加载配置表中

Dragon online·2023-12-17 21:49

kettle加载到mysql插入更新优化方案之mysql批量加载

注：MySQLBulkLoader组件必须在Linux下运行，因为MySQL批量加载时会创建一个命名管道，在Windows下是不支持的。加载工具用的是fifo1.MySQLBulkLoader组件介绍wiki文档介绍https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader这两个勾可限定是否根据主键替换2.MySQLBulkLoader组件实战介绍

Dragon online·2023-12-17 21:49

kettle循环导出数据到excel生成多个sheet页

kettle循环导出数据到excel生成多个sheet页1.场景介绍：根据不同的省份生成多个execl,每个execl中根据不同的年份生成不同的sheet页2.案例适用范围：循环job可参考，变量运用可参考

Dragon online·2023-12-17 21:19

kettle另一种简单的循环

kettle另一种简单的循环案例是循环从oracle插入数据到oracle一：表及表数据准备源表名为：test_input测试数据如图：select*fromtest_input;目标表名为：test_output

Dragon online·2023-12-17 21:18

kettle安装运行及JDK配置

1.Kettle简单介绍kettle是一款开源的、元数据驱动的ETL工具集，是开源ETL工具里功能比较强大的一个。

Dragon online·2023-12-17 21:48

kettle+report designer导出带样式的excel包含多个sheet页

场景介绍：运用pentahoreportdesigner报表设计器，查询数据库字典表生成带有样式的excel，通过kettlepentaho报表输出组件导出形成数据字典，最终形成的数据字典样式如下图：案例适用范围

Dragon online·2023-12-17 21:17

关于咖啡☕️的词汇

晚安少女Jane·2023-12-17 02:44

Linux部署Kettle（pentaho-server-ce-9.4.0.0-343）记录/配置MySQL存储

下载地址Kettle是一个开源的数据集成工具，它是PentahoDataIntegration（PDI）项目的一部分。

韧小钊·2023-12-16 14:27

PDI/Kettle-9.2.0.0-R（对应jdk1.8）源码编译问题记录及源码结构简介

目录第一章前言背景目的总体方向第二章代码结构初识基本结构代码模块详情⁉️问题记录❓问题一：代码分支哪些是发布版本❗答：后缀-R的版本❓问题二：`503ServiceTemporarilyUnavailableand'parent.relativePath'pointsatwronglocalPOM`❗解决方式：更换根目录下pom.xml中的仓库地址❓问题三：`karaf-maven-plugin:

韧小钊·2023-12-16 14:49

kettle-7.1手册系列（一）启动spoon

利伊奥克儿·2023-12-15 21:00

java集成kettle：创建转换并运行转换

设计目标：把MySql的fromdb数据库的from_user表中数据拷贝到todb数据库的to_user表中；预置条件：首先在MySql中：1.建立数据库fromdb，并创建from_user表2.建立数据库todb，并创建to_user表代码讲解：1.1创建一个名字叫cgmTransName的转换1.2在cgmTransName转换下的DB连接中创建2个数据库连接，分别叫fromDbName和

cgm625637391·2023-12-15 03:15

java集成kettle:配置资源库，并执行资源库中保存的转换

首先配置资源库1.安装kettle7.12.将mysql-connector-java-5.1.46.jar复制到D:\ProgramFiles\kettle7.1\data-integration\lib

cgm625637391·2023-12-15 03:44

java集成kettle:创建作业保存作业并运行作业

首先参考https://blog.csdn.net/cgm625637391/article/details/950477241.创建作业对应java代码2.创建START对应Java代码3.创建作业转换节点对应java代码4.创建成功节点对应java代码5.创建节点连接对应java代码6.将各个节点综合起来7.保存作业8.执行结果在资源库中创建了1个转换，1个作业项目结构pom.xml4.0.0

cgm625637391·2023-12-15 03:44

kettle spoon连接MySQL8.0数据库报错解决方法

kettle连接mysql8.0报错，显示无法连接到数据库服务错误连接数据库[11]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseErrorconnectingtodatabase

江南正晓时·2023-12-06 23:44

一、DeepOps的ETL小笔记-kettle/pentaho(pdi)简介

目前工作的原因用到的比较多的ETL工具就是Kettle（后期这个改名为pentaho

deepops·2023-12-05 10:31

HTML-1

+Tab键自动补全HTML骨架VScode快速开发技巧Emmet写法：代码的简写方式，输入缩写VSCode会自动生成对应的代码Emmet标签结构标签名.类名标签名#id名div+pdi

-seventy-·2023-12-04 10:16

Kettle 安装配置

文章目录Kettle安装配置Kettle安装Kettle配置连接HiveKettle安装配置Kettle安装在安装Kettle之前，需要确定已经安装Java运行环境。

撕得失败的标签·2023-12-03 23:06

使用 Kettle 完成数据 ETL

文章目录使用Kettle完成数据ETL数据清洗数据处理使用Kettle完成数据ETL现在我们有一份网站的日志数据集，准备使用Kettle进行数据ETL。

撕得失败的标签·2023-12-03 23:33

kettle 合并记录中出现异常，数据相同，合并出现delete，new，change

出现上述问题基本都是格式问题，如何排除格式问题是重点在kettle转换中合并出现new，delete，并且旧数据中有相同数据时，主要是合并记录中的关键字段，数据类型或者格式不对解决方法是增加一个字段选择

无心116·2023-12-03 23:16

oracle插入报错-Caused by: java.sql.SQLException: 无效的列类型: 16

一、问题截图如图我们用kettle将SqlServer数据抽取至oracle数据，因两边数据库的字段类型不一致，导致数据同步过去时报Causedby:java.sql.SQLException:无效的列类型

他们叫我技术总监·2023-12-03 17:36

kettle工具连接elasticsearch 7并导入MySQL表数据-简述

一、简述工作中需要利用kettle开源ETL工具将MySQL数据库中表数据同步到elasticsearch集群中。为此特记录一下操作方式，留作记录和学习。

Major_ZYH·2023-12-03 04:34

Oracle迁移中关于大容量表使用数据泵（expdp、impdp）导出导入容易出现的问题和注意事项

3.使用kettle工具同步所有数据变化的表。4.确定服务数据源时间，在源库停止服务连接，执行最后一次数据同步同时，将相关服务数据源切换目标库。最后启动服务完成迁移。

Major_ZYH·2023-12-03 04:04

Centos8/window下kettle不能连接资源库出现白屏等问题的解决方案

在CentOS下，我本来安装的也是Kettle8.3，不过点击connect却一直报错：一个未预期的错误发生在Spoon:probablecause:在停止Spoon前，请先关闭其它spoon窗口!

成_7b38·2023-12-01 23:38

Kettle的下载安装教程和使用简介（内含第一个kettle转换案例）

本文首先介绍Kettle工具的安装及基本概念，然后通过一个案例实操介绍Kettle工具的使用。

Rainbow_Qi·2023-12-01 21:50

推荐频道

kettle(pdi)