kettle(pdi)

hive 使用oracle数据库

hive使用oracle作为数据源，导入数据使用sqoop或kettle或自己写代码（淘宝的开源项目中有一个xdata就是淘宝自己写的）。感觉sqoop比kettle快多了，淘宝的xdata没用过。
sardtass·2025-03-21 05:43

Lec01-什么是安全？

参考资料地址：https://github.com/PKUFlyingPig/MIT6.16006.1600课程团队：HenryCorrigan-Gibbs,YaelKalai,BenKettle(TA
蛋蛋deべ 忧桑·2025-03-19 01:34

kettle ETL 配置

pdi-ce-9.1.0.0-324配置-CSDN博客3、配置中文字符3.1）spoon支持中文字符，spoon.bat启动文件加-Dfile.encoding=utf-8REM%SPOON_START_OPTION
云连山·2025-03-17 07:37

kettle数据同步

Kettle是一个强大的数据集成工具，可以用来实现各种数据同步的需求。
zhz5214·2025-03-15 09:22

Spring Boot 集成 Kettle

Kettle简介Kettle最初由MattCasters开发，是Pentaho数据集成平台的一部分。它提供了一个用户友好的界面和丰富的功能集，使用户能够轻松地设计、执行和监控ETL任务。
m0_74824112·2025-03-11 20:01

深入理解Kettle：ETL工具的学习与实践

本文还有配套的精品资源，点击获取简介：Kettle（Spoon）是Pentaho公司开发的开源ETL工具，用于数据整合和数据仓库建设。
未知方程 无解·2025-03-07 10:14

使用Kettle定时同步数据库的数据（详细实例操作）

数据库的数据同步、迁移在我们运维软件中，经常使用，而且非常的频繁。同步、迁移数据的工具非常多，比如Navicat、SqlServer等等，甚至很多公司，都是自己写的定时同步软件。今天，我们介绍一款Java开源免费的数据库同步软件，功能非常强大。本节只演示，定时同步数据库的数据，从test数据库定时同步到test1数据库的教程。（坑很多）1.首先下载安装包，进行解压。路径：迅雷云盘2.然后进入目录中
故里2130·2025-03-02 02:34

Kettle 实战面试题及参考答案（完整版）

Kettle实战面试题及参考答案（完整版）以下是几个Kettle（PentahoDataIntegration）项目实战面试题及参考答案的完整Markdown格式整理，包含代码示例和优化方案。
一杯小周·2025-03-02 02:03

轻松连接MySQL与Oracle：Spoon(Kettle)配置指南

轻松连接MySQL与Oracle：Spoon(Kettle)配置指南项目地址:https://gitcode.com/Resource-Bundle-Collection/3c3aa项目介绍在数据处理和
黄豪宙·2025-03-02 01:00

强大的ETL利器—DataFlow3.0

目前常用的ETL工具Flume、LogStash、Kettle、Sqoop等也可以完成数据的采集、传输、转换和存储；但这些工具都不具备事务一致性。比如Flume工具仅能应用到通信质量无障碍的局域网
lixiang2114·2025-02-27 05:27

【YashanDB 知识库】kettle 同步大表提示 java 内存溢出

【问题分类】数据导入导出【关键字】数据同步，kettle，数据迁移，java内存溢出【问题描述】kettle同步大表提示ERROR：couldnotcreatethejavavirtualmachine
·2025-02-21 19:15

spring boot整合kettle调用数据库资源库中的job

job需要导入如下jar包而调用数据库资源库的job需要多导入2个jar包否则会报http错误，jar包如下2.运行代码代码如下：@TestpublicvoidexcuteDBTrans()throwsKettleException
机智的小小岳·2025-02-16 21:40

5. clickhouse 单节点多实例部署

伪分布式hadoophadoop-3.1.3伪分布式hivehive-3.1.3-bin伪分布式clickhouse21.11.10.1-2单节点多实例dolphinscheduler3.0.0单节点kettlepdi-ce
Toroidals·2025-02-15 05:35

使用Kettle实现不同数据之间同步

Contents1.概述2.软件安装3.典型场景：Oracle-2-SqlServer4.定期自动同步数据1.概述Kettle是一个久负盛名的ETL数据传输工具，在我们接触过的许多IT企业中，几乎都有不同的开发或运维团队在使用这个工具
Azure DevOps·2025-02-06 05:27

kettle常用的数据库连接示例

kettle是一款强大的数据抽取转换工具，在数据仓库，ETL任务处理中使用的非常频繁的开源工具。它也支持众多的数据库连接类型。下面是支持的数据库连接对比图。请参考学习。就介绍这么多。
星月情缘02·2025-01-30 03:15

kettle 异常关闭后重新打开导致不能创建和打开转换与作业的解决办法

经常使用kettle的人都熟悉kettle工具的常用操作，但是，对于它出现过的很多问题却不一定都见过，自己就是遇到过几次，上午找答案也是乱七八糟的回答，在这里给做一个总结的回复。希望帮助大家。
星月情缘02·2025-01-30 03:45

Hadoop错误: put: Lease mismatch on ... by DFSClient_NONMAPREDUCE_-499992815_1.... 学习总结

过程:使用kettle数据清洗工具在进行同步任务的过程中，最后数据是被加载到hdfs的，这里用shell脚本实现，hdfsdfs-put-r/hdfs的目录。结果程序执行到这一步的时候报错了。
星月情缘02·2025-01-30 03:45

AR汽车行业解决方案系列之2-远程汽修

在汽车行业中，AR技术的应用正悄然改变着整个产业链的运作方式，应用涵盖培训、汽修、汽车售后、PDI交付、质检以及汽车装配等，AR技术为多个环节都带来了前所未有的便利与效率提升。
安宝特AR·2025-01-26 22:53

服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化

使用TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处
·2025-01-25 10:01

批量作业调度、数据挖掘，这几款应该是今年 “最值得推荐” 的ETL工具了

工具传送门：Taskctl商业付费版(付费)TaskctlWeb商业免费版（永久免费）Kettle（开源免费）Datastage(付费)ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。
加菲盐008·2025-01-21 06:32

【开源免费】kettle作业调度—自动化运维—数据挖掘—informatica-批量作业工具taskctl

关注公众号"taskctl"，关键字回复"领取"即可获权产品简介taskctl是一款由成都塔斯克信息技术公司历经10年研发的etl作业集群调度工具，该产品概念新颖，体系完整、功能全面、使用简单、操作流畅，它不仅有完整的调度核心、灵活的扩展，同时具备完整的应用体系。目前已获得金融，政府，制造，零售，健康，互联网等领域1000多家头部客户认可。图片来自网络2020年疫情席卷全球，更是对整个市场经济造成
加菲盐008·2025-01-21 06:31

Kettle发送邮件功能如何配置以实现自动化？

kettle发送邮件如何设置？Kettle配置发送邮件的方法？Kettle发送邮件功能能够帮助用户在数据处理过程中自动发送电子邮件，极大地提高了工作效率。
DengHua2203·2024-09-06 15:51

2020-08-20 Kettle 无法正常启动 报错：does not exist, please create it ；Unable to create the database cache

\pdi-ce-6.0.1.0-386\data-integrat
迷光·2024-08-29 11:52

第三章 可视化ETL平台——Kettle

第三章可视化ETL平台——Kettle课程目标能够理解Kettle的主要用途能够搭建Kettle开发环境能够掌握Kettle输入组件的使用能够掌握Kettle输出组件的使用能够掌握Kettle
okbin1991·2024-08-26 12:30

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

MATLAB 编程风格指南

aspxMATLAB编程风格指南——RichardJohnsonVersion1.5，Oct.2002版权；Datatool所有翻译：Genial@USTC“Languageislikeacrackedkettleonwhichwebeattunedtodanceto
DeepLearning·2024-02-20 22:13

二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)

一、目的需要用Kettle从Hive的DWS层库表数据增量同步到ClickHouse的ADS层库表中，不过这次的增量判断字段是day字段，不像之前的create_time字段因为day字段需要转换类型，
天地风雷水火山泽·2024-02-20 10:20

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的datax、Kettle、ETLClou
RestCloud·2024-02-20 05:28

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的datax、Kettle、ETLClou
·2024-02-19 19:52

Linux下删除n天前的文件2019-01-16

/bin/bashfind/opt/kettleLogs-mtime+10-typef-name"JOB_H-*.log"-execrm-rf{}\;find/opt/kettleLogs-mtime+
dataHunter·2024-02-12 18:50

Kettle发送邮箱并在正文中以表格形式展示内容[升级版]

在上一篇关于Kettle发送邮件并在正文中以表格形式展示内容的文章中,已经提到Kettle邮箱正文中支持HTML格式,要在邮箱正文中展示表格,那就行拼出HTML,然后扔到邮箱正文中.方法就是这么简单直接
GuangHui·2024-02-12 17:11

Kettle 导入优化指南

在“表输出”的“上一个步骤“的组件上右键选择”数据发送……”的方式为”Round-Robin”。在”表输出”组件上右键选择“改变开始复制的数量……”填入并发数量“{d}”。第一次时注意调大弹出框，默认是看不到”确定”按钮的。配置完成后，“表输出”组件左上角会有“x{d}”字样。配置目标”数据源”，在”选项”中配置”命令参数”。
Kassadar·2024-02-12 08:49

ubuntu22安装和部署Kettle8.2

在Ubuntu22上安装和部署Kettle8.2，你可以按照以下步骤进行：安装Java环境：Kettle需要Java环境来运行。
·2024-02-11 18:28

时区设置引起的一系列问题

这几天都在一直研究如何使用metabase和Kettle的事，我在一台Centos上使用Docker安装了metabase是，并用Docker部署一个Postgresql作为数据库，在另一台Centos
flexitime·2024-02-10 15:17

kettle--文本文件输出有空格解决方案

在kettle文本文件输出时，不管如何设置字段类型和长度，导出的数据都会有空格，遇到这一问题，可以在文本文件输出控件中勾选这一项，即可解决这一问题。文本文件输出：
刀鋒偏冷·2024-02-10 03:24

AI绘选股15，双蹄并进

“DMI”的4条颜色不同的线犹如一匹马的四条腿，它的4个数值就像一匹马的4只蹄子，我们把+DI（PDI）和-DI（MDI）称为马的前蹄，把ADX和ADXR称为马的后蹄，当马的后蹄并拢在一起时，股价将随之出现一个马不停蹄的奔腾过程
股歌·2024-02-09 08:58

kettle控件-复制记录到结果/ 从结果获取记录的使用

为了解决这一问题，可以利用kettle的复制记录到结果/从结果获取记录控件。
刀鋒偏冷·2024-02-09 03:47

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

【kettle】pentaho/data-integration 报错：org.apache.http.NoHttpResponseException: failed to respond

一、版本说明kettle版本：8.2.0.0-342【kettle】pentaho/data-integrationdebug查看日志方法二、报错说明：核心报错内容：org.apache.http.NoHttpResponseException
lisacumt·2024-02-06 12:44

【kettle】pentaho/data-integration debug 查看日志方法

kettle版本：8.2.0.0-R修改console打印日志级别：修改root打印日志级别：使用SpoonDebug.bat，根据提示，依次输入nyn。cmd窗口即可打印详细日志。
lisacumt·2024-02-06 12:44

kettle在不同类型数据库之间进行数据传输并对字段进行映射

help.pentaho.com/Documentation/7.1/0J0/0C0/020下载地址https://community.hitachivantara.com/s/article/data-integration-kettle
好大的月亮·2024-02-05 05:17

Kettle入门

Kettle版本：7.1，下载地址：http://mirror.bit.edu.cn/pentaho/Data%20Integration/（这个镜像是北京理工大学提供，目前只有Kettle6.1、7.0
叶逸灵·2024-02-04 13:28

kettle实战-2基本知识-2.2作业

作业是Kettle的另一个组件，作业也包括步骤和连线，主要作用是将转换有顺序的连接起来，还可以定时执行。转换中不容易控制各步骤的顺序，结合作业就可以更精确的控制处理流程。
onemy·2024-02-03 07:44

Kettle 8.2 如何创建资源库

1.为什么使用资源库如果我们是团队开发项目，除了使用SVN等版本控制软件，还可以使用Kettle的资源库，他会将转换、作业直接保存在数据库中，而且，连接资源库的话，我们就不需要每一次都新建数据库连接了，
sliver-毛毛·2024-02-02 10:09

kettle 同步gbase8t数据到mysql时clob类型乱码

一、问题使用kettle同步gbase8t数据到mysql时clob类型乱码。varchar类型不乱码。
终回首·2024-02-01 08:24

kettle通过severice_name连接oracle数据源踩坑

最近在研究kettle做数据抽取核对，按照官网安装kettle后无法连接oracle坑1：kettle连接oracle的数据库名指的是sidname而非severicename，前期一直使用severicename
Julycaka·2024-01-31 07:51

Macbook M1 安装PDI(Kettle) 9.3

MacbookM1安装PDI(Kettle)9.3当前PDI（Kettle）最新版为9.3，依赖JavaJDK11。
Pierre_·2024-01-29 23:32

kettle小试牛刀

目录Kettle概述ETLKettle是什么基本使用Mysql作业作业跳为什么要用kettle进行同步单表全量同步插入/更新字段格式切换字符串替换单表增量同步作业开始转换同步本次增量数据记录本次同步时间测试错误日志入库插入
Jc_Stu·2024-01-26 09:53

Kettle资源库配置变为灰色，且没有connect按钮

问题背景：在日常使用Kettle的过程中，有时候会发现自己打开Kettle以后，资源库配置变为灰色，且没有connect按钮，简单操作即可解决。
W_枫叶·2024-01-25 09:48

kettle配置提升读写性能

一、使用场景在多个数据库之间进行数据的抽取，转换，处理等二、数据库配置1.增加批量写的速度useServerPrepStmts=false(关闭服务器端编译，sql语句在客户端编译好再发送给服务器端，发送语句如上。如果为true,sql会采用占位符方式发送到服务器端，在服务器端再组装sql语句)rewriteBatchedStatements=true(开启批量写功能)useCompression
这个名字还中·2024-01-24 13:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他