kettle(pdi)

基于 SpringBoot+Vue 的开源数据可视化分析工具

技术栈后端：SpringBoot前端：Vue.js、Element、ApacheECharts中间件：MySQL数据处理：Kettle、ApacheDoris基础设施：Docker功能图表展示：支
不是太高的手·2023-11-01 06:02

【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Cana
九层之台起于累土·2023-10-31 00:37

使用kettle导入excel数据到mysql

使用kettle导入excel数据到mysql1.概述2.环境准备和导入要求3.导入1.概述开发过程中，经常有excel导入数据库的需求，如果用java语言开发的话，一般都是手动写代码。
stars·2023-10-30 05:04

Kettle 邮件发送 javax.net.ssl.SSLHandshakeException: No appropriate protocol

kettle的发送邮件一直出现报错：javax.net.ssl.SSLHandshakeException:Noappropriateprotocol有以下几点需要确认1、地址需要填写2、服务器需要填写发件人邮箱的相关信息
CLC鸿·2023-10-29 05:59

ETL工具Kettle

1Kettle的基本概念一个数据抽取过程，主要包括创建一个作业（Job），每个作业由一个或多个作业项（JobEntry）和连接作业项的作业跳（JobHop）组成。
星星失眠️·2023-10-29 03:08

kettle进行mongodb数据迁移

，引发业务查询查询越来越慢；数据量达到10个T左右；虽然目前有冷库，但需要隔半年进行一次数据迁移及数据删除；期间业务系统访问不；动作量大、影响面广；2实现难点考虑实现的便利性和难易程序，项目组决定采用kettle
gdj_career2008·2023-10-28 04:10

oracle，CLOB转XML内存不足，ORA-27163: out of memory ORA-06512: at “SYS.XMLTYPE“,

通过kettle采集数据时，表输入的组件，查询报错。
qq_39255840·2023-10-27 21:54

kettle执行job流程分析（2）

真是时光荏苒啊好长时间没再写kettle的代码分析了，正好最近在排查kettle的连接池泄露的问题，趁此机会再来好好聊一聊。如果查看trans和job的执行，就会发现这两者的执行是有较大差别的。
夜里慢慢行456·2023-10-27 00:11

kettle9.1 源码环境配置

details/103947449环境准备maven3+JDK1.8下载settings.xml文件，存放于.m2文件下源码下载源码下载地址：https://github.com/pentaho/pentaho-kettle.gitpdi
夜里慢慢行456·2023-10-27 00:40

Kettle体系结构及源码解析

Kettle是一款国外开源的ETL工具，有两种脚本文件transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
偷偷学习被我发现·2023-10-26 18:34

【Kettle从零开始】第八弹之Kettle变量参数传递介绍

答：Kettle中参数大致可分为两类：一类是全局参数，一类是局部参数。2、参数如何定义？答：A：全局参数定义是通过当前用户下.kettle文件夹中的kettle.properties文件来定义。
羊子雄起·2023-10-26 18:34

通过kettle循环变量方式将关系型数据库表插入hive表分区

场景当需要将关系型数据库中的历史数据导入hive时，由于数据量较大，通常需要建立数据日期为分区的分区表存储。此时就需要设置日期变量，通过日期变量循环将数据插入hive表分区。示例在本作业中，涉及到的关键组件是表输入、复制记录到结果、从结果获取记录、设置变量、Hadoopfileoutput、执行SQL脚本等。思路是先将源表中作为hive分区的字段查询出来作为变量(字段格式可能不一致)，然后复制记录
shenzhibiao·2023-10-26 18:04

开源ETL工具kettle系列之常见问题

开源ETL工具kettle系列之常见问题摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1.Join我得到
欣莎之家·2023-10-26 18:34

Kettle查询表数据循环到目标表

简介：Kettle工具有一种业务场景是动态查询数据库中某张表的某个字段，将该字段当做循环变量，循环整个作业。下面就是记录该步骤。
妙趣生花·2023-10-26 18:03

Kettle安装初始化问题

1、Kettle启动闪退:原因：自己的JDK是168.0的Kettle适配JDK1.8【Spoon.bat双击后闪退】解决办法-知乎2、KettleDB连接中文命名UnexpectedproblemreadingsharedobjectsfromXMLfile
妙趣生花·2023-10-26 18:33

Kettle变量和参数介绍系列文章3-循环的轻松实现

本文主要讲述在Kettle开发中实现循环操作的两种简单方法，即使没有编程经验的朋友也比较容易掌握。本系列文章的前两篇，感兴趣的朋友可以看下：1、变量的使用；2、参数的使用。
数据地平面·2023-10-26 18:32

kettle5.3扩展step插件支持元数据注入

1.前言虽然说kettle提供了可视化的操作界面，但对于一些共有相同功能的ETL流程我们不希望每次都在spoon上面拖拉组件去创建流程，感觉比较繁琐，所以在基于kettle做二次开发的时候希望可以把相同类型的流程提取成公共的模板
矛始·2023-10-26 18:02

Kettle变量参数传递

答：Kettle中参数大致可分为两类：一类是全局参数，一类是局部参数。2、参数如何定义？答：A：全局参数定义是通过当前用户下.kettle文件夹中的kettle.properties文件来定义。
gb83421185·2023-10-26 18:02

Kettle循环结果集中的数据并传入SQL组件【或转换】里面

简介：在尝试使用了结果集的Demo循环后，进入到生产还是有一点问题的，以下是各个组件的分解解释、遇到的问题，以及解决问题的思路，最后文章的最后会把完整的Ktr文件放出来。记得收藏点赞喔！先来看张图~来自老大的压迫感！有压力才有动力！！！1、JOB拆解1、首先，这个是本次JOB的一个主要实现的功能，伙伴们无需过多关注step3、step4是什么东西，只需要简单理解为，这个JOB是ads层供应商等级数
妙趣生花·2023-10-26 18:01

Java 操作excel 插入删除列，插入删除图片

任务：使用kettle将excel中数据导入到数据库中，但是要删除千两行的空白行和第一行的图片。使用Java操作文档。
高个子男孩·2023-10-26 10:20

线上happy hour喝多了好方便！-corona virus和纽约还有瑜伽的故事序列2

2020-03-20周五开始使用slack，源于kettlespace创建的一个社区，说是slack，其实是适合一个公司或者社群一起讨论事情，我马上加入几个topic和group，开始介绍自己在foundergroup
徐林Grace·2023-10-26 01:34

Kettle8.2下设置自定义SQL中多时间变量参数

kettle下使用SQL语句时经常会限定时间进行取数,每次改动就比较麻烦,可通过引用变量参数的方式自动引用,方便使用.一.新建转换,获取各种想要的变量参数:1.
YasinZhu·2023-10-23 23:51

windows系统kettle9.3一键安装启动

程序下载、解压通过百度网盘下载，直接解压即可解压之后双击运行程序路径pdi-ce-9.3.0.0-428一键安装启动\pdi-ce-9.3.0.0-428\data-integration
三希·2023-10-22 20:14

Kettle | CDC三大类型相关实验总结

CDC前言CDC的概念基于源数据的CDC[非入侵式]基于触发器的CDC优缺触发器的种类INSERT触发器基于快照的CDC基于日志的CDC前言CDC的概念识别出变化的数据并只导入这部分数据被称为变化数据捕获（ChangeDataCapture）即CDC基本上CDC可以分为两种，一种是侵入性的，另一种是非侵入性的。侵入性是指CDC操作可能会给源系统带来性能的影响。可以简单的认为，只要CDC操作执行了任
Klingx·2023-10-21 08:32

【Kettle】Kettle专栏：第3章：几种循环方式在Kettle中的实现

*******************************本专栏由黎老湿独家创作，一家之言，不喜勿喷*******************************Kettle支持多种循环方式，下面一一说明
老黎·2023-10-21 01:11

kettle 导出Excel 日期信息为空bug

需要安装MySQL监听）to_char(日期,'yyyy/mm/ddhh:mm:ss')方式将日期转为vachar直接导出二、通过kettle软件转换将字段强行转为string然后直接导出Excel就可以
张家强 全栈·2023-10-20 19:38

kettle-数据库解密与各种跳接线标记含义

1.加密进入kettle的安装目录windows系统命令行执行：Encr.bat-kettle123linux/mac系统命令行执行：encr.sh-kettle123可生成Encrypted2be98afc86aa7f2e4cb79ce10bec3fd89
AllenGd·2023-10-20 01:19

电子奖牌-参数

6color_8.14_BLE尺寸(mm)200*135*7mm显示技术电子墨水屏显示区域(mm)180.22(H)*101.38(V)分辨率(像素)1024*576像素尺寸(mm)0.176*0.176144pdi
深圳皮克智能技术有限公司·2023-10-19 11:26

3、oracle相关同步-oracle通过datax同步到hdfs

mysql同步到mysql、mysql和hdfs相互同步3、oracle相关同步-oracle到hdfs4、sybase相关同步-sybase到hdfs5、ETL工具的比较(DataPipeline，Kettle
一瓢一瓢的饮 alanchan·2023-10-18 19:29

kettle遍历抽取某目录下Excel文件数据

第一步：新建获取文件名转换1、设置文件路径及匹配正则表达式2、获取字段3、拖入复制记录到结果第二步：新建抽取数据转换1、设置文件目录变量2、设置工作表名称3、获取设置字段4、设置表输出对象及字段映射第三步：创建执行作业1、拖入start控件2、拖入转换控件设置获取文件目录3、使用JavaScript设置变量//获取上一步的信息列表varresult_list=previous_result.get
张彦明·2023-10-16 15:14

源数据采集到数据库中(excel、kettle、python)

excel类型的表格数据类型的数据源进行采集到数据库中的时候，通常可以采用三种方式第一种：利用excel工具，从原表里拿取需要的字段数据，在excel里面构建成数据库表的结构，最后导入到数据库中第二种：利用kettle
zhongs11·2023-10-16 15:44

kettle从excel导入数据到mysql

excel的数据kettle配置两步骤，excel输入—>表输出excel输入配置获取excel的信息选取sheet获取字段表输出至此完成，可以启动当前转换！！！
代码小样·2023-10-16 15:13

利用KETTLE完成数据从Excel表同步到数据库

数据库表准备例：具体操作：在输入中拖出Excel输入双击此Excel输入，添加对应的Excel表的目录位置点击“工作表”，获取工作表名称单击“字段”，在字段页面点击“获取来自头部数据的字段”，（所以Excel表格最好带有列字段列名），并可以对获取的数据字段类型进行调整，可以点击“预览记录”查看数据展开"输出"列表将"表输出"模块拖入右侧空白区域按住Shift按键将两个模块依次连接起来点击“数据库链
小先生812·2023-10-16 15:13

Kettle (2) - 抽取数据库表的数据

我们以MySQL为例，了解Kettle从数据库中抽取数据的要点。连接数据库，最重要的是数据库驱动。
stone0823·2023-10-16 15:11

kettle开发篇-批量读取EXCEL文件-Day5

前言：虽然目前我们大多数数据从数据库取数或者爬虫获取了，但是有些情况下我们需要对经营数据进行加工，这些数据只能给部分管理者查看，因此需要单独建立经营分析的库来存储手工的数据，而能大批量处理手工数据的地方，避免不了要去接触EXCEL。EXCEL作为办公软件的三剑客，在日常工作中出场率也太高了吧。下面来介绍怎么批量获取我们需要的数据。一、批量获取数据的前提条件1、公共的字段名竟然是批量获取数据，当然这
他们叫我技术总监·2023-10-16 15:40

Kettle 读取 Excel 数据输出到 Oracle 详解

文章目录1概述2拖拽对象2.1新建-转换2.2输入-Excel输入2.3输出-表输出2.4输入和输出建立联系3编辑对象3.1编辑Excel输入3.2编辑表输出4执行验证1概述ExcelKettle工具Oracle2
鱼丸丶粗面·2023-10-16 15:40

kettle案例4.1.2--抽取文本数据---CSV文件的抽取

kettle案例4.1.2–抽取文本数据—CSV文件的抽取CSV是Comma-SeparatedValues的缩写，即逗号分隔值。
sudo-w·2023-10-16 15:40

kettle实例--数据转换-多数据源合并

1.使用Kettle工具，创建一个转换company_merge，并添加CSV文件输入控件、表输入控件、字段选择控件、排序合并控件、增加序列控件、表输出控件以及Hop跳连接线，具体如图所示。
fxxhmn·2023-10-16 15:09

kettle应用-数据库表插入/更新

】--》【插入/更新】一、表输入：关联多表查询获取数据“核心对象”区域--“输入”中，拖入“表输入”二、增加序列：生成序列ID，对应目标表的id字段目标表有id字段，源表没有对应的数据，需要生成，使用kettle
明算科·2023-10-16 15:38

kettle应用-从数据库抽取数据到excel

本文介绍使用kettle从postgresql数据库中抽取数据到excel中。
明算科·2023-10-16 15:06

万字整理 最新主流大数据技术分类大全（持续更新）

数据采集主要代表是：Flume、Sqoop、Logstash、Databus、DataX、Canal、Kettle、Maxwell、NIFI、Debezium、SeaTunnel、Fl
炼数成器·2023-10-14 18:54

关于Spoon(Kettle)连接数据库问题的解决办法

我遇到的问题：1、未找到数据库的名称2、缺少jar.file3、不识别中国标准时区4、Unknowncolumn'id'in'fieldlist'问题我现在是连接成功了，所以整合记录下来，巧合也好还是真的是解决办法，遇到相同问题的读者可以尝试下，萌新教程，多多包涵。问题1解决办法：我使用的是Spoon(9.0)+MySQL(8.0.29)+DataGrip(2022.2.4)学习数据库相关的内容，
空花缱绻三分·2023-10-14 16:11

用Kettle调用Restful API 接口

本文探索的内容正是用kettle这个ETL工具来调用Restfu
神州永泰·2023-10-13 18:39

ubuntu16.04中文乱码问题解决

乱码实列：2023-05-2515:36:00.517-[pool-2-thread-1]DEBUGKettle.runDataScn(204)-????
空白格己·2023-10-13 00:17

Hadoop 总结 四 配置集群

配置启动并测试集群虚拟机准备见前两章,并将hadoop103,hadoop104进行同样的配置编写集群分发脚本#scp安全拷贝方式#语法:scp-r$pdir/$fname$user@hadoop$host:$pdi
千山暮雪CN·2023-10-12 20:38

使用kettle工作流程

Kettle是一个用于数据集成和数据管理的开源工具，主要用于数据库、数据仓库和商业智能领域的数据转换和同步。
明算科·2023-10-12 12:53

使用kettle做数据抽取流程

Kettle是一个功能强大的ETL工具，用于实现数据的抽取、转换和加载。下面是使用Kettle进行数据抽取的基本流程：1.准备数据源首先，需要为Kettle配置数据源。
明算科·2023-10-12 12:17

kettle基于快照的CDC

一、转换的输入输出需求➢第一步将student_cdc表中的数据复制到student_cdc_sanp1表中，使student_cdc_sanp1作为student_cdc表的第一个快照，同时将数据输出到student_cdc_sync表中。➢第二步对student_cdc中的数据进行插入、更新、删除操作。➢第三步将student_cdc表中的数据复制到student_cdc_sanp2表中，使s
lambda-小张·2023-10-11 00:34

基于 Kettle + StarRocks + FineReport 的大数据处理分析方案

Kettle+StarRocks+FineReport的大数据处理分析方案其中Kettle负责数据的ETL处理，StarRocks负责海量数据的存储及检索，FineReport负责数据的可视化展示。
小毕超·2023-10-08 15:29

kettle安装、MySQL数据库连接、报错处理

目录1.环境配置2.安装kettle3.连接数据库4.连接数据库报错处理报错一报错二前言：跟kettle斗智斗勇的一下午，下面是我踩过的一些坑，希望对大家在安装配置kettle时有所帮助，首先放一张我成功的截图
π....·2023-10-08 04:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他