【Kettle】第16页

不写代码轻松实现数据可视化，这款基于SpringBoot的神器，简直绝了！

·2022-01-05 10:34

编写后端接口调用Kettle数据仓库

编写后端接口调用Kettle数据仓库前言在报表查询统计中我们会用到kettle数据仓库工具，采用定时任务执行kettle转换弹性较小，有时无法满足业务需求，因此需要后端开发人员提供给前端人员一个调用kettle

AmbitionsZoe·2021-11-24 20:03

大数据 ETL 处理工具 Kettle 的核心概念

在实际工作中，可以使用Kettle的图形化的方式定义复杂的ETL程序和工作流，如下图就是通过一系列的转换（Transformation）完成一个作业（Job）流程。

·2021-11-12 10:04

Kettle知识库问答系列之八零年代

不知不觉中，“以数据之名”Kettle解忧消愁系列专题已更新了五篇知识库文章“三十而立、四十不惑、五十而耳知天命、六十而耳顺、七十古稀”，叙述了使用Kettle作为ETL开发的常见组件使用说明、业务场景实现逻辑

·2021-10-29 10:18

kettle9.1连接hive2时出现User: root is not allowed to impersonate anonymous解决办法

rootisnotallowedtoimpersonateanonymous解决办法：问题2：解决办法：问题1:User:rootisnotallowedtoimpersonateanonymous我在用kettle9.1

落幕7·2021-10-24 15:00

所有我们目前学的kettle转换步骤总结

一、输入类1.文本文件输入2.表输入3.CSV文件输入4.JSONinput.json文件输入后，这个控件能够解析.json文件，解析出它的json最外层结构。5.MongoDBinputMongoDB数据库作为数据输入源6.GetdatafromXML7.一种特殊情况：（自定义常量数据，作为后续的输入）8.HTTPclient对指定的url发起http请求，并将http响应结果存储到result

夜空霓虹·2021-10-13 16:41

数据清洗——黑马程序员（学习笔记）

1抽取CSV文件1.1打开Kettle工具，创建转换通过使用Kettle工具，创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，具体如图所示。

m0_59775560·2021-10-07 15:16

黑马程序员《数据清洗》学习笔记CSV、JSON数据抽取

目录4.1抽取文本数据4.1.1CSV文件的抽取1.打开Kettle工具，创建转换2.配置“CSV文件输入”控件3.配置“表输出”控件4.运行转换csv_extract4.2抽取Web数据4.2.1JSON

眨个眼就睡着·2021-10-02 10:45

❤️肝爆六万字 + 各种图解案例《大数据ETL开发之Kettle工具》小白保姆级教程❤️【建议收藏】

文章目录第0章ETL简介第1章Kettle简介1.1Kettle是什么1.2Kettle的两种设计1.3Kettle的核心组件1.4Kettle的特点第2章Kettle安装部署2.1Kettle下载2.1.1

大数据_小袁·2021-09-25 07:21

kettle 连接MySQL数据库报错：No appropriate protocol

kettle连接数据库时报错：Causedby:javax.net.ssl.SSLHandshakeException:Noappropriateprotocol(protocolisdisabledorciphersuitesareinappropriate

PASH_dou·2021-09-08 10:28

Kettle on MaxCompute使用指南

简介：Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows,Unix,Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。

·2021-08-10 12:03

Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）

Flume跟Sqoop、Kettle有类似的地方但是又有不同，随后会详细分析。2基本架构及核心概念基本架构图【官网】：来自尚硅谷的资料，侵删，【

シ風·2021-08-08 20:45

大数据 ETL 处理工具 Kettle 常用输入输出

相比现在流行大数据技术，你可能觉得Kettle的使用场景太少了，或者没有必要使用这么个玩意儿，查看了下githubkettle发现最近也有一些更新，另外，对于没有编程经验的数据使用人员，使用非常简单的Kettle

·2021-07-27 20:20

大数据 ETL 处理工具 Kettle 入门实践

Kettle简介ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于数据开发人员来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用

Yezhiwei·2021-07-06 12:38

Java定时调用.ktr文件的示例代码(解决方案)

1.Maven依赖pentaho-kettlekettle-core7.1.0.0-12pentaho-kettlekettle-engine7.1.0.0-12pentaho-kettlemetastore7.1.0.0

·2021-06-26 13:10

Kettle手册（九）- 发送邮件

在Kettle里面，我们每天执行完调度之后，想要监控下JOB的执行状态，通常我们可以会发送邮件，可以的话，还可以发送短信。在Kettle里面，发送邮件很方便，这里，我们就简单的测试下。

橘猫吃不胖·2021-06-25 12:31

如何通过java集成kettle实现远程调用kettle集群

如何通过java集成kettle实现远程调用kettle集群packagecom.hry;importorg.pentaho.di.cluster.SlaveServer;importorg.pentaho.di.core.KettleEnvironment

kettle老者·2021-06-24 09:24

使用kettle执行mapreduce

使用kettle执行mapreduce#机器：192.168.9.15710G内存，4核CPU，centos6.5hadoop版本：2.7.3pdi:8.0目的使用pdi工具实现运行mapreduce的

哥别打脸·2021-06-23 04:38

Kettle-Pentaho-Data-Integration-连接数据库之数据库驱动异常

Lemonlzy·2021-06-22 16:01

【ETL】系列三：Kettle Spoon数据库连接

这节主要说Kettle的数据库连接方式和常见问题的解决方案。你可能会问，数据库连接有什么好说的？一看就会呀，为什么作为产品经理，需要将数据库连接作为一节单独说？因为回忆起来也都是泪啊！！！！！！

不爱吃药的小白鼠·2021-06-19 09:23

程序员小姐姐的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)

文章目录引言文章传送门:程序员小姐姐的烦恼数据抽取的需求准备工作找到小姐姐的Excel文件构建Kettle数据流图配置Kettle数据流图中的组件保存并启动执行Kettle转换确认执行结果到这里，恭喜你

ChinaManor·2021-06-13 21:09

【错误处理】Kettle-JNDI模式-密码错误

我们通过配置jdbc.properties来使用JNDI模式连接数据库；这次我们的密码是#错误原因就是#student/password=stu#123因为Kettle在解析jdbc.properties

及未来·2021-06-11 09:10

实践之Kettle连接不上数据库

使用kettle连接数据库连接提示如下:org.pentaho.ui.xul.XulException:java.lang.reflect.InvocationTargetException当时我安装的是

小冕·2021-06-11 08:07

ETL作业调度-taskctl-调度工具-大数据-自动化-kettle

taskctl是什么？批量调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。数据是黄金，数据是整个社会乃各企业团体的重要资产，管好数据、用好数据是整个社会的重要命题。想要用好数据，首先就应该管好数据。而批量调度自动化技术，正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中，是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有

TASKCTL·2021-06-10 03:46

kettle 数据同步

数据同步一般要与排序记录、合并记录两个对象同时使用首先确保数据流的字段是一样的，可利用字段选择的移除和排序功能排序，保证排序结果唯一合并行新旧数据源：新数据源的数据同步至旧数据源，最后旧数据源的表会改变，新数据源的表不会有任何变化标志字段：起一个变量名，保存数据对比的结果。有new、changed、deleted、identical4种结果，对应插入、更新、删除、相同4种含义关键字段：合并数据时的

xiuxiuxiucai·2021-06-07 01:22

Kettle 启动报错 Unable to create the database cache

Kettle异常退出以后，再重新启动时，发现无法正常启动，查询日志以后，发现错误：Unabletocreatethedatabasecacheimage.png这个时候，只要找到系统用户目录下的.kettle

猪八戒网_奇杰·2021-06-06 02:08

实战代码（二）:Springboot Batch实现定时数据迁移

和ETL工具-kettle功能类似，但是定制性比较强应用场景集中在各种DB、文件等各种已经存在的历史数据，貌似不支持消息队列的实时监听（如果有知道如何实现的

LY丶Smile·2021-06-05 11:32

物联网平台与kettle技术的结合（三）

上篇文章主要介绍了将tb的websocket接口进行透传，转化为业务所需要的格式。上上篇文章讲得是如何将tb的rest接口进行透传，转化为标准的格式。基于以上两篇文章属于对单接口的改造能力，本篇文章就介绍一下如何将tb的多个接口进行聚合，以满足复杂的业务场景。问题：需求：查询某资产所包含的所有设备（出参应包含设备名称，设备描述，设备状态）。分析：请求参数肯定是资产id，查看tb平台的api，发现只

qingxinziran007·2021-06-05 10:50

【kettle】kettle分布式集群搭建

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Catke·2021-06-04 23:12

使用Kettle实现从DB至ElasticSearch的数据迁移

Kettle是一款基于Java开发的开源（Apache许可）的ETL工具，因其友好的许可、可视化的设计器、可扩展的插件机制，而被广泛使用Elasticsearch是一款基于ApacheLucene开发的开源

河东客·2021-06-04 19:16

Kettle(PDI)-一款ETL工具的使用教程（2）

数据库连接使用JNDI为什么要用JNDI？简单说，属于配置式，可以通用。路径：data-integration\simple-jndi\jdbc.properties基本格式live_logging_info/type=javax.sql.DataSourcelive_logging_info/driver=org.postgresql.Driverlive_logging_info/url=jd

「已注销」·2021-06-04 10:00

介绍一些平时用得到的服务/组件

介绍一些平时用得到的服务/组件组件名属性标签特性使用场景Mysql关系型数据库，行式存储，支持sql轻量级数据分析，存储hive的元数据，kettle的资源库，web应用后台库Oracle关系型数据库，

小白的成功进阶之路·2021-06-02 19:29

物联网平台与kettle技术的结合（二）

上篇文章介绍了如何将tb的rest接口出参数据格式通过kettle平台转换为最合适的出参格式。本篇文章将接着上篇文章，通过kettle平台来处理tb的websocket接口。

qingxinziran007·2021-05-30 18:48

物联网平台与kettle技术的结合（一）

上篇文章介绍了电力监控平台，它是基于tb的物联网平台实现的。tb是一个开源的物联网平台，虽然功能很强大，但是毕竟是老外写的，在使用的过程中你会发现很多的使用习惯与国内的系统都有差异。比如：tb暴露的rest接口，往往没有经过进一步的封装，格式输出较为散乱，如果直接供前端使用的话，就会导致很不协调。同样如果直接使用tb的websocket接口，前端的解析也是非常复杂。如何屏蔽掉这些差异性呢？提出问题

qingxinziran007·2021-05-29 15:32

ETL之metadata (讲了pentato 的kettle 的元数据) - sunnywang - IT博客

--商业智能平台研究：ETL之metadata元数据的定义就是：描述数据的数据，你非要问什么描述元数据，还是元数据本身，UML中也有这种概念，只不过是描述的对象不一样罢了。让我们解释的更加通俗易懂一些吧，在javaSE中也有metadata的概念，最早的就算是JavaDoc了，在5.0之后，Annotation就是大量的使用metadata了，这是关于源代码的数据，具体来说就是关于Java的类、方

·2021-05-25 15:00

2021年大数据基础（四）：大数据业务分析基本步骤

目录大数据业务分析基本步骤明确分析目的和思路数据收集flumesqoopkettle数据处理-ETLMapReduceSpark数据分析HiveSQLSparkSQL数据展现报告撰写部门组织结构大数据业务分析基本步骤典型的大数据分析包含以下几个步骤

Lansonli·2021-05-22 21:35

Kettle使用教程三多表合成一

多张表合成一张表图片.png注意输入表，和输出表想要存进不同的库，直接点击下面的新建就可以图片.png图片.png建立好连接关系以后可以指定字段图片.png然后选择映射关系，这里就是最重要的了，映射关系，可以自己指定，也可以默认指定，但是默认指定并不能把特殊的字段完全指定对，所以，最后一定要自己指定一下啊图片.png最后就可以直接运行了。当然，在指定过程中还可以给字段改名，下个章节会提到

发光驴子·2021-05-21 02:17

Kettle02：Kettle输入控件

本章介绍以下输入控件的使用案例：01CSV文件输入02文本文件输入03Excel输入04多文件合并05XML06JSONInput07生成记录08数据库表输入1.CSV文件输入：把CSV文件的数据复制到excel文件CSV文件:CSV文件是一种带有固定格式的文本文件任务分析输入：csv文件输入输出：excel输出2.文本文件输入：把文本文件的数据复制到excel文件提取日志信息的数据是开发常见的操

勇于自信·2021-05-14 16:07

kettle --- 02连接oracle

(来自网络)而kettle没有默认使用SID连接，但是公司是serviceName,所以参考下面方式连接OK:１、不需要填写主机名２、数据库名写如下连接字符串：(DESCRIPTION=(ADDRESS

Gary_zheng·2021-05-14 03:58

Kettle基本概念之设计原则

易于开发任何用于软件安装、配置的时间都是一种浪费。避免自定义开发ETL工具提供了标准化的构建组件来实现ETL开发人员不断重复的需求。尽量避免手工开发，尽量使用已提供的各种组合来完成任务。所有功能都通过用户界面完成如果不直接把所有功能通过界面的方式提供给用户，实际上就是在浪费开发人员的时间，也是在浪费用户的时间。没有命名限制ETL解决方案应该可以尽可能地自描述，这样可以部分减少文档的需求，减少项目维

小纠结在简书·2021-05-13 14:18

Kettle04：Kettle转换控件

本章讲解如下几种转换组件案例：01Concatfields02值映射03增加常量04增加序列05字段选择06计算器07字符串-剪切-操作-替换08去除重复记录+排序记录09唯一行（哈希值）10拆分字段11列拆分为多行12列转行13行转列14行扁平化1.Concatfields转换转换是转换里面的第四个分类。转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是

勇于自信·2021-05-12 16:38

Kettle03：Kettle输出控件

本章讲的kettle输出组件，以下几种类型的案例01Excel输出02文本文件输出03SQL文件输出04表输出05更新06插入更新07删除

勇于自信·2021-05-12 16:22

Kettle01：Kettle入门

1.kettle简介kettle简介ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种

勇于自信·2021-05-12 16:31

kettle导数据操作

1.导入数据到elasticSearch首先要确保elasticSearchstarted了。设置ElasticSearchBulkInsert属性，先设地址和端口，并TestConnection确保连接正确。开始一直出现提示：就是因为Address和Port填得不对，具体可以在启动es后看信息：发现里面提到了127.0.0.1:9300和127.0.0.1:9200，最后发现只有127.0.0.

Cracks_Yi·2021-05-12 07:17

基于kettle的数据集成平台用户手册

基于kettle的数据集成平台访问地址：http://39.96.70.169:8088用户名：admin密码：admin用户手册下载地址：https://download.csdn.net/download

qingxinziran007·2021-05-12 00:39

Kettle手册（一）- 序及Kettle简介

目前主要负责数据仓库这一块任务，平时用用Kettle、SSIS这类ETL工具，而且工具的使用整理起来会方便些。所以先从Kettle开始，一点点整理下最近BI开发中掌握的知识。

橘猫吃不胖·2021-05-08 14:48

Kettle 小结

接触了Kettle也有一段时间了，挖个坑总结一下。Kettle的使用和总结，是基于Pentaho解决方案。这本书虽然网上认为是进阶书籍，但在实际的使用过程中，发现也是入门的绝好方式。

Async_1338·2021-05-07 21:10

cigarette -

heleanedagainstthewallandlitacigarette.sediment,teakettletheprojectmangerwasveryapologeticabouthismistake.circus.circus

柏树维度·2021-05-07 09:16

Kettle源码搭建

继续上一篇文章《Kettle初识》,本篇文章继续来说说kettle的源码环境搭建。

熊颀·2021-05-05 07:02

Kettle手册（十二）- 控件使用-从步骤插入数据

这里介绍一个控件的小功能，也是最近才发现的，之前在“表输入”中要使用参数的话，一般都是使用变量，其实，还有个功能也可以尝试使用Kettle-handbook-12-01.png整体流程就是这样，我们第一个

橘猫吃不胖·2021-05-03 11:33

推荐频道

【Kettle】