——Kettle

【kettle】pentaho/data-integration 报错：org.apache.http.NoHttpResponseException: failed to respond

一、版本说明kettle版本：8.2.0.0-342【kettle】pentaho/data-integrationdebug查看日志方法二、报错说明：核心报错内容：org.apache.http.NoHttpResponseException
lisacumt·2024-02-06 12:44

【kettle】pentaho/data-integration debug 查看日志方法

kettle版本：8.2.0.0-R修改console打印日志级别：修改root打印日志级别：使用SpoonDebug.bat，根据提示，依次输入nyn。cmd窗口即可打印详细日志。
lisacumt·2024-02-06 12:44

kettle在不同类型数据库之间进行数据传输并对字段进行映射

help.pentaho.com/Documentation/7.1/0J0/0C0/020下载地址https://community.hitachivantara.com/s/article/data-integration-kettle
好大的月亮·2024-02-05 05:17

Kettle入门

Kettle版本：7.1，下载地址：http://mirror.bit.edu.cn/pentaho/Data%20Integration/（这个镜像是北京理工大学提供，目前只有Kettle6.1、7.0
叶逸灵·2024-02-04 13:28

kettle实战-2基本知识-2.2作业

作业是Kettle的另一个组件，作业也包括步骤和连线，主要作用是将转换有顺序的连接起来，还可以定时执行。转换中不容易控制各步骤的顺序，结合作业就可以更精确的控制处理流程。
onemy·2024-02-03 07:44

Kettle 8.2 如何创建资源库

1.为什么使用资源库如果我们是团队开发项目，除了使用SVN等版本控制软件，还可以使用Kettle的资源库，他会将转换、作业直接保存在数据库中，而且，连接资源库的话，我们就不需要每一次都新建数据库连接了，
sliver-毛毛·2024-02-02 10:09

kettle 同步gbase8t数据到mysql时clob类型乱码

一、问题使用kettle同步gbase8t数据到mysql时clob类型乱码。varchar类型不乱码。
终回首·2024-02-01 08:24

kettle通过severice_name连接oracle数据源踩坑

最近在研究kettle做数据抽取核对，按照官网安装kettle后无法连接oracle坑1：kettle连接oracle的数据库名指的是sidname而非severicename，前期一直使用severicename
Julycaka·2024-01-31 07:51

Macbook M1 安装PDI(Kettle) 9.3

MacbookM1安装PDI(Kettle)9.3当前PDI（Kettle）最新版为9.3，依赖JavaJDK11。
Pierre_·2024-01-29 23:32

kettle小试牛刀

目录Kettle概述ETLKettle是什么基本使用Mysql作业作业跳为什么要用kettle进行同步单表全量同步插入/更新字段格式切换字符串替换单表增量同步作业开始转换同步本次增量数据记录本次同步时间测试错误日志入库插入
Jc_Stu·2024-01-26 09:53

Kettle资源库配置变为灰色，且没有connect按钮

问题背景：在日常使用Kettle的过程中，有时候会发现自己打开Kettle以后，资源库配置变为灰色，且没有connect按钮，简单操作即可解决。
W_枫叶·2024-01-25 09:48

kettle配置提升读写性能

一、使用场景在多个数据库之间进行数据的抽取，转换，处理等二、数据库配置1.增加批量写的速度useServerPrepStmts=false(关闭服务器端编译，sql语句在客户端编译好再发送给服务器端，发送语句如上。如果为true,sql会采用占位符方式发送到服务器端，在服务器端再组装sql语句)rewriteBatchedStatements=true(开启批量写功能)useCompression
这个名字还中·2024-01-24 13:58

Kettle 8.2 打开spoon.bat后闪退的解决办法

文章目录表现：一、JAVA环境配置问题二、JDK版本过低1.Ketlle与JDK对应版本2.查看JDK版本三.修改spoon.bat配置文件表现：双击spoon.bat后，出现黑框，然后闪退，无反应。一、JAVA环境配置问题java_home：D:\ProgramFiles\Java\jdk1.8.0_202（即jdk安装路径）classpath：;%java_home%\lib\dt.jar;%
奥利文儿·2024-01-23 12:58

kettle中Pan kitchen用法及bat写法

kettle中Pankitchen用法及bat写法bat文件cdC:\data-integration---kettle目录例：@echooffcdC:\data-integrationpan/repmssql
DN_XIAOXIAO·2024-01-22 23:10

kettle 合并记录步骤 参数解释

该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源。新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。“identical”–旧数据和新数据一样“changed”–数据发生了变化;“new”–新数据中有而旧数据中没有的记录
发光驴子·2024-01-22 10:29

Windows下载并配置Kettle

注意：需要windows配置Java下载Kettle进入官网：https://www.hitachivantara.com/en-us/products/pentaho-plus-platform/data-integration-analytics
呆萌的代Ma·2024-01-22 05:48

利用Service_Name连接KETTLE

Service_Name连接数据库时需要在主机名称前加//，例子：192.168.0.1为IP，利用Service_Name连接则是://192.168.1.0数据库名称为:/orcl（注：orcl为Service_Name），如果利用SID连接数据库:192.168.1.0,SID位orcl，则是orcl
heiqizero·2024-01-21 06:29

kettle连接Taos数据库

通过Restful形式连接Taos数据库，具体分为以下几个步骤：1.导入lib放入kettle的lib文件夹下面2.创建数据源3.连接数据源即可连接数据库成功。
heiqizero·2024-01-21 06:59

数据去重（完全去重和不完全去重）

一、完全去重：1.数据准备与查看数据2.在Kettle新建转换，添加“CSV文件输入”控
殊迟·2024-01-21 06:20

FineBI实战项目一（25）：实战项目一总结

以实战项目一为例：1存在的问题目前调度用的kettle，数据分析，计算都是落表到mysqlmysql表数量庞大，乱，不知道表用途。
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

Kettle基本概念 之 Kettle设计模块

转换转换（transformtion）是ETL解决方案中最主要的部分，它处理抽取、转换、加载各阶段各种对数据的操作。转换包括一个或多个步骤（step），如读取文件、过滤输出行、数据清洗或将数据加载到数据库。转换里的步骤通过跳（hop）来连接，跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。除步骤和跳，转换还包括了注释（note），注释是一个小的文本框，可以放在转换流程图的任何位置。注释的
小纠结在简书·2024-01-18 18:56

kettle（Pentaho Data Integration） 使用"最佳"实践

kettle是一款基于JAVA的开源ETL工具，现在它的名字应该叫做PentahoDataIntegration(PDI)了,非常优秀的一款工具，功能非常多，今天我们主要演示其JavaAPI案例案例通过
稻草鸟人·2024-01-18 09:31

书签留存文档

MavenRepository:mavenSpringBoot官方文档学习实现一个简单的数据库连接池-CSDN博客不安装oracle客户端，用plsql连接oracle-郑文亮-博客园IDEA中创建mavenweb项目的详细部署kettle
Liang.Wang·2024-01-18 09:13

kettle集群配置整理

Kettlehttps://blog.csdn.net/u013434750/article/details/60958990kettle实现递归https://www.cnblogs.com/wuyechun
dataHunter·2024-01-16 16:33

基于爬虫和Kettle的书籍信息采集与预处理

一：爬虫1、爬取的目标将读书网上的书籍的基本信息，比如：封面、书名、作者、出版社、价格、出版时间、内容简介、作者简介、书籍目录、ISBN和标签爬取出来，并将爬取的结果放入数据库中，方便存储。2、网站结构图1读书网书籍类别详情此次实验爬取读书网页面中文学、小说、传记、青春文学、艺术、散文随笔、励志、人文社科、经济管理、励志十大类书籍。每一类书籍包括书名、价格、作者、出版社、ISDN、出版时间、封面以
左岸2420·2024-01-13 05:59

基于大数据与时间序列预测的的书籍数据分析（内含spark+hive+mysql+kettle+echart+tensorflow）

目录一，绪论1、项目背景：2、目标：3、用户群体：二．相关开发技术介绍（一）后端相关技术1.sparkSQL简介2.kettle简介3.tensorflow简介（二）前端相关技术1.HTML简介2.echarts
左岸2420·2024-01-13 05:59

基于爬虫和Kettle的豆瓣电影的采集与预处理

一：爬虫1、爬取的目标将豆瓣电影网上的电影的基本信息，比如：电影名称、导演、电影类型、国家、上映年份、评分、评论人数爬取出来，并将爬取的结果放入csv文件中，方便存储。2、网站结构图1豆瓣网网站结构详情此次实验爬取豆瓣网中电影页面中的电影的基本信息。每一个电影包括电影名称、导演、电影类型、国家、上映年份、评分、评论人数。页面具体情况如图2所示。图2豆瓣网电影基本信息详情3、爬虫技术方案1）、所用技
左岸2420·2024-01-13 05:27

expdp时报错ORA-31693&ORA-02354&ORA-01555

INC_KETTLE_ETL_HIST"无法加载/卸载并且被跳过,错误如下:ORA-02354:导出/导入数据时出错ORA-
福娃筱欢·2024-01-12 19:03

org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying to connect to the

1、kettle连接oracle数据库异常缺少驱动下载ojdbc.jar包将下载的jar包（ojdbc14.jar）放到kettle目录下（data-integration\lib文件夹下）2、kettle
weixin_38919176·2024-01-09 20:42

windows下kettle的部署

1.下载kettle，不需要安装，选中D盘，创建一个kettle路，创建kettle文件夹，解压缩下载的kettle2.下载jdk，安装jdk，即java环境，按提示一步一步安装完成3.配置环境变量，选中我的电脑
pearl915·2024-01-09 14:50

kettle的基本介绍和使用

1、kettle概述1.1什么是kettleKettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
有语忆语·2024-01-08 13:51

Kettle案例二十八:列拆分为多行

流程图image.pngExcel输入image.pngimage.png列拆分为多行image.pngExcel输出image.pngimage.pngimage.png
千客·2024-01-08 10:53

FineBI实战项目一（3）：Kettle实现ETL到数据仓库

目前，finebi_shop_bi中是没有任何数据的，是一个空的数据库。而后续我们的所有数据分析都将在该数据库中进行。我们第一件事情就是要将「finebi_shop」数据库中的所有表抽取到「finebi_shop_bi」数据库中。要抽取并装载数据到「finebi_shop_bi」中，我们首先要在「finebi_shop_bi」中创建对应的表。1数据抽取业务分析我们已经大概熟悉了上面的6张表，这6张
不死鸟.亚历山大.狼崽子·2024-01-08 06:31

kettle8调度监控平台（kettle-scheduler）开源

背景Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。
东_4c72·2024-01-07 22:12

Kettle Local引擎使用记录（基于Kettle web版数据集成开源工具data-integration源码）

KettleWeb第一章前言第二章demo源码pom.xml引入Kettle引擎核心文件java源码controllerservice其它mavensettings.xml测试测试文件测试结果⁉️问题记录
韧小钊·2024-01-07 12:42

FineBI实战（2）：案例架构说明及数据准备

1系统架构基于MySQL搭建数据仓库基于Kettle进行数据处理帆软FineBI基于MySQL搭建的数据仓库进行数据分析2数据流程图通过Kettle将MySQL业务系统数据库中，将数据抽取出来，然后装载到
不死鸟.亚历山大.狼崽子·2024-01-07 08:25

kettle写入mysql性能优化2019-02-28

自己真实测试过，至少速度可以提高5倍以上。首先修改mysql的配置文件vim/etc/my.cnf根据自己服务器信息修改对应参数join_buffer_size=1024Msort_buffer_size=10Mread_rnd_buffer_size=10Minnodb_flush_log_at_trx_commit=2innodb_write_io_threads=16innodb_flush
dataHunter·2024-01-07 04:53

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

【kettle】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“

一、报错内容：UnabletoloadstepinfofromXMLstepnodeorg.pentaho.di.core.exception.KettleXMLException:UnabletoloadstepinfofromXMLatorg.pentaho.commons.launcher.Launcher.main
lisacumt·2024-01-05 20:06

Pentaho Kettle 6.1连接CDH5.4.0集群

发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的PentahoKettle
香山上的麻雀·2024-01-05 16:43

Kettle性能调优汇总

Kettle性能优化是一个系统工程，不仅涉及工具本身的优化，更涉及ETL工具之外的诸多因素，比如，ETL要读取数据库，那么目标DMBS的性能，SQL语句，网络等相关因素都影响到执行效率。
GuangHui·2024-01-05 16:14

smartKettle离线部署及问题记录

目录第一章前言背景目的总体方向第二章部署源码下载后端部署导入后端项目修改settings.xml(自动下载相关jar包)编译修改配置文件application.yml初始化数据库打包上传启动可以正常访问接口界面，即服务启动成功前端部署基础环境按照编译本地启动服务器部署验证nginx配置登录⁉️问题记录❓问题一：jar包下载不下来❗解决方式一：正常不会有问题，建议直接使用项目中提供的settings
韧小钊·2024-01-04 19:32

Linux安装consul的两种方式（在线和离线）

consul服务验证consul服务离线部署下载安装包上传解压启动验证（同在线安装）⁉️其它❗一：`yum-config-manager`命令解释❗二：`Consul`代理启动命令解释第一章前言背景在研究基于Kettle
韧小钊·2024-01-04 19:32

基于Kettle开发的web版数据集成开源工具(data-integration)-介绍篇

目录第一章官网介绍目标实现：让kettle使用更简单架构及组成第二章核心功能第三章对比Kettle工具栏位比对工具栏组件内容比对扩展：WebSpoonkettle自己的web端？
韧小钊·2024-01-04 19:32

基于Kettle开发的web版数据集成开源工具(data-integration)-部署篇

目录第一章前言背景目的总体方向第二章下载编译下载编译第三章部署准备工作安装数据库&redis&consul修改配置文件的数据库、redis、consul信息`/dataintegration-gateway/src/main/resources/application-local.yaml`修改用户认证服务SSO服务器-应用目录结构重新编译并上传jar包启动后台服务consul监控页面可以看到启动
韧小钊·2024-01-04 19:00

【kettle】pdi/data-integration 集成kerberos认证连接hive或spark thriftserver

kettle当前任务的jvm任务完成kerberos认证后会存储认证信息，之后直接连接hive就可以了无需提供额外的用户信息。
lisacumt·2024-01-03 08:37

Kettle行转列详解

一、相关说明需求说明将每个指数简称的资产负债率的2013年到2022年的数据从资产负债率那一行转换成日期和资产负债率两列，以供后续分析数据源数据期望数据二、转换步骤输入：输入里面的“csv文件输入”步骤转换：转换里面的“行转列”，“字段选择”步骤输出：输出里面的“表输出”步骤整体步骤三、转换配置csv文件输入步骤通过浏览选择数据所在的路径，可根据自己的数据选择列分隔符去掉列头行，用根据原始数据的编
孤城暮雨@·2024-01-03 04:17

<转发>kettle自动批量循环发送邮件

1、批量循环发送邮件应用场景：比如：外贸公司希望监控客户的收款到账情况。单证登记每次报关合同，财务根据合同和客户登记收款明细。客户少的时候，可以认为来盯。一旦，这些工作变成流水化作业，那人为监控变为不可能。现在系统需要监控每票合同的出货金额和财务登记的到账汇总数据。同一票合同号，如果出现[出货金额]>sum[收款金额],表明客户未正常收款。为了达到提前预警的效果，我们需要根据账期判断客户的最后付款
kevinzkr·2024-01-02 15:52

详解大数据数据仓库分层架构

构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume、Sqoop、Kettle
Alukar·2024-01-01 14:47

sqoop的导入命令详解

sqoop是一个对数据进行导入或者导出的ETL工具，也有其他的同类产品，datax、kettle，但是不管使用什么工具，这都是一种手段，终其究竟，要学的是其中的思想和逻辑。
夜空痕·2023-12-31 13:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他