kettle

kettle启动闪退，报错

##AfatalerrorhasbeendetectedbytheJavaRuntimeEnvironment:##SIGSEGV(0xb)atpc=0x00007ff2c237302c,pid=10261,tid=140680619304704##JREversion:Java(TM)SERuntimeEnvironment(7.0_45-b18)(build1.7.0_45-b18)#Java
不吃草的牛德·2020-06-27 02:41

Kettle系列:Pentaho DI (Kettle) 下载地址

Kettle系列:PentahoDI(Kettle)下载地址Kettle8已经发布,下载地址还不太好找,这里记录一下:注:所有大型软件升级都需要谨慎,尤其是大版本的第一个小版本都不推荐在生产环境使用.github
贾维斯博客·2020-06-26 23:48

Kettle实战100篇 第2篇 调用RESTful接口导入JSON结果入库

不管是通过Java或者是Python编码的方式调用RESTful接口将结果入库,都是有一定复杂度的,首先你要加载第三方REST组件,然后连接数据库,写SQL语句,最后插入的目标数据库中但我们有了Kettle
萧明·2020-06-26 21:44

Kettle实战100篇 第16篇 JSON文件导入Mysql

在Kettle实战100篇第2篇调用RESTful接口导入JSON结果入库中我们其实已经介绍了JSON导入到数据库的方法,但是本章是将本地的JSON文件导入MySQL数据库中,会有不同的属性设置,而且JSON
萧明·2020-06-26 21:13

kettle调度现状、痛点及解决方法

kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。
筱茉莉·2020-06-26 21:13

kettle7源码环境搭建及插件源码调试教程

1、下载kettle源码及安装版，注意大版本要一致，以下以kettle7.1版本为例在https://sourceforge.net/projects/pentaho/files/Data%20Integration
tjthink_tj·2020-06-26 19:23

linux 环境下启动kettle caret.sh 报错

 linux环境下启动kettlecarte.sh报错如下：[data-integration]#.
j_alen·2020-06-26 17:57

Kettle (Pentaho PDI) 4.3.0 web start

1.首先下载pdi-ce-src-4.3.0-stable-r16786.zip，解压后导入eclipse，设置ant的target为clean,webstart，注意调整顺序，使clean先执行2.为了在配置过程中查看log，需要打开java调试：控制面板->Java->高级->设置->调试->启用跟踪，启用记录，log存放地址：C:\DocumentsandSettings\YOURID\Ap
taoyuanforrest·2020-06-26 15:06

开源ETL工具kettle系列之常见问题

摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1.Join我得到A数据流（不管是基于文件或数据库），
stefshawn·2020-06-26 14:26

利用 Kettle + Redash 搭建简单的 BI 系统

利用Kettle+Redash搭建简单的BI系统还记的第一次从公司的数据库中导表时，被多个表名搞的头皮发麻，表名混乱不清，导致每次导表我都要先想下xxx表是不是YYY表。
spardon·2020-06-26 14:48

kettle源代码解析(1)——plugin系统分析

其实所有类型的plugin系统(如nutch插件)都是为了获得如下能力1)插件self-contained（自包含）和out-of-box（开箱即用，即：拷贝后重启kettle即可使用，于运行时动态发现
spacewalkman·2020-06-26 14:47

Kettle性能调优汇总

本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。
smooth-z·2020-06-26 13:13

HIVE实战处理（三）beeline和hive的区别

一、调度脚本1、通过hive/beeline的方式一般情况下的hive之间的数据的转换的话，是通过kettle工具执行的，所以也是在调度的时候传入kettle的执行脚本kitchen.sh。
sheep8521·2020-06-26 08:44

java调用Kettle总结

建立资源库具体参看：http://blog.csdn.net/huangyanlong/article/details/46117065看看资源库在数据库中的表，楼主用的mysql2当你写好trans之后，点击保存，kettle
小林_sxxzlt·2020-06-26 06:17

kettle的使用和json格式文件的处理

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。但是本文重点不是讲Kettle安装和使用。
阿星777·2020-06-26 05:10

Kettle (PDI) 连接 MS SQL server数据库

先去微软下载JDBC驱动:https://www.microsoft.com/en-US/download/details.aspx?id=11774解压后得到的目录里有jre7jre8和auth其中auth里的sqljdbc_auth.dll是用于sqlserver的integratedauthentication(注意区分x64和x86)而jre7和jre8里的sqljdbc42.jar是JD
爱知菜·2020-06-26 05:19

解决Kettle数据库连接sqlserver错误一则

解决Kettle数据库连接sqlserver错误一则1.问题描述最近用到ETL采集工具Kettle5.1，在连接SQLServer2005时报错，报错信息如下图：2.解决办法机器IP地址修改过一次，在配置工具
QuantunX·2020-06-26 04:50

kettle转换日志分析，便捷统计出具体操作了哪些表格，不再迷茫

日志表分析在工作中，我们需要利用kettle从省份剥离出各个地市的数据并进行增量抽取，因为整个数据库中数据量巨大，而有些表格无法区分地市的属性，就没办法剥离，只能剥离大部分表。
quantam·2020-06-26 04:40

千亿级数仓项目第一章

千亿级数仓项目总体介绍数仓：数据仓库数据集市阶段一项目背景介绍阶段二准备数据（Mysql->Hive）Kettlesqoop阶段三数据仓库理论+实战阶段四编写SQL实现以下业务分析，并按照数据仓库结构存出结果基于日期的订单指标分析
大数据666·2020-06-26 04:16

千亿级数仓_项目总结

文章目录项目流程技术选型数据存储数据同步计算模型结果存储kylin加速查询项目流程1、原始数据在mysql存储2、使用kettle将数据在mysql同步到数据仓库（hive）,同步分为全量同步+增量同步
千千匿迹·2020-06-26 03:35

kettle安装及配置

1.kettle下载解压至任意路径2.配置jdk环境变量3.配置环境变量PENTAHO_JAVA_HOME，值C:\ProgramFiles(x86)\Java\jdk1.8.0_91（jdk路径）4.
我是一只小小小小小菜鸟·2020-06-25 19:07

创作kettle的docker镜像

一、准备1、将现成功运行的kettle打包，zip备注：为连接impala，此kettle在官方原版kettle基础上，在KETTLE_HOME/lib和KETTLE_HOME/plugins/pentaho-big-data-plugin
新氧气·2020-06-25 14:57

学习kettle插件

Kettle插件体系最近公司内有业务系统到数据中心同步的升级改造需求，从各个业务系统收集增量数据到数据中心的数据仓库平台。
乐观的·2020-06-25 14:37

基于kettle8的web端调度监控平台

1.基于kettle8的web端调度监控平台:https://blog.csdn.net/weixin_34254823/article/details/93404086?
beststone1·2020-06-25 11:19

kettle根据时间戳增量的将数据从MySQL同步SQLServer（linux部署脚本启动作业、config.properties 配置数据库）

目录一、设计思路与方案1、思路2、方案3、总体流程二、实现步骤2.1、创建作业和DB连接2.2、创建时间戳表2.3、获取时间戳并设为变量2.4、插入更新2.5、更新时间戳2.6、配置数据源加载外部文件一、设计思路与方案1、思路我的需求：从MySQL按时间增量同步到SQLServer，MySQL中的数据会源源不断的写入，不会删除数据，SQLServer根据MySQL表中的modifytime做增量同
kangna_卧龙先生·2020-06-25 10:49

Kettle转换中SQL中的执行顺序（使用 阻塞数据直到步骤都完成 ===》控制转换中的 SQL执行顺序）

目录1、kettle中转换和作业的执行顺序2、根据业务需要，通常需要在转换内顺序执行，小技巧如下3、为什么会用到这个组件4、案例演示1、kettle中转换和作业的执行顺序1、一个作业内的转换，是顺序执行的
kangna_卧龙先生·2020-06-25 10:16

Kettle 数据同步 Caused by: com.microsoft.sqlserver.jdbc.SQLServerException

场景：使用Kettle将数据从MySQL同步到SQLSErver，其中有一个字段默认为空串，而且确实也没有数据，同步数据报错。
kangna_卧龙先生·2020-06-25 10:16

（大数据整合）Python、Kettle完整开发

对业务新增用户收集入库的行为，需要开发。首先第一个，小问题。移除点击此处添加图片说明文字移除点击此处添加图片说明文字移除点击此处添加图片说明文字如所见，报错原因是多了一个；分号，导致了我们把方式换来换去，到后来我才看到，原来不能加引号啊，但是我把时间变量替换成时间常量却可以编译通过，这是个坑，陨石巨坑。第二个问题，当我们跑任务时，定时的，但是兄弟部门数据没来，我们用开源HUE去检查hive库该表的
大壮vip·2020-06-25 07:35

python django框架 渲染和ajax表单提交周报表

一.实际需求之前这篇文章kettle-自动生成周报是使用java开源ETL工具kettle实现,正常情况下是每天写工作完成情况到Excel表,每周五定时任务启动读取Excel日志写入数据库,再读取数据库内容按照公司周报模板生成文件
chengcxy·2020-06-25 06:39

利用kettle实现oracle到mysql数据库增量同步方案（自创）

近期涉及一个BI项目初期阶段，构建数据仓库时遇到不少问题，主要问题，来源已下几个方面：1不同业务数据放在不同类型的数据库（oracle和mysql的，excel等等）。2源端数据库种类不同，表结构创建语句与设计不一，导致不好同步问题。3源端数据库只提供只读状态，无法对源端做起停和写操作。4源数据库中没有定义和更新时间字段无法做到增量同步。于是纠结与选什么类型的同步方案。其实方案很多，比如oracl
请教我菜鸟·2020-06-25 03:24

Kettle部署到linux

Kettle部署到linux系统准备工作安装JDK；（略）准备.kjb或.ktr转换文件。
多余的调调·2020-06-25 00:44

hadoop组件---hbase--海量数据使用importtsv和Bulk load导入hbase最详细实践

我们之前已经尝试了使用kettle把mongodb的数据导入hbase，但是发现速度比较慢。单机kettle导入hbase，6700万条数据使用了27个小时，4亿多条数据需要的时间就更多了。
张小凡vip·2020-06-24 21:38

kettle案例七连接hive--抽取mongodb的数据保存到hive

kettle把数据导入hive有两种思路一种是通过hiveserver2使用JDBC的连接方式，这种是一条一条的进行写入，可能速度上要慢一些。
张小凡vip·2020-06-24 21:37

kettle案例三抽取json数据保存到mongodb

我们使用kettle来尝试json输入进行解析保存到mongodb。构造转换流程如下:JsonInput到字段选择到mongodbOutput配置json输入左键点击Jso
张小凡vip·2020-06-24 21:37

【Kettle】软件介绍与下载分享

看完这章你会学习到以下内容：Kettle常用功能和属性介绍下载链接Kettle的常用属性有以下四个勺子（Spoon):里面就包括工作JOB和转换Trans--最常用--锅子（Pan)：使用命令针对转换Trans
甘泽欣·2020-06-24 18:44

【Kettle】表输入表输出 一个简单入门连接

Kettle作为连接数据库的ETL工具之一，这里简单介绍两个相互连接。
甘泽欣·2020-06-24 18:43

【Kettle】Excel/MySQL多数据源文件解决方案

看完这章你会学习到以下内容:1.尤其在用Excel或者其他非数据库文件传入数据时候，如何做到数据类型同步？2.两张表的合并要添加那些字段作为辅助说明？2.1ETL时间，数据更新时间以及Source_data数据来源数据源一：Excel表格一共有以下几个字段数据源二：MySQL数据-srcsales数据库的sales_data表第一步：首先在目标数据库里建立目标表。因此，我们要在MySQL上面找到相
甘泽欣·2020-06-24 18:43

【Kettle】打开Spoon 出现闪退

看完这篇你会学习到以下内容：1.如何解决这个闪退？可能一：Java版本太低了，jdk1.6以上版本才行，具体的可以查看spoon.bat配置文件。可能二：Java环境配置对了，但是双击spoon.bat后一闪就没了，修改一下spoon.bat里内存配置，相当于减少最大参数内存：if"%PENTAHO_DI_JAVA_OPTIONS%"==""setPENTAHO_DI_JAVA_OPTIONS="
甘泽欣·2020-06-24 18:42

【Kettle】 安装后却无法连接数据库？

问题描述：接着当我们下载好Kettle后，发现连接数据库失败，提示说要下载JAR包?连接Oracle失败：如果已经通过PL/SQ工具连接Oracle数据，实现对数据库的日常管理。
甘泽欣·2020-06-24 18:42

ETL调度系统及常见工具对比：azkaban、oozie、taskctl

最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用Kettle，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？
taskctl·2020-06-24 18:56

Spark作为ETL工具与SequoiaDB的结合应用

常见的ETL工具有OracleDataIntegrator、InformaticaPowerCenter、DataStage、Kettle、DataSprider等。
SequoiaDB巨杉数据库·2020-06-24 18:11

kettle 导入plugin 操作

pom.xml配置1.88.2.0.0-3422.6.9.1010org.pentahokettle-core${kettle.version}org.pentahokettle-engine${kettle.version
mnloveyx·2020-06-24 15:57

kettle插件加载流程

前言kettle遵循着插件机制，基于插件使得kettle整个结构非常清晰，耦合性低，移植性强，特别是对kettle进行二次开发尤其方便，根据了解，扩展step类型的插件比较多，具体步骤可以参考：http
仰望星空的我·2020-06-24 13:50

kettle安装部署和使用

kettle安装地址官网地址:https://community.hitachivantara.com/docs/DOC-1009855下载地址:https://sourceforge.net/projects
ITBOY_ITBOX·2020-06-24 11:59

KETTLE集群的配置及调用

KETTLE版本KETTLE集群配置KETTLE版本KETTLE是属于Pentaho开源商务智能软件的ETL工具方面，Pentaho是以工作流为核心的、强调面向解决方案而非工具组件的BI套件，整合了多个开源项目
Saving_A·2020-06-24 11:18

KETTLE使用Windows和Linux计划任务来调度KETTLE作业

KETTLE调度KETTLE调度KETTLE有三大块：Spoon：转换/工作（transform/job）设计工具，主要是GUI方式。
Saving_A·2020-06-24 11:46

Java调用Kettle

1、引入Kettle依赖pentaho-kettlekettle-core7.1.0.0-12pentaho-kettlekettle-engine7.1.0.0-12pentaho-kettlemetastore7.1.0.0
苍穹尘·2020-06-24 07:35

上传jar包到私服

kettle-core-7.1.0.0-12.jar2、在pom文件中引用pentaho-kettlekettle-core7.1.0.0-123、安装jar包到本地仓库mvninstall:install-file-Dfile
苍穹尘·2020-06-24 07:03

Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行

Kettle集群（cluster）在多个服务器（windows、linux）上并发执行目录一、Kettle的部署...3二、服务器介绍...3三、carte相关配置文件说明...3四、carte服务开启
不想长大·2020-06-24 07:56

Kettle使用Java代码处理Json文件，并写入数据库

最近做数据清洗及传输，要求用ETL做调度，所以研究了下Kettle的Json组件，FTP组件以及Java代码组件，这次主要记录下Java代码处理文件的方法，方便以后的使用先说下处理大概流程：1、客户端从各系统抽取数据并生成数据文件
刘士闳·2020-06-24 06:42
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他