kettle

Kettle6.0连接MongoDB报错

配置好mongodb连接之后，点击预览报下面的错：报错：java.lang.NoClassDefFoundError:javax/crypto/spec/PBEKeySpecatcom.mongodb.DBPortScramSha1AuthenticatorScramSha1AuthenticatorScramSha1SaslClient.Hi(DBPort.java:822)atcom.mong
bluexue0724·2018-06-04 12:39

利用Kettle进行数据同步（上）

版权声明：本文为博主原创文章，未经博主允许不得转载。关注公众号技术汇(ID:jishuhui_2015)可联系到作者。写这篇文章，是源于公司内部的一个常见需求：将生产环境的数据同步到测试环境，以便更方便的进行测试和bug定位。起初是用的NavicatPremium这款DB管理软件，功能非常强大了，足以满足开发人员的日常工作需求，也包括上述的数据同步需求。随着公司业务日臻完善，对于数据的安全性提出了
装逼未遂的程序员·2018-06-04 09:33

利用Kettle进行数据同步（上）

版权声明：本文为博主原创文章，未经博主允许不得转载。关注公众号技术汇(ID:jishuhui_2015)可联系到作者。写这篇文章，是源于公司内部的一个常见需求：将生产环境的数据同步到测试环境，以便更方便的进行测试和bug定位。起初是用的NavicatPremium这款DB管理软件，功能非常强大了，足以满足开发人员的日常工作需求，也包括上述的数据同步需求。随着公司业务日臻完善，对于数据的安全性提出了
Eric·2018-06-04 00:00

kettle工具使用一二三

kettle5.3中包含两个序列生成器组件，一个是”增加序列
jikuibu·2018-06-03 19:39

开源ETL工具：Kettle

Kettle也叫PDI，在2006年Kettle加入了开源的BI组织Pentaho，正式命名为PDI，英文全称为PentahoDataIntegeration。
bluexue0724·2018-05-31 17:43

Kettle中各个版本比较大的变化

Kettle(现在已经更名为PDI，PentahoDataIntegration)中各个版本比较大的变化版本新增功能kettle8.1待补充kettle7.1SmarterDataProcessingusingtheAdaptiveExecutionLayer
bluexue0724·2018-05-31 15:20

使用Kettle实现数据实时增量同步

2018-09-28：示例job已上传至github,地址见文末0.前言本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。
zhaodongxx·2018-05-30 16:20

Flume抽取SQL Server设计方案

、需求因项目需要对数据进行实时分析展示，需要实时收集关系性数据中的数据二、设计方案方案一(1)为mysql创建trigger(2)通过创建是trigger去触发jave程序(3)通过java程序去触发kettle.job
fengfengchen95·2018-05-28 10:59

kettle6.1读写hive on hbase记录

版本kettle6.1hbase1.2.6hive2.2.0hadoop2.6.5数据架构业务数据通过kafka流向业务数据处理引擎，过滤后的数据写入hbase，kettlejob定期执行作业，读取hive
烫烫烫口·2018-05-21 14:15

Kettle使用教程 二 给表字段设置默认值

我知道两种办法，毕竟是新手，各位大侠刀下留人一：直接用sql进行替换，图片.png但是这样有问题，就是目标自己有值得时候，就不进行替换的二：直接用脚本替换，不管哪种情况都会替换成功图片.png选中要设置默认值的字段，直接赋值就可以了图片.png三：还可以使用值映射。。直接映射成新的值就可以
发光驴子·2018-05-18 16:13

JAVA调用KETTLE——以excel数据入库为例

第一步配置kettle转换并导出ktr文件1.总览：2.excel输入配置：因为要实现excel的文件目录通过JAVA动态传输过来，在文件目录里填写变量名，并点击增加，就会将其添加到选中的文件中，如图：
左手的荣光·2018-05-09 18:02

KETTLE使用教程

Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。
Install_·2018-05-09 13:05

Kettle性能调优汇总

本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen与Pan脚本中。
smooth00·2018-05-08 09:41

【Python】__魔术方法__

init__函数有些魔术方法，我们可能以后一辈子都不会再遇到了，这里也就只是简单介绍下而有些魔术方法，巧妙使用它可以构造出非常优美的代码，比如将复杂的逻辑封装成简单的API本文编辑的思路借鉴自RafeKettler
狂风摆渡Alex·2018-05-02 21:10

Kettle--url请求获取JSON数据并解析

1、场景 某个请求地址返回的数据是json，用kettle请求该路径，并将json解析后存放到文本中；2、kettle流程步骤1：RESTClient为设置请求步骤2JSONInput：注意JSON解析
春风吹又生·2018-04-28 22:08

kettle?)

近年来由于信息化如海啸般袭来，商业智能（BI)、大数据、数据挖掘、数据分析、人工智能相关需求应用而生。要做到这些终极决策需求，需要及时、精准、海量数据中获取，既不能直接在业务层抽取数据（影响业务性能、数据存在"脏数据"......)；传统手工代码小量数据处理还是可以应对。随着数据量日趋成倍增长,需要满足大中小企业数据集成—ETL工具就是其诞生的理由！提起ETL工具，业内人士首先是想到国外有商用in
little_bee_2004·2018-04-24 23:55

Kettle下实现Excel数据导入至数据库

一、安装kettle下载地址：https://community.hitachivantara.com/docs/DOC-10098551.解压下载下的压缩包，如：pdi-ce-7.1.0.0-12，然后找到
SunnyBoom·2018-04-21 18:54

kettle介绍、下载、安装

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Pompey_hpy·2018-04-20 09:57

Kettle增量更新设计技巧

ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert/Update步骤，Delete步骤和DatabaseLookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的
chenyiming2010·2018-04-19 14:20

【Kettle】job中设置自动发送邮件

一kettle服务器定时任务如下：每周六上午九点执行脚本调度job09**6source/etc/profile;/opt/program_etl/weekly_jss_jingsuanshi_taibaorenewal_trace.pyweekly_jss_jingsuans
NextAction·2018-04-19 14:25

kettle7.0连接sqlserver连不上报异常解决

提示：错误连接数据库[sql]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'net.sourceforge.jtds.jdbc.Driver'couldnotbefound
ITBwy·2018-04-17 22:29

Kettle Spoon入门教程

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
魅影猎鹰·2018-04-16 21:52

Kettle入门教程

Kettle入门教程最近做的项目用到了ETL工具Kettle，这个工具相当好用，可以将各种类型数据作为数据流，经过处理后再生成各种类型的数据。
少年阿龙·2018-04-14 16:23

基于spring-boot的kettle调度 - 简书

大家好，我是帅气小伙，由于最近公司项目辗转大数据，需要做数据抽取的工作，kettle是目前比较成熟的ETL工具，而传统的kettle客户端在任务调度这方面没有实现，于是在网上寻找开源的kettle调度项目
·2018-04-13 17:00

【Kettle】Kitchen和Pan的命令行参数

参数语法：[/-]name[[:=]value]参数以斜线（/）或者横线（-）开头，后面跟参数名称。大部分参数后面都要有参数值。参数和参数值之间用冒号（：）或者（=）连接，参数值里面如果有空格，参数值必须用单引号或双引号引起来。Kitchen和Pan共有的参数如下：参数名参数含义作用noreprep资源库名称要连接的资源库名称user资源库用户要连接的资源库用户pass资源库用户密码要连接的资源库
NextAction·2018-04-11 13:11

使用kettle遇到的问题

参考文章：http://blog.sina.com.cn/s/blog_888269b20100tw8q.htmlhttps://www.phpsong.com/1074.htmlhttp://www.ttlsa.com/mysql/research-and-measurement-of-timeout-mysql/https://blog.csdn.net/gladmustang/article
dongdong2980·2018-04-10 13:40

数据集成工具Kettle、Sqoop、DataX的比较

数据集成工具很多，下面是几个使用比较多的开源工具。1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2、Apache开源软件：SqoopSqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(
ice_fire2008·2018-04-05 17:52

kettle 备注

1.基本组成1.1spoon:一个可视化的工具，用于编辑kettleETL的任务脚本1.2span:用以命令行方式执行spoon的转换1.3kitchen:用以命令行方式执行spoon的作业2.基本概念
Fredric_2013·2018-03-29 15:00

常用的linux命令记录待整理

KETTLE常见问题和优化https://www.cnblogs.com/scote/p/5918827.html设置时间指向tzselectln-sf/usr/share/zoneinfo/Asia/
TristeAnimal·2018-03-27 11:36

利用kettle Spoon从oracle或mysql定时增量更新数据到Elasticsearch

背景：目前的业务数据数据已经很大了，关于查询内的需求比较多，传统数据库已经不能满足目前的需要。必须得使用全文检索了，了解了相关资料，发现Elasticsearch这个工具比较强大。于是就开始新一段的爬坑之旅了...Elasticsearch安装什么的很方便，但是更新却是个很大的问题。开始尝试了Logstash这个工具，各种尝试后，还是放弃了。主要原因是速度慢，数据源是oracle数据库的时候，不能
playWithMySelf·2018-03-25 21:04

数据对接—kettle使用之一

转载自：https://yq.aliyun.com/articles/38089?spm=a2c4e.11163080.searchblog.28.1a6a2ec1P1lHzh需求：你有没有遇到过不同数据库之间数据对接的需求，比如：mysql数据库里的数据要保存到oracle数据库里，或者是excel里的数据要保存到数据库里，或者是数据库的数据要定时的保存到文件中等等数据对接的问题。下面就开始介绍
dongdong2980·2018-03-20 17:50

Kettle spoon中mysql数据导入hive从建表到导数据解决方案参考

最近在学习大数据的数据迁移，要从关系型数据库里导数据到hive数据库里，其中碰到了很多麻烦，曾试过使用sqoop方式导入数据不过功能不够全面比如表结构及数据筛选问题，现在使用kettle来进行数据迁移工作
优荣月华·2018-03-15 16:02

Kettle的安装和使用

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
薛倩·2018-03-04 19:14

利用Kettle实现遗留数据库迁移

阅读更多1.Kettle的简单介绍Kettle(现名DataIntegration)是一款使用Java编写的功能强大的ETL(ExtractTransformandLoad)工具，支持关系型数据库(PostgreSQL
wiselyman·2018-02-26 11:00

ETL之kettle使用总结：（批量、含常量）csv入库

本文实验的ktr文件：ktr文件1.概述18年开工第一天，做下Kettle的使用总结。
刘金宝_Arvin·2018-02-22 15:18

kettle和spoon ETL数据同步工具

一、kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Java_wdl·2018-02-07 13:07

Kettle中文文档汇集

BIKettle中文文档汇集ELT平台操作手册-KETTLE.pdfETL工具kettle.pdfetl工具kettle公司学习文档.pdfETL工具kettle学习总结.pdfETL工具Kettle用户手册
HD243608836·2018-02-06 05:19

Kettle的使用分享（重点是看：“常用组件介绍”的官方链接）

（重点是看：“常用组件介绍”的官方链接，具体讲解了每个页面每个功能项的作用）一、下载与安装下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/将下载的zip文件解压到任意路径（最好是英文不带空格的路径，以免引起乱码等未知问题）文件结构：(不包括打马赛克的文件夹)lib目录：存放jar包，包括jdbc驱动包。p
HD243608836·2018-02-06 02:45

kettle教程（1） 简单入门、kettle简单插入与更新与kettle定时器。

本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。
HD243608836·2018-02-03 21:42

Kettle同步多张表

转自：http://blog.csdn.net/Ctrain/article/details/70432078
gjf281·2018-01-26 13:32

自己总结的etl数挖掘据工具-Kettle

etl工作中Kettle软件介绍PentahoDataIntegration(Kettle)是Pentaho生态系统中默认的ETL工具。
荜拨·2018-01-24 09:34

kettle案例九-----linux使用kettle

我们之前学习的kettle操作都是在windows中进行可视化的操作，但是在使用过程中发现一些问题。
张小凡vip·2018-01-19 21:06

02、petaho kettle 插件开发

上一篇文章大概了解了一下kettle的源码编译过程。
Mooa·2018-01-19 00:14

kettle案例八连接hive--抽取hive的数据保存excel

kettle案例七连接hive–抽取mongodb的数据保存到hive本章学习如何把数据从hive中导出来。
张小凡vip·2018-01-17 19:24

kettle案例七连接hive--抽取mongodb的数据保存到hive

kettle把数据导入hive有两种思路一种是通过hiveserver2使用JDBC的连接方式，这种是一条一条的进行写入，可能速度上要慢一些。
张小凡vip·2018-01-16 18:32

Kettle性能调优汇总

本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen与Pan脚本中。
dongdong2980·2018-01-16 13:03

Win10安装PDI 7.1(Kettle)

环境Windows10PDI7.1(Kettle)JDK8一、JDK8安装与设置JDK8安装设置系统环境变量新建一个系统环境变量把刚刚新建的变量添加到系统变量Path里二、PDI客户端运行解压PDI程序包启动
hz_heng·2018-01-16 09:29

Python魔法方法指南

转自：http://pyzh.readthedocs.io/en/latest/python-magic-methods-guide.html原文:http://www.rafekettler.com/
_宇宙浪子_·2018-01-10 18:43

ETL

操作步骤1.工具下载kettle文件下载，解压即可用：下载地址2.配置首先我们了解下Epoint-DI能做什么?
徐茂盛·2018-01-10 09:56

KETTLE（1）初相识

KETTLE的概念性介绍看这里http://blog.csdn.net/u010571844/article/details/43673421，这位前辈总结非常精细及到位，在此不赘述。
别看我只是一只小强·2018-01-08 14:13
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他