Kettle

python大数据开发学习路线

大数据开发入门01Linux基本命令用户管理权限管理网络管理SSHVIMySQLDDLDMLDQL多表查询分组查询约束Kettle数据转换脚本组件Job开发BI工具基本操作常用图表仪
测试小扎·2023-04-09 00:02

基于Kettle跑批的案例说明

需求概述通过动态配置表的方式完成在kettle里动态配置参数，并调用ktr，实现跑批的目的。
ShenLiang2025·2023-04-08 17:33

英语第22课 Hurry up!

Yes,ofcourseIcan,Penny.Isthereanywaterinthiskettle?Yes,thereis.Where’sthetea?
千年代·2023-04-07 22:17

linux 下 kettle（pdi）将 mysql 数据导入 hive parquet 表中

背景linux下使用kettle（pentahodataintegration）将mysql数据，通过ParquetOutput导入CDH6.2集群hive的parquet表中。
cooooper·2023-04-07 14:27

kettle 只做插入操作不做更新

需求：表1和表2不在同一物理机上，将表2中的有的表1中没有的数据插入表1中，在表1有的数据不做更新操作1.表1原数据2.表2原数据3.表1和表2join后数据4.处理后数据kettle实现就使用插入/更新组件就能实现
wang12345566·2023-04-07 11:42

kettle开发篇-空操作-Day21

前言：前面我们讲到了switchcase组件，通过不同的表达式的值将多个符合条件的值，输出至指定的位置，这就实现了复杂的数据分流操作，kettle其实就是把那些看似复杂的数据流，通过组件包裹起来，然后我们只需关心组件的核心部分即可
他们叫我技术总监·2023-04-07 11:11

kettle开发篇-流查询-Day25

前言：昨天我们讲了数据库相关操作，数据库连接来实现两个库的跨库查询，对应复杂的跨库查询通过数据库连接整合到一块后，就像是在一个数据库里面操作，今天我们来学习流查询，流查询主要用于在查询前把数据加载到内存中，并且只能进行等值查询。一、流查询流查询在查询前把数据加载到内存中，并且只能进行等值查询。流查询的操作包括指定数据源，即我们将数据进行流查询的数据源头，如下图所示流查询的数据源是我们的Excel输
他们叫我技术总监·2023-04-07 11:10

kettle开发篇-数据库连接-Day24

前言：昨天我们讲了数据库相关操作，数据库查询来获取两个表之间的关联数据，实现了类似数据库查询左连接查询的效果，今天我们来讲下数据库连接，数据库连接，乍一看是讲怎么连接数据库的，其实真不是那么回事。数据连接是指执行两个数据库的查询，和单参数的表输入。一、数据库连接数据库连接可以执行两个数据库的查询，和单参数的表输入。具体用法是这样的，我们通过"?"问号作为单参数来进行我们数据库的查询，对应问号的值我
他们叫我技术总监·2023-04-07 11:10

kettle开发篇-列转行-Day15

前言：前面我们讲到了将一个字段拆分为多个字段，知道我们字段的横向分裂，从一个字段分为两个字段。学习了列拆分为多行，知道了怎么将一行的值拆分为多行，今天我们来学习一个列的高级操作，列传行，对于初学者来说，列传行也是一个比较高级的操作了，下面我们来看看列转行的语法和使用场景吧。一、列转行列转行就是如果数据一列有相同的值，按照指定的止损，把多行数据转换为一行数据。列转行以后会增加许多新的列，和拆分字段一
他们叫我技术总监·2023-04-07 11:10

kettle开发篇-计算器-Day10

前言：我们知道我们通常可以通过函数或者SQL来完成简单的数学运算。但是我们针对手工的EXCEL文件需要进行运算时，这时候该怎么去处理呢？如果你精通EXCEL或者喜欢研究EXCEL，我相信一般的EXCEL公式也可以找到答案，但是这些都是手工操作并且不能批量处理EXCEL表的数据，在前面我们学会了怎么批量读取EXCEL表数据，当然我们可以通过将EXCEL数据读取至数据库的表中，然后通过程序或者SQL编
他们叫我技术总监·2023-04-07 11:40

kettle开发篇-Http client-Day22

前言：昨天我们讲了一个有趣的控件，叫空操作，其实如果记不住就可以理解为，什么都不做(摆烂),今天我们来学习一个有趣的操作，叫做HTTPclient。因为其属于新的一个分类-查询。查询是用来查询数据源里的数据并合并至主数据流中。一、HTTPclientHTTPclient是使用GET的方式提交请求，获取返回的页面内容。HTTPclient其实就是通过HTTP网络协议，访问对应URL地址，获取到需要的
他们叫我技术总监·2023-04-07 11:40

kettle开发篇-数据库查询-Day23

前言：昨天我们讲了怎么通过HTTPclient读取接口数据，然后通过将返回数据解析，然后再将结果输出至EXCEL中，这种方式，让我们很方便的获取到接口的数据。今天我们来讲下和数据库相关的查询操作，数据库查询，其实就是数据库里面的左连接。一、数据库查询数据库查询就是数据库里面的左连接，左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。如图所示我们在进行数据库查询操作时，我们首先需建立数据库
他们叫我技术总监·2023-04-07 11:40

kettle开发篇-缓存机制-Day7

前言：kettle虽然作为较成熟稳定的数据处理工具，但也存在一些需要优化地方，如果没有深入了解kettle当出现类似产品问题的时候，可能会就束手无策了。
他们叫我技术总监·2023-04-07 11:10

kettle开发篇-作业调度-Day8

前言：前面我们介绍了kettle的一些常用组件，同步方法，缓存机制及怎么去处理kettle出现的小问题。
他们叫我技术总监·2023-04-07 11:10

kettle开发篇-映射-Day30

前言：昨天我们讲了分组，可以帮助我们处理分组的数据，并且可以将数据进行组合，进行我们来看一个新的组件，映射。映射是用于定义子转换，方便封装和重用。一、映射映射用来定义子转换，便于封装和重用。本次我们主要来讲解映射下面的三个子功能，分别为映射(子转换)、映射输入规范、映射输出规范。1、映射(子转换)映射(子转换)是用来配置子转换，对子转换进行调用的一个步骤，即我们在转换里面调用转换的时候可以用到。操
他们叫我技术总监·2023-04-07 11:09

kettle在转换中指定执行顺序

关于Kettle的事务和转换内步骤的顺序执行kettle中转换和作业的执行顺序：1、一个作业内的转换，是顺序执行的。2、一个转换内的步骤是并行执行的。3、作业内不支持事务，转换内支持事务。
他们叫我技术总监·2023-04-07 11:39

kettle开发篇-更新-Day38

目录前言：一、更新组件介绍1.1界面1.2废话介绍1.3重点解释二、应用案例2.1转换效果2.2转换简介三、总结前言：前面我们通过oracle的索引来处理单表超1亿的数据量表的查询问题，通过针对主键，展示的维度做多套索引，来提高查询和展现速度。通过在数据源增加索引来提高数据处理时，查询数据源的时间，如增加主键id的索引，通过判断上次插入更新的主键的节点，本次数据处理，只需要处理上次主键之后的数据了
他们叫我技术总监·2023-04-07 10:30

Kettle7.0同步数据(简单操作步骤)

一、Kettle说明介绍和原理说明Kettle是一款免费的ETL工具。
fen_fen·2023-04-07 10:14

ETL中遇到的小问题：Invalid column type

时间：2019-08-23背景：业务需求，需将Mysql源库中一表A同步到数仓oracle中，工具依然选用pentahokettle8.2。问题：没想到被遇到的一个小问题耽误了许久。步入正题。
小糊涂神52vol·2023-04-06 12:38

ETL工具与调度工具的区别（一）

常见的ETL工具有：kettle、RestCloud、informat
Moia Control·2023-04-06 10:52

ETL工具（kettle) 与 ETL产品(Beeload&BeeDI) 差之毫厘，谬以千里

ETL——是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。工具——原指工作时所需用的器具，后引申为达到、完成或促进某一事物的手段。只要能使物质发生改变的物质，相对于那个能被它改变的物质而言就是工具。产品——为了满足市场需要，而创建的用于运营的功能及服务”就是产品。产品是以使用为目
little_bee_2004·2023-04-06 09:39

Kettle:使用触发器和快照表进行增量数据同步

主库为Oracle11g数据库，针对需要同步的表建立增量数据临时表以及触发器并通过kettle定时同步到PostgreSQL数据库。1、主库创建快照表和触发器注意：快照表结构和源表结构必须一致！
叫我老村长·2023-04-06 05:53

Airflow task 指定执行的worker节点

1、airflow.cfg：executor=CeleryExecutor2、启动worker时添加-q队列名：airflowceleryworker-qkettle_carteshell=BashOperator
有机合成实验员·2023-04-05 18:21

mysql定时数据传输_Navicat定时在MySQL与MySQL数据库之间自动传输数据

Navicat定时在MySQL与MySQL数据库之间自动传输数据来由：需要将表数据从一个库同步到另一个库(数据分发)，之前有尝试过使用Kettle去抽数，但是数据量稍微大一点的时候太慢了...有可能是本机性能的原因
程序猿创造营·2023-04-03 15:44

datax从mysql同步到mysql_使用dataX将数据从Mysql数据库同步到Oracle数据

最近有需求将数据从mysql同步到oracle，之前有使用kettle将表从oracle同步到mysql，这里使用的插件依然是阿里的dataX这里也是根据阿里云的一篇帖子来进行验证https://yq.aliyun.com
室点密可汗·2023-04-03 05:39

通过python处理解析accesslog日志文件，kettle抽取数据并做PV、UV的统计实现

处理流程记录accesslog日志切割整理accesslog日志入库数据数据抽取、分割制作报表适用场景accesslog日志记录了比较全面的访问日志。针对访问日志进行不同接口/页面/用户/终端的PV/UV统计，或者数据报表统计。业务log日志中记录了比较全面的业务节点数据，针对这些节点数据做统计处理。ps:当然日志也可以用==ELK==这套框架进行分析，但是对于数据的整合重组可能需要额外处理。详见
deathearth·2023-04-03 04:42

Datax和Kettle使用场景的对比

多维度对比较维度\产品KettleDataX设计及架构适用场景面向数据仓库建模传统ETL工具面向数据仓库建模传统ETL工具支持数据源多数关系型数据库少数关系型数据库和大数据非关系型数据库开发语言JavaPython
击水三千里·2023-04-02 09:59

数据采集中间件技术对比V1.0

MAXWELL4有赞大数据：FLUME数据采集服务最佳实践5基于NIFI+SPARKSTREAMING的流式采集6基于OGG和SQOOP的TBDS接入方案系列-SQOOP与腾讯大数据套件TBDS的集成示例介绍7利用KETTLE
陈舟的舟·2023-04-02 03:19

Kettle基于字段去除重复记录操作过程

场景描述场景描述：比较庞大的数据中，想要根据一个或者多个字段判别是否位重复数据的去重复操作。本案例以mysql为案例描述创造一个id带有重复的数据测试输入1.数据源输入菜单中的【输入】【表输入】设定自己的数据源方案排序2.根据去重字段排序【转换】【排序记录】设定字段（去重复字段）排序去重复3.去重复操作【转换】【去除重复记录】设定字段输出4.处理后的数据输出至新表【输出】【表输出】执行方案5.开始
溜达的大象·2023-04-01 03:45

大数据学习----接口获取数据

用kettle的转换和作业实现一、首先写转换1、表输入在这里面写入时间戳的时间，先进行数据库的连接（一般找_metadata的数据库，然后选中timestamp的时间戳字段）SELECTtimestampFROMa_TIMESTAMPWHEREid
佛系小樂·2023-03-31 22:20

kettle源码分析之资源库初始化流程

kettle源码分析:本次源码分析基于kettlev4.0分析：背景：因最近新增一个需求，需要将原来在windows平台上的kettle应用迁移到linux上，并且进行定时调度，新增前台管理页面，可对任务进行动态更新
唐僧吃肉_·2023-03-31 22:12

Kettle 与 Talend Open Studio 的 ETL 比较

2019独角兽企业重金招聘Python工程师标准>>>PentahoDataIntegration(Kettle)是Pentaho生态系统中默认的ETL工具。
weixin_34248118·2023-03-31 04:04

Kettle连接Oracle

kettle通过域名或者IP连接Oracle，因为今天客户要求把数据库由原来的MySQL切换到Oracle，历史数据的迁移。本篇博客主要讲解kettle连接Oracle数据库。
AllenGd·2023-03-30 20:14

kettle导入mysql/postgresql的性能对比

由于工作需要，简单测试了一下mysql/postgresql的导入性能，均在无特殊优化的前提下进行的测试。一、测试环境本地笔记本电脑，配置如下：cpu:i7-5500u内存：12G硬件：固态，平均写入速度大概在230M/s笔记本电脑采用vbox安装centos7.3，内核版本3.10以上。分配给centos虚拟机的内存为6G。mysql/postgresql数据库均以docker方式安装在cent
code狗·2023-03-30 14:55

数据迁移工具

1.KettleKettle是一款国外开源的ETL工具，纯Java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。
BUG指挥官·2023-03-30 10:59

Kettle使用入门

介绍Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
xiongamo·2023-03-27 09:43

kettle开发-Day38-其实chatGPT一直在身边

前言：最近chatGPT火出圈，其实不是chatGPT多智能，只是它用了一种新的交互方式来组织我们现有的知识，然后通过“高智商”的表达来使我们惊艳。但是目前或者未来的人工智能缺少创造力，他们只会整合信息目的是提高我们的效率。现在好多人不是说，ChatGPT可以写小说吗？至少可以先让程序写一个初版，然后作家再亲自上手精修。针对这个现象，作为一个作家，特德·姜给自己的同行提了个建议。就是，不要这么干。
他们叫我技术总监·2023-03-27 07:16

大数据Kettle数仓工具快速入门

2.1Spoon命令2.2Pan命令2.3Kitchen命令2.4Carte命令五、模块介绍3.1转换模块（Trans）3.2作业模块（Jobs）六、实战操作4.1Excel导入数据到数据库4.2通过kettle
2021重返程序道路·2023-03-26 22:27

Kettle案例三十六：数据同步组件

流程图image表输入，针对最新的数据输入的表image目标表，需要更新的表image两个表都需要进行排序操作image合并，根据id进行合并image数据同步(包括更新、插入、删除)imageimage6、点击运行，就可以实现数据同步了。
千客·2023-03-25 16:02

Kettle案例三十一:行扁平化

流程图image.pngExcel输入image.pngimage.pngimage.png排序记录image.png行扁平化image.pngExcel输出image.pngimage.png
千客·2023-03-24 18:39

kettle快速连接clickhouse

文章目录前言一、构造连接字符串二、添加jar包三、Kettle创建DB连接四、相关jar包下载前言因为kettle官方不支持clickhouse的驱动，所以需要自己自定义插件并生成jar包。
小马穿云·2023-03-24 04:42

KETTLE 请求HTTPS接口

KETTLE本身提供了HTTPclient、HTTPpost、RESTclient组件可以访问HTTP接口，这些组件在访问HTTPS接口时有时会报错：unabletofindvalidcertificationpathtorequestedtarget
谢进进·2023-03-24 02:59

kettle实验三：基于HTTP GET请求的导入与导出

【实验目的】1.利用Kettle的“自定义常量数据”，“HTTPClient”组件，获取具有一定结构的网页内容，并使用。
weixin_74·2023-03-24 02:57

利用kettle通过http请求批量获取图片并入库示例

通过http批量请求图片，kettle流程图示例：1.自定义常量数据组件2.HTTPwebservice插件3.javascript代码4.表输出效果如下写下这篇博客，主要是个人感觉这个东西还挺实用，由于时间长久的话可能就忘记了
疯子的世界很精彩·2023-03-24 02:56

利用kettle HTTP Client 获取百度API区域位置内相关信息，并解析json

Kettle除了常规的数据处理之外，还可以模拟发送HTTPclient/post，RESTclient。
黑暗料理界的扛把子·2023-03-24 02:25

kettle HTTPPOST请求webservice接口

（注：因对kettle不了解，刚刚使用，开始时把所有请求报文参数都组装好了，直接使用JS组件进行运行，发现根本没有发起请求，原来kettle是需要数据流或者记录生成进行驱动的，哈哈哈！）
weixin_30901729·2023-03-24 02:24

Kettle处理https请求

一、证书下载：二、证书导入注意：JAVA_HOME:C:\Java\jdk1.8.0_333，先cd到security目录下，再执行导入操作密钥默认口令：changeitC:\Java\jdk1.8.0_333\jre\lib\security>keytool-import-aliasjkk-keystorecacerts-fileD:\jkk_ssl.cer输入密钥库口令:所有者:O=Inter
丑石缘·2023-03-24 02:23

【ETL】Kettle Spoon发送Get请求

KettleSpoon简介ETL（Extract-Transform-Load的缩写，即抽取、转换、装载的过程），在项目的开发过程中经常会对接第三方公司提供的数据接口，需要把接口请求到的数据入库。
程序员不累·2023-03-24 02:23

使用kettle处理post和get的接口查询的数据

目前没有发现kettle处理data-form方式的方法。
偷偷学习当个大佬·2023-03-24 02:22

kettle发送HTTP POST请求入参到解析示例

这里写自定义目录标题发送HTTPkettle示例第一步入参第二步测试入参第三步选择字段第四步获取变量第五步拼接URL第六步发送请求第七步解析反参第八步获取字段结果发送HTTPkettle示例第一步入参系统参数主要是为了跟后台代码对接用到
月日无情·2023-03-24 02:51
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他