PiflowX

PiflowX组件-OrderBy

OrderBy组件组件说明ORDERBY组件使结果行根据指定的表达式进行排序。计算引擎flink组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子expressionExpression“”无否在流模式下运行时，表的主要排序顺序必须按时间属性升序。所有后续的orders都可以自由选择。但是批处理模式没有这个限制。name->des

PiflowX·2024-02-06 07:57

PiflowX新增Apache Beam引擎支持

参考资料：ApacheBeam架构原理及应用实践-腾讯云开发者社区-腾讯云(tencent.com)在之前的文章中有介绍过，PiflowX是支持spark和flink计算引擎，其架构图如下所示：在piflow

PiflowX·2024-02-06 07:54

PiflowX组件-FileRead

FileRead组件组件说明从文件系统读取。计算引擎flink组件分组file端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子pathpath“”无是文件路径。hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“r

PiflowX·2024-01-29 18:03

PiflowX组件-FileWrite

FileWrite组件组件说明往文件系统写入。计算引擎flink组件分组file端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子pathpath“”无是文件路径。hdfs://server1:8020/flink/test/text.txtformatformat“”Set(“json”,“csv”,“avro”,“parquet”,“orc”,“

PiflowX·2024-01-29 18:29

PiflowX-JdbcCatalog组件

JdbcCatalog组件组件说明通过JDBC协议将Flink连接到关系数据库,目前支持PostgresCatalog和MySQLCatalog。计算引擎flink组件分组Catalog端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子catalogNameCatalogName“”无是catalog名称。my_catalogdatabaseType

PiflowX·2024-01-24 22:48

基于PiflowX构建MySQL和Postgres的Streaming ETL

MySQL和Postgres的StreamingETL—CDCConnectorsforApacheFlink®documentation(ververica.github.io))]这篇文章将演示如何基于PiflowX

PiflowX·2024-01-21 18:07

PiflowX组件-PostgresCdc

PostgresCdc组件组件说明PostgresCDC连接器允许从PostgreSQL数据库读取快照数据和增量数据。计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是PostgreSQL数据库服务器的IP地址或主机名。127.0.0.1usernameUsername“”无是连

PiflowX·2024-01-21 18:37

PiflowX组件-OracleCdc

OracleCdc组件组件说明OracleCDC连接器允许从Oracle数据库读取快照数据和增量数据。计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是Oracle数据库服务器的IP地址或主机名。如果url不为空，则可能未配置hostname，否则hostname不能为空。127

PiflowX·2024-01-21 18:36

PiflowX组件 - Elasticsearch7Write

Elasticsearch7Write组件组件说明将数据写入到Elasticsearch-7引擎的索引中。计算引擎flink组件分组ElasticSearch端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostshosts“”无是要连接到的一台或多台Elasticsearch主机。http://host_name:9092;http://hos

PiflowX·2024-01-18 17:08

PiflowX如何快速开发flink程序

PiflowX如何快速开发flink程序参考资料Flink最锋利的武器：FlinkSQL入门和实战|附完整实现代码-腾讯云开发者社区-腾讯云(tencent.com)FlinkSQL背景FlinkSQL

暗影八度·2024-01-14 14:58

PiflowX-DorisRead组件

DorisRead组件组件说明从Doris存储读取数据。计算引擎flink有界性目前DorisSource是有界流，不支持CDC方式读取。组件分组Doris端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子fenodesFenodes“”无是DorisFEhttp地址，支持多个地址，使用逗号分隔。127.0.0.1:8030benodesBenode

暗影八度·2024-01-14 12:47

PiflowX-DorisWrite组件

DorisWrite组件组件说明往Doris存储写入数据。计算引擎flink组件分组doris端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子fenodesFenodes“”无是DorisFEhttp地址，支持多个地址，使用逗号分隔。127.0.0.1:8030benodesBenodes“”无否DorisBEhttp地址，支持多个地址，使用逗号分

暗影八度·2024-01-14 12:15

PiflowX组件 - Filter

Filter组件组件说明数据过滤。计算引擎flink组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子conditioncondition“”无是过滤条件。age>=50orage=50orage=50orage<20，然后使用ShowData组件将过滤后的数据打印在控制台。生成字段描述[{"filedName":"id","fi

暗影八度·2024-01-11 13:47

PiflowX-MysqlCdc组件

MysqlCdc组件组件说明MySQLCDC连接器允许从MySQL数据库读取快照数据和增量数据。计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是MySQL数据库服务器的IP地址或主机名。127.0.0.1usernameUsername“”无是连接到MySQL数据库服务器时要使

暗影八度·2024-01-11 13:14

StreamPark + PiflowX 打造新一代大数据计算处理平台

什么是PiflowXPiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志；功能强大：提供100+的数据处理组件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCa

暗影八度·2024-01-06 05:47

PiflowX组件-JDBCRead

JDBCRead组件组件说明使用JDBC驱动向任意类型的关系型数据库读取数据。计算引擎flink有界性ScanSource:BoundedLookupSource:SyncMode组件分组Jdbc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子urlUrl“”无是JDBC数据库url。jdbc:mysql://127.0.0.1:3306/dbna

暗影八度·2024-01-01 23:36

PiflowX组件-ReadFromUpsertKafka

ReadFromUpsertKafka组件组件说明upsert方式从Kafkatopic中读取数据。计算引擎flink有界性Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”无是逗号分隔的Kafkabroker列表。127.0.0.1:9092topicTOPIC“”无是

暗影八度·2024-01-01 23:06

PiflowX组件-WriteToUpsertKafka

WriteToUpsertKafka组件组件说明以upsert方式往Kafkatopic中写数据。计算引擎flink有界性StreamingUpsertMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”无是逗号分隔的Kafkabroker列表。127.0.0.1:9092topic

暗影八度·2024-01-01 23:05

PiflowX组件-JDBCWrite

JDBCWrite组件组件说明使用JDBC驱动向任意类型的关系型数据库写入数据。计算引擎flink有界性Sink:BatchSink:StreamingAppend&UpsertMode组件分组Jdbc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子urlUrl“”无是JDBC数据库url。jdbc:mysql://127.0.0.1:3306/d

暗影八度·2024-01-01 23:01

PiflowX组件-WriteToKafka

WriteToKafka组件组件说明将数据写入kafka。计算引擎flink有界性StreamingAppendMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”无是逗号分隔的Kafkabroker列表。127.0.0.1:9092topicTOPIC“”无否写入的topic名。注

暗影八度·2023-12-29 23:14

PiflowX组件-DataGen

DataGen组件组件说明按数据生成规则模拟数据。在开发和演示场景下使用比较方便。具体可以查看Flink官方DataGenconnector。计算引擎flink有界性字段的数据全部生成完成后，source就结束了。因此，有界性取决于字段的有界性。组件分组common端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子schemaSchema“”无是数据