DataStream

DataStreamAPI-转换算子

转换算子数据源读入数据之后，我们就可以使用各种转换算子，将一个或多个DataStream转换为新的DataStream，如图5-4所示。
芝士雪豹.·2023-07-31 08:15

Flink单流算子

DataStream1.map/flatMapMapFunctionOmap(Tvalue)throwsException;输入一个元素，输出一个元素，其中包含了变换逻辑RichMapFunction继承了
Bravo_z·2023-07-30 14:14

flink中watermaker的理解

watermaker2，watermaker的例子二，代码演习1，简易版本2，自定义watermaker类一，watermaker的概念1，什么是watermakerwatermaker又称水位线，它是一个带时间戳的DataStream
一杯拿铁go·2023-07-29 20:04

Flink（十四）Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-07-29 02:55

Flink（十三）Flink 的table api与sql的基本概念、通用api介绍及入门示例

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-07-28 11:21

flink1.16使用消费/生产kafka之DataStream

flink高级版本后，消费kafka数据一种是Datastream一种之tableApi。
cclovezbf·2023-07-26 10:12

Apache Flink 流处理（快速入门）

FlinkStreaming概述DataStream在Flink中实现了对数据流的Transformation，内部Flink的数据源可以通过各种数据源创建，例如：消息队列、socketstreams、
<>=·2023-07-26 03:27

Apache Flink DataStream transformation

OperatorstransformoneormoreDataStreamsintoanewDataStream.Operators操作转换一个或多个DataStream到一个新的DataStream。
droxy·2023-07-25 14:30

Flink笔记

Flink笔记2.Flink学习笔记2.1流式处理对比2.2Flink核心概念2.2.1并行度2.2.2算子链2.2.3任务槽2.3DataStream2.3.2读取数据源-源算子（Source）2.3.3
好记性＋烂笔头·2023-07-24 18:21

flink数据源六种加载方式以及sink输出方式

加载端口号socket5.加载kafka数据源6.自定义数据源二、sink输出方式1、直接输出在控制台2、以csv格式输出3、自定义输出方式一、数据源加载方式1.fromElementsvalstream1:DataStream
Xiayebuliang·2023-07-21 00:22

flink1.14.1 中CUMULATE 窗口的案例

packagecom.mingning.sql.window;importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.envir
liumingning·2023-07-20 06:22

flink 报错：Caused by: java.lang.RuntimeException: Assigned key must not be null!

场景描述：flinkjob的开发过程中遇到这样的需求，需要先map处理，然后把返回的DataStream作为输入，流入别的map中。
smile-yan·2023-07-19 15:46

Flink读写kafka主题，并进行数据清洗

半截入土Datastream程序架构maven简单流水写法优化后oop写法抽象接口--读、写、数据处理添加读取和写入的数据源依据业务实现数据处理的特质执行器，混入特质动态混入方法，用户执行flink参考
Giao.芥末77·2023-07-18 00:01

Flink如何使用DataStreamAPI消费Kafka

1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13)官网->教程->connectors->datastream->kafka网址：https://nightlies.apache.org
阿远的小一·2023-07-18 00:30

Flink（八）Flink四大基石之State概念、使用场景、持久化、批处理的详解与keyed state和operator state、broadcast state使用和详细示例

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-07-14 13:10

Flink（七）Flink四大基石之Time和WaterMaker详解与详细示例（watermaker基本使用、kafka作为数据源的watermaker使用示例以及超出最大允许延迟数据的接收实现）

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-07-14 13:09

Flink（六）Flink四大基石之Window详解与详细示例（二）

、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream
一瓢一瓢的饮 alanchan·2023-07-14 13:08

Flink DataStream之Union合并流

新建类packagetest01;importjdk.nashorn.internal.runtime.regexp.joni.Config;importorg.apache.flink.api.java.ExecutionEnvironment;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.st
QYHuiiQ·2023-07-13 16:55

Flink DataStream之Connect合并流

packagetest01;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.datastream.ConnectedStreams
QYHuiiQ·2023-07-13 16:55

Flink DataStream之输出数据到File中

新建类packagetest01;importorg.apache.flink.api.common.serialization.SimpleStringEncoder;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.configuration.MemorySize;importorg.apache
QYHuiiQ·2023-07-13 16:55

Flink DataStream之使用filter实现分流

importorg.apache.flink.api.common.JobExecutionResult;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.datastream.DataStreamSource
QYHuiiQ·2023-07-13 16:55

Flink实现特定统计的归约聚合reduce操作

与简单聚合类似，reduce操作也会将KeyedStream转换为DataStream。它不会改变流的元素数据类型，所以输出类型和输入类型是一样
·2023-07-13 15:42

Flink DataStream Connectors 之 Apache Kafka 连接器

文章目录依赖KafkaSource使用方法Topic/Partition订阅消息解析起始消费位点有界/无界模式其他属性动态分区检查事件时间和水印空闲消费位点提交监控指标范围KafkaConsumer指标实现细节数据源分片（SourceSplit）分片枚举器（SplitEnumerator）源读取器（SourceReader）KafkaSink使用方法序列化器容错监控Kafka连接器指标启用Kerb
京河小蚁·2023-06-24 03:54

[大数据 Flink,Java实现不同数据库实时数据同步过程]

具体代码如下：最后，将步骤2中读取到的数据封装成一个Flink的DataStream程序，用于后
是汤圆丫·2023-06-23 06:06

pyflink 流批结合

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportRuntimeContext
scan724·2023-06-22 20:40

JS PC端调用摄像头录视频截图上传文件

创建Catcher类classCatcher{URL;//上传地址dataStream;//流数据mediaStream;//媒体流mediaRecorder;//录制对象state;//录制状态constructor
伍什kay·2023-06-20 09:01

Flink学习——处理函数ProcessFunction及多流转换

处理函数在DataStream的更底层，我们可以不定义任何具体的算子（如map()，filter()等）二只提炼出一个统一的“处理”（process）操作。它是所有转换算子的概括性的表达。
five小点心·2023-06-19 17:30

Flink自定义数据源

*;importorg.apache.commons.lang3.RandomUtils;importorg.apache.flink.streaming.api.datastream.D
飞天小老头·2023-06-19 10:57

Flink之IntervalJoin介绍

InterValJoin算子间隔流，一条流去join另一条流去过去一段时间内的数据，该算子将keyedStream与keyedStream转化为DataStream；再给定的时间边界内（默认包含边界），
月疯·2023-06-18 16:43

使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到ELasticsearch中并使用ILM完成日志的自动管理

文章目录使用dissectprocessor解构access_logoutput修改为Elasticsearch将日志设置为DataStream并启用索引生命周期周期管理ILM为什么要使用DataStream
JackSparrow414·2023-06-18 04:23

python 算子demo

#-*-coding:gbk-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportRuntimeContext
scan724·2023-06-17 01:59

Flink 的侧输出 和一个流拆分成多个流

1.Flink侧输出流官网：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/side_output
wudl5566·2023-06-16 15:34

TableAPI

序言我个人还是觉得直接使用DataStream更加直观,编程也更有灵活,控制起来也更方便.如果全靠一堆SQL或者方法来替代,你完全没法确定最终会转变成什么算子.编程逻辑不直观.而且肯定会造成跟多的资源浪费
cuiyaonan2000·2023-06-16 05:00

【零基础学flink】flink中的转换算子（transform operator）

转化算子（transformoperator）将一个或多个DataStream转换为新的DataStream，如此下去可以将多个转换组合成复杂的数据流拓扑。
大菜鸟_·2023-06-14 17:53

Flink-CDC 2.0学习

Flink-CDC2.0前言一、CDC简介1.什么是CDC2.CDC的种类3.Flink-CDC开源地址二、Flink-CDC案例实操1.依赖导入2.DataStream方式编写代码3.StartupOptions
自学大数据的菜鸡·2023-06-14 14:17

pylink消费kafka写入ES

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-14 04:21

Flink之数据流类型

DataStream在经过Transformation之后，会随之生成相应的数据流类型。比如：KeyedStream，JoinedStreams，CoGroupedStreams等等。
MrSocean·2023-06-13 14:04

pyflink kafka es

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-13 05:04

pyflink 读取kafka

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-13 05:01

pyflink flat_map

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-12 03:27

pyflink map 字典写入ES

masterpyflink]#cattest.py#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-10 21:12

pyflink 状态管理需要用到key_by

catprocess_log.py#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-09 04:17

pyflink key_by操作

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-09 04:17

pyflink读文件写入到elasticsearch

frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-08 08:57

pyflink 写ES并发和串行

写ES并发执行:#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-08 08:57

pyflink sinktoes

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-08 08:46

【Flink】DataStream API使用之Flink支持的数据类型

Flink的使用过程中，我们的数据都是定义好的UserBehavior类型，那还有没有其他更灵活的类型可以用呢？Flink支持的数据类型到底有哪些？1.Flink的类型系统Flink作为一个分布式处理框架，处理的是以数据对象作为元素的流。Flink使用类型信息(TypeInformation)来统一表示数据类型，并为每个数据类型生成特定的序列化器、反序列化器和比较器。对于复杂的数据类型，Flink
sdut菜鸟·2023-06-07 05:21

【Flink】DataStream API使用之执行环境

1.执行环境Flink程序可以在各种上下文环境中运行：我们可以在本地JVM中执行程序，也可以提交到远程集群上运行。不同的环境，代码的提交运行的过程会有所不同。这就要求我们在提交作业执行计算时，首先必须获取当前Flink的运行环境，从而建立起与Flink框架之间的联系。只有获取了环境上下文信息，才能将具体的任务调度到不同的TaskManager执行。1.1创建执行环境创建执行环境主要是调用getEx
sdut菜鸟·2023-06-07 05:51

【Flink】DataStream API使用之源算子(Source)

源算子创建环境之后，就可以构建数据的业务处理逻辑了，Flink可以从各种来源获取数据，然后构建DataStream进项转换。
sdut菜鸟·2023-06-07 05:51

【Flink】DataStream API使用之输出算子（Sink）

输出算子（Sink）Flink作为数据处理框架，最终还是需要把计算处理的结果写入到外部存储，为外部应用提供支持。Flink提供了很多方式输出到外部系统。1.连接外部系统在Flink中我们可以在各种Fuction中处理输出到外部系统，但是Flink作为一个快速的分布式实时流处理系统，对稳定性和容错性要求极高。一旦出现故障，我们应该有能力恢复之前的状态，保障处理结果的正确性。这种性质一般被称为"状态一
sdut菜鸟·2023-06-07 05:10
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他