flink流式处理

Hudi 系列-基础概念-索引机制

目录前言问题作用减少开销怎么理解数据变更基础类型全局索引FlinkSpark总结前言Hudi系列文章在这个这里查看https://github.com/leosanqing/big-data-study
别惹猪儿虫·2023-10-12 18:38

Flink-SQL join 优化 -- MiniBatch + local-global

背景问题1.近期在开发flink-sql期间，发现数据在启动后，任务总是进行重试，运行一段时间后，containerheartbeattimeout，内存溢出(GCoverheadlimitexceede
dymkkj·2023-10-12 18:07

大数据flink篇之三-flink运行环境安装（一）单机Standalone安装

一、安装包下载地址https://archive.apache.org/dist/flink/flink-1.15.0/二、安装配置流程前提基础：Centos环境（建议7以上）安装命令：解压：tar-zxvfflink-xxxx.tar.gz
风之清扬·2023-10-12 18:06

Flink之窗口聚合算子

1.窗口聚合算子在Flink中窗口聚合算子主要分类两类滚动聚合算子(增量聚合)全窗口聚合算子(全量聚合)1.1滚动聚合算子滚动聚合算子一次只处理一条数据,通过算子中的累加器对聚合结果进行更新,当窗口触发时再从累加器中取结果数据
飞天小老头·2023-10-12 18:35

Flink之窗口指派API模板

flink中窗口指派主要分为两类NoKeyedWindows和KeyedWindows,这里就结合这两类阐述窗口指派APINoKeyedWindowsNoKeyedWindows同时又分为两类PorcessingTime
飞天小老头·2023-10-12 18:03

No.3 课程综述 ｜ Flink 知其然，知其所以然

课程综述《ApacheFlink知其然，知其所以然》课程，在内容上会先对Flink整体架构和所适用的场景做一个基础介绍，让你对Flink有一个整体的认识！
开源社·2023-10-12 17:42

flink rocksdbStateBackend

比较直观的方式是打开RocksDB的nativemetrics，在默认使用Flinkmanagedmemory方式的情况下，state.backend.rocksdb.metrics.block-cache-usage
loukey_j·2023-10-12 16:09

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

文章目录集成Spark开发Spark编程读写示例DeltaStreamer集成Flink环境准备sql-clent使用启动插入数据流式读取Bucket索引HudiCatalog集成Spark开发Spark
IT小神·2023-10-12 15:56

大数据之Hudi数据湖_版本兼容与Maven安装配置_解决Hudi与Hadoop3.0的兼容问题_编译hudi源码---大数据之Hudi数据湖工作笔记0002

然后我们来看一下,hudi我们这次安装的时候,各个组件的版本信息这个hudi对各个版本的支持还是很多的,需要在安装的时候查一下具体的可以这样查一下去看一下具体的hudi对spark的支持是多少,对flink
脑瓜凉·2023-10-12 15:47

Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

▼关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中
Apache Flink·2023-10-12 10:28

博文推荐｜Flink CDC 结合 Doris Flink Connector 实现MySQL数据实时入Apache Doris

本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。
ApacheDoris·2023-10-12 10:54

基于 Flink SQL CDC 的实时数据同步方案

整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
zhisheng_blog·2023-10-12 10:54

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

需要组件：mysql5.7.37Doris-0.15.1flink-1.13.6scala_2.12flink-connector-mysql-cdc-2.0.2flink-doris-connector
红烧佩奇真好吃·2023-10-12 10:18

【Doris】Flink CDC 结合 Doris Flink Connector 实现MySQL数据实时入Apache Doris

本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。
九层之台起于累土·2023-10-12 10:48

Flink 面试题-sql

FlinkSQL篇，SQL实操、FlinkHive、CEP、CDC、GateWayFlink源码篇，作业提交流程、作业调度流程、作业内部转换流程图Flink核心篇，四大基石、容错机制、广播、反压、序列化
javastart·2023-10-12 10:47

“数据中台”万字深度思考

Flink平台化需要改进的点等等，参考《数据中台》。
zl1zl2zl3·2023-10-12 09:32

2.1、如何在FlinkSQL中读取&写出到Kafka

目录1、环境设置方式1：在Maven工程中添加pom依赖方式2：在sql-client.sh中添加jar包依赖2、读取Kafka2.1创建kafka表2.2读取kafka消息体（Value）使用'format'='json'解析json格式的消息使用'format'='csv'解析csv格式的消息使用'format'='raw'解析kafka消息为单个字符串字段2.3读取kafka消息键（Key）
广阔天地大有可为·2023-10-12 08:58

尚硅谷Flink（一）

目录☄️前置工作fenfa脚本概述☄️Flink是什么☄️特点（多nb）☄️应用场景（不用看）☄️分层API配环境☄️wordcount☄️WcDemoUnboundStreaming集群部署☄️集群角色
Int mian[]·2023-10-12 08:57

Flink 时间和窗口

文章目录Flink时间和窗口一、时间语义1、数据处理系统中的时间语义2、两种时间语义的对比二、水位线1、什么是水位线(1)、有序流中的水位线(2)、乱序流中的水位线(3)、水位线的特性2、如何生成水位线
气质&末雨·2023-10-12 08:25

大数据面试题：Spark和Flink的区别

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）SparkStreaming和Flink的区别问过的一些公司：杰创智能科技(2022.11)，阿里蚂蚁
蓦然_·2023-10-12 08:54

Flink窗口-时间窗口

（一）时间窗口的本质前篇中，我们已经初略讲解了Flink中的数量窗口与时间窗口。
保护我方胖虎·2023-10-12 08:53

Flink中jobmanager、taskmanager、slot、task、subtask、Parallelism的概念

场景一个工厂有三个车间每个车间两条生产线生产流程如下原料->加工->过滤->分类->美化->包装->下线JobManager：工厂在上述场景中，工厂就是jobManager，负责协调、调度和监控整个生产过程TaskManager：车间在上述场景中，车间就是taskManager，按照工厂的分配进行生产，所有的问题上报工厂slot：流水线在上述场景中，车间的流水线就是slot，是工作台，真正干活的地
qzWsong·2023-10-12 08:52

Flink 中的时间和窗口（一）

目录6.1时间语义6.1.1Flink中的时间语义6.1.2哪种时间语义更重要6.2水位线（Watermark）6.2.1事件时间和窗口6.2.2什么是水位线6.2.3如何生成水位线6.2.4水位线的传递
大数据阿嘉·2023-10-12 08:51

Flink中的时间与窗口

ingestion-time：进入Flink的时间。如果没有事件时间可以用这个时间取代。processing-time：执行Operator算子的处理时间，本地系统时间，与机器无关。
XueminXu·2023-10-12 08:21

Flink中的时间和窗口

1.Flink的时间和窗口在传统的批处理系统中，我们可以等到一批数据全部都到齐了之后，对其做相关的计算；但是在实时处理系统中，数据是源源不断的，正常情况下，我们就得来一条处理一条。
文文鑫·2023-10-12 08:19

通过flink 插入数据Stream_load 方式

1.场景：通过模拟数据发送kafa—>flink接收到kakfa数据–>然后通过flink进行streamLoad插入数据到doris中；2.建表语句CREATETABLE`wudl_doris01`(
wudl5566·2023-10-12 08:44

Flink任务报Cannot have more than one execute() or executeAsync() call in a single environment

问题描述：使用Flink1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误：java.util.concurrent.CompletionException:org.apache.flink.client.deployment.application.ApplicationExecutionException
一个不安分的程序员·2023-10-12 06:22

大数据学习笔记之flink----流式数据处理引擎

很多人可能都是在2015年才听到Flink这个词，其实早在2008年，Flink的前身已经是柏林理工大学一个研究性项目，在2014被Apache孵化器所接受，然后迅速地成为了ASF（ApacheSoftwareFoundation
WRichards·2023-10-12 05:35

修炼k8s+flink+hdfs+dlink（四：k8s（一）概念）

一：概念1.概述1.1kubernetes对象.k8s对象包含俩个嵌套对象字段。spec（规约）：期望状态status（状态）：当前状态当创建对象的时候，会按照spec的状态进行创建，如果这些实例中有些失败了。那么会重新启动一个新的来替换这个实例。对象样例按照规定，app要求主体是json格式。但是也可以使用YAML清单格式，后续通过http访问app的时候，会将信息转化位JSON格式或者其他受支
宇智波云·2023-10-11 18:05

大数据开发-Flink-数据流DataStream和DataSet

DataStream的三种流处理Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink
往事随风_h·2023-10-11 14:01

Flink程序启动报错could not be determined automatically

couldnotbedeterminedautomatically通过idea中的报错可以定位到错误位置修改为如下的方式即可，根据你的返回值来定的，不要写和我一样的哦！！！
故乡的花又开了吗·2023-10-11 12:01

Flink报错：Could not connect to BlobServer at address localhost/127.0.0.1:39203

Flink报错：CouldnotconnecttoBlobServerataddresslocalhost/127.0.0.1:39203Flink报错：CouldnotconnecttoBlobServerataddresslocalhost
xuxi01·2023-10-11 12:31

启动flink报错：[ERROR] Could not get JVM parameters and dynamic configurations properly.

启动flink报错：[ERROR]CouldnotgetJVMparametersanddynamicconfigurationsproperly.把下面设置修改为1024mjobmanager.heap.size
消八哥·2023-10-11 12:30

Flink: Could not connect to BlobServer at address localhost/127.0.0.1:34036

描述提交flink的作业时，报如下错误：Causedby:org.apache.flink.util.FlinkException:Couldnotuploadjobfiles.........CouldnotconnecttoBlobServerataddresslocalhost
runing_an_min·2023-10-11 12:00

flink报错处理：Could not get JVM parameters and dynamic configurations properly.

在服务器上运行flink时，发生报错：CouldnotgetJVMparametersanddynamicconfigurationsproperly。
卖香油的少掌柜·2023-10-11 12:29

Flink报错: Could not forward element to next operator

Flink版本1.9.1程序报错:原因:watermark的event_time为null导致
雾岛与鲸·2023-10-11 12:58

【Flink】Flink报错 Could not forward element to next operator

因为没有出现我自己的代码，全是flink内部错误该异常几乎都是由于程序业务逻辑有误，或者数据流里存在未处理好的脏数据导致的，继续向下追溯异常栈一般就可以看到具体的出错原因，比较常见的如POJO内有空字段
九师兄·2023-10-11 12:57

【Flink】Flink 报错 Initial AbstractPagedOutputView Segment may not be null

文章目录1.概述2.源码分析1.概述写了一个FLinkSQL报错InitialAbstractPagedOutputViewSegmentmaynotbenull写的SQL如下报错信息如下2.源码分析根据报错找到报错的位置
九师兄·2023-10-11 12:57

【Flink】Flink 任务报错 Could not perform checkpoint for operator

1.概述一个Flink做检查点的时候报错`Couldnotperformcheckpointforoperator`详情如下报错原因：检查点没保存，反压了2.源码解读在节点收到Barrier的时候做检查点
九师兄·2023-10-11 12:57

【基础篇】一、什么是Flink

文章目录1、Flink是什么2、有界流和无界流3、有状态流处理4、Flink的特点5、Flink对比SparkStreaming6、Flink的应用场景7、Flink的分层API1、Flink是什么ApacheFlink
-代号9527·2023-10-11 12:26

【基础篇】二、Flink的批处理和流处理API

、批处理有界流2、流处理有界流3、流处理无界流4、Thegenerictypeparametersof'Collector'aremissing0、demo模块创建创建个纯Maven工程来做演示，引入Flink
-代号9527·2023-10-11 12:26

Flink使用lambda表达式报错：InvalidTypesException：could not be determined automatically, due to type erasure.

在写Flink程序的时候（以最简单的WordCount案例为例），有时会使用Lambda表达式来简化，如下边程序中的flatMap算子和Map算子处，都是用了Lambda表达式来简写：publicstaticvoidmain
Aimo_Hassa·2023-10-11 12:56

Flink报错could not be loaded due to a linkage failure

文章目录1、报错2、原因3、解决1、报错在Flink上提交作业，点Submit没反应，F12看到接口报错信息为：大概意思是，由于链接失败，无法加载程序的入口点类xx。
-代号9527·2023-10-11 12:52

修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

一：控制平面组件。控制平面组件会为集群做出全局决策，比如资源的调度。以及检测和响应集群事件，例如当不满足部署的replicas字段时，要启动新的pod）。1.kube-apiserver。该组件负责公开了KubernetesAPI，负责处理接受请求的工作。API服务器是Kubernetes控制平面的前端。2.kube-controller-manager。负责运行控制器进程。从逻辑上讲，每个控制器
宇智波云·2023-10-11 10:54

基于Binlog、FlinkCDC、Doris实现实时数据同步

基于Binlog、FlinkCDC、Doris实现数据实时同步Docker部署MySQLdockerpullmysql:5.7.32通过挂载的方式开启一个mysql镜像dockerrun-p3307:3306
何以问_·2023-10-11 07:38

4、mysql--＞kafka--＞mysql

全部使用Flinkcdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。
vandh·2023-10-11 07:01

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter
embelfe_segge·2023-10-11 04:12

Flink - CEP监控下单付款超时通知

在电商领域通常会有这样一种需要，如果客户下单了，但是在10分钟内不付款，应该需要通知客服，再由客服寻问客户为什么还没有付款，从而提高付款效率，我们可以采用Flink-CEP的超时机制来处理。
大猪大猪·2023-10-11 02:18

pyflink读取kafka数据写入mysql实例

依赖包下载https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka/1.17.1/版本flink：1.16.0kafka
墨痕诉清风·2023-10-10 23:31

Apache Flink 开发环境搭建和应用的配置、部署及运行

前言本文主要面向于初次接触Flink、或者对Flink有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用Flink，并着手相关开发调试工作。
000X000·2023-10-10 23:54
上一页 65 66 67 68 69 70 71 72 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他