flink流式处理

大数据面试题：Spark和Flink的区别

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）SparkStreaming和Flink的区别问过的一些公司：杰创智能科技(2022.11)，阿里蚂蚁
蓦然_·2023-10-12 08:54

Flink窗口-时间窗口

（一）时间窗口的本质前篇中，我们已经初略讲解了Flink中的数量窗口与时间窗口。
保护我方胖虎·2023-10-12 08:53

Flink中jobmanager、taskmanager、slot、task、subtask、Parallelism的概念

场景一个工厂有三个车间每个车间两条生产线生产流程如下原料->加工->过滤->分类->美化->包装->下线JobManager：工厂在上述场景中，工厂就是jobManager，负责协调、调度和监控整个生产过程TaskManager：车间在上述场景中，车间就是taskManager，按照工厂的分配进行生产，所有的问题上报工厂slot：流水线在上述场景中，车间的流水线就是slot，是工作台，真正干活的地
qzWsong·2023-10-12 08:52

Flink 中的时间和窗口（一）

目录6.1时间语义6.1.1Flink中的时间语义6.1.2哪种时间语义更重要6.2水位线（Watermark）6.2.1事件时间和窗口6.2.2什么是水位线6.2.3如何生成水位线6.2.4水位线的传递
大数据阿嘉·2023-10-12 08:51

Flink中的时间与窗口

ingestion-time：进入Flink的时间。如果没有事件时间可以用这个时间取代。processing-time：执行Operator算子的处理时间，本地系统时间，与机器无关。
XueminXu·2023-10-12 08:21

Flink中的时间和窗口

1.Flink的时间和窗口在传统的批处理系统中，我们可以等到一批数据全部都到齐了之后，对其做相关的计算；但是在实时处理系统中，数据是源源不断的，正常情况下，我们就得来一条处理一条。
文文鑫·2023-10-12 08:19

通过flink 插入数据Stream_load 方式

1.场景：通过模拟数据发送kafa—>flink接收到kakfa数据–>然后通过flink进行streamLoad插入数据到doris中；2.建表语句CREATETABLE`wudl_doris01`(
wudl5566·2023-10-12 08:44

Flink任务报Cannot have more than one execute() or executeAsync() call in a single environment

问题描述：使用Flink1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误：java.util.concurrent.CompletionException:org.apache.flink.client.deployment.application.ApplicationExecutionException
一个不安分的程序员·2023-10-12 06:22

大数据学习笔记之flink----流式数据处理引擎

很多人可能都是在2015年才听到Flink这个词，其实早在2008年，Flink的前身已经是柏林理工大学一个研究性项目，在2014被Apache孵化器所接受，然后迅速地成为了ASF（ApacheSoftwareFoundation
WRichards·2023-10-12 05:35

修炼k8s+flink+hdfs+dlink（四：k8s（一）概念）

一：概念1.概述1.1kubernetes对象.k8s对象包含俩个嵌套对象字段。spec（规约）：期望状态status（状态）：当前状态当创建对象的时候，会按照spec的状态进行创建，如果这些实例中有些失败了。那么会重新启动一个新的来替换这个实例。对象样例按照规定，app要求主体是json格式。但是也可以使用YAML清单格式，后续通过http访问app的时候，会将信息转化位JSON格式或者其他受支
宇智波云·2023-10-11 18:05

大数据开发-Flink-数据流DataStream和DataSet

DataStream的三种流处理Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink
往事随风_h·2023-10-11 14:01

Flink程序启动报错could not be determined automatically

couldnotbedeterminedautomatically通过idea中的报错可以定位到错误位置修改为如下的方式即可，根据你的返回值来定的，不要写和我一样的哦！！！
故乡的花又开了吗·2023-10-11 12:01

Flink报错：Could not connect to BlobServer at address localhost/127.0.0.1:39203

Flink报错：CouldnotconnecttoBlobServerataddresslocalhost/127.0.0.1:39203Flink报错：CouldnotconnecttoBlobServerataddresslocalhost
xuxi01·2023-10-11 12:31

启动flink报错：[ERROR] Could not get JVM parameters and dynamic configurations properly.

启动flink报错：[ERROR]CouldnotgetJVMparametersanddynamicconfigurationsproperly.把下面设置修改为1024mjobmanager.heap.size
消八哥·2023-10-11 12:30

Flink: Could not connect to BlobServer at address localhost/127.0.0.1:34036

描述提交flink的作业时，报如下错误：Causedby:org.apache.flink.util.FlinkException:Couldnotuploadjobfiles.........CouldnotconnecttoBlobServerataddresslocalhost
runing_an_min·2023-10-11 12:00

flink报错处理：Could not get JVM parameters and dynamic configurations properly.

在服务器上运行flink时，发生报错：CouldnotgetJVMparametersanddynamicconfigurationsproperly。
卖香油的少掌柜·2023-10-11 12:29

Flink报错: Could not forward element to next operator

Flink版本1.9.1程序报错:原因:watermark的event_time为null导致
雾岛与鲸·2023-10-11 12:58

【Flink】Flink报错 Could not forward element to next operator

因为没有出现我自己的代码，全是flink内部错误该异常几乎都是由于程序业务逻辑有误，或者数据流里存在未处理好的脏数据导致的，继续向下追溯异常栈一般就可以看到具体的出错原因，比较常见的如POJO内有空字段
九师兄·2023-10-11 12:57

【Flink】Flink 报错 Initial AbstractPagedOutputView Segment may not be null

文章目录1.概述2.源码分析1.概述写了一个FLinkSQL报错InitialAbstractPagedOutputViewSegmentmaynotbenull写的SQL如下报错信息如下2.源码分析根据报错找到报错的位置
九师兄·2023-10-11 12:57

【Flink】Flink 任务报错 Could not perform checkpoint for operator

1.概述一个Flink做检查点的时候报错`Couldnotperformcheckpointforoperator`详情如下报错原因：检查点没保存，反压了2.源码解读在节点收到Barrier的时候做检查点
九师兄·2023-10-11 12:57

【基础篇】一、什么是Flink

文章目录1、Flink是什么2、有界流和无界流3、有状态流处理4、Flink的特点5、Flink对比SparkStreaming6、Flink的应用场景7、Flink的分层API1、Flink是什么ApacheFlink
-代号9527·2023-10-11 12:26

【基础篇】二、Flink的批处理和流处理API

、批处理有界流2、流处理有界流3、流处理无界流4、Thegenerictypeparametersof'Collector'aremissing0、demo模块创建创建个纯Maven工程来做演示，引入Flink
-代号9527·2023-10-11 12:26

Flink使用lambda表达式报错：InvalidTypesException：could not be determined automatically, due to type erasure.

在写Flink程序的时候（以最简单的WordCount案例为例），有时会使用Lambda表达式来简化，如下边程序中的flatMap算子和Map算子处，都是用了Lambda表达式来简写：publicstaticvoidmain
Aimo_Hassa·2023-10-11 12:56

Flink报错could not be loaded due to a linkage failure

文章目录1、报错2、原因3、解决1、报错在Flink上提交作业，点Submit没反应，F12看到接口报错信息为：大概意思是，由于链接失败，无法加载程序的入口点类xx。
-代号9527·2023-10-11 12:52

修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

一：控制平面组件。控制平面组件会为集群做出全局决策，比如资源的调度。以及检测和响应集群事件，例如当不满足部署的replicas字段时，要启动新的pod）。1.kube-apiserver。该组件负责公开了KubernetesAPI，负责处理接受请求的工作。API服务器是Kubernetes控制平面的前端。2.kube-controller-manager。负责运行控制器进程。从逻辑上讲，每个控制器
宇智波云·2023-10-11 10:54

基于Binlog、FlinkCDC、Doris实现实时数据同步

基于Binlog、FlinkCDC、Doris实现数据实时同步Docker部署MySQLdockerpullmysql:5.7.32通过挂载的方式开启一个mysql镜像dockerrun-p3307:3306
何以问_·2023-10-11 07:38

4、mysql--＞kafka--＞mysql

全部使用Flinkcdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。
vandh·2023-10-11 07:01

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter
embelfe_segge·2023-10-11 04:12

Flink - CEP监控下单付款超时通知

在电商领域通常会有这样一种需要，如果客户下单了，但是在10分钟内不付款，应该需要通知客服，再由客服寻问客户为什么还没有付款，从而提高付款效率，我们可以采用Flink-CEP的超时机制来处理。
大猪大猪·2023-10-11 02:18

pyflink读取kafka数据写入mysql实例

依赖包下载https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka/1.17.1/版本flink：1.16.0kafka
墨痕诉清风·2023-10-10 23:31

Apache Flink 开发环境搭建和应用的配置、部署及运行

前言本文主要面向于初次接触Flink、或者对Flink有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用Flink，并着手相关开发调试工作。
000X000·2023-10-10 23:54

Flink各类运行环境介绍

Flink各类运行环境介绍1.开发环境开发环境主要指本地电脑代码开发环境开发环境的准备本地环境需要安装环境语言：java1.8maven工具开发工具：例如IntelliJIDEA，并配置环境具备了开发所依赖的各类环境后
王亭_666·2023-10-10 23:54

IDEA中搭建flink开发环境，看这一篇就够了，亲测有效

在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程
小李哥编程·2023-10-10 23:24

第二课 Flink 安装部署、环境配置及运行应用程序（1）

视频地址【ApacheFlink入门教程】3.Flink安装部署、环境配置及运行应用程序_哔哩哔哩_bilibiliApacheFlinkChina社区出品，ApacheFlink教程第二弹《Flink
起名-困难户·2023-10-10 23:51

2.Flink之开发环境搭建和应用的配置、部署及运行

本文主要面向于初次接触ApacheFlink（以下简称Flink）、或者对Flink有了解但是没有实际操作过的同学。
吃胖点儿·2023-10-10 23:49

Flink开发环境搭建与提交运行Flink应用程序

Flink开发环境搭建与提交运行Flink应用程序Flink概述环境Flink程序开发项目构建添加依赖安装Netcat实现经典的词频统计批处理示例流处理示例FlinkWebUI命令行提交作业编写Flink
CodeDevMaster·2023-10-10 23:48

如何降低 Flink 开发和运维成本？阿里云实时计算平台建设实践

摘要：本文整理自阿里云高级技术专家，ApacheFlinkContributor周凯波（宝牛），在FFA2022平台建设专场的分享。
Apache Flink·2023-10-10 22:10

Flink session集群运维

1、集群jobmanager挂了kubectldescribepodsession-deployment-only-84b8d674c7-ckl9w-nflinkkubectlgetpod-nflink-owidekubectldescribepodsession-deployment-only
wangqiaowq·2023-10-10 22:51

大数据hudi之集成flink:常见基础问题

目录5.15.1存储一直看不到数据数据有重复MergeOnRead写只有log文件5.15.1存储一直看不到数据如果是streaming写，请确保开启checkpoint，Flink的writer有3种刷数据到磁盘的策略
浊酒南街·2023-10-10 21:06

【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】

数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1流读（StreamingQuery）二、限流三、写入方式1.CDC数据同步1.使用第二种方式cdc+kafka进行mysql
Apache Minor Trend·2023-10-10 21:36

大数据hudi之集成flink:sql-client方式

目录启动sql-client插入数据查询数据更新数据流式插入启动sql-client1）修改flink-conf.yaml配置vim/opt/module/flink-1.13.6/conf/flink-conf.yamlclassloader.check-leaked-classloader
浊酒南街·2023-10-10 21:36

大数据hudi之集成flink:写入方式

目录CDC数据同步离线批量导入全量接增量CDC数据同步CDC数据保存了完整的数据库变更，当前可通过两种途径将数据导入hudi:第一种：通过cdc-connector直接对接DB的binlog将数据导入hudi，优点是不依赖消息队列，缺点是对dbserver造成压力。第二种：对接cdcformat消费kafka数据导入hudi，优点是可扩展性强，缺点是依赖kafka。注意：如果上游数据无法保证顺序，
浊酒南街·2023-10-10 21:36

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

Hudi-集成Flink

文章目录集成Flink环境准备sql-client方式启动sql-client插入数据查询数据更新数据流式插入code方式环境准备代码类型映射核心参数设置去重参数并发参数压缩参数文件大小Hadoop参数内存优化读取方式流读
迷雾总会解·2023-10-10 21:32

第7节 hudi 0.9 与Flink 1.12.2 集成测试

安装Flink从hudi0.9的编译pom中查看，编译时用的flink版本是1.12.2,在官网下载Indexof/dist/flink/flink-1.12.2（1）上传到集群中因为是测试流程，先单节点上传至
第一次看海·2023-10-10 21:27

flink实战--flinkSQL写入hudi的四种方式

简介hudi官方提供了下面四种方式写入hudi，可以根据不通同的业务需求选择合适的写入方式。bulk_insertIndexbootstrapChangelogModeInsertModebulk_insert用于快速导入快照数据到hudi。基本特性bulk_insert可以减少数据序列化以及合并操作，于此同时，该数据写入方式会跳过数据去重，所以用户需要保证数据的唯一性。bulk_insert在批
阿华田512·2023-10-10 21:56

Hudi第三章：集成Flink

系列文章目录Hudi第一章：编译安装Hudi第二章：集成SparkHudi第二章：集成Spark(二)Hudi第三章：集成Flink文章目录系列文章目录前言一、环境准备1.上传并解压2.修改配置文件3.
超哥--·2023-10-10 21:23

Flink实时处理之DataStream

Flink的API概览1、dataStream的数据源1、socket数据源从socket当中接收数据，并统计最近5秒钟每个单词出现的次数第一步：node01开发socket服务node01执行以下命令开启
我还不够强·2023-10-10 19:20

大数平台整体架构选型

第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。
weixin_30776863·2023-10-10 19:35

Flink异常：TaskExecutor中不存在LOG文件的问题解决

Flink异常：TaskExecutor中不存在LOG文件的问题解决一、问题描述在使用Flink进行大数据处理时，出现了一个异常：“FlinkExceptionThefileLOGdoesnotexistontheTaskExecutor
静谧星光c·2023-10-10 18:00
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他