研磨Flink

Flink通过Native Kubernetes部署运行

在FlinkonKubernetes环境中，Job部署方式分为NativeKubernetes和KubernetesOperator2种，本文以NativeKubernetesappplication模式部署运行介绍
风卷残尘·2025-05-04 16:19

Flink Table API与SQL技术详解

在大数据实时处理领域，ApacheFlink凭借其强大的流批统一处理能力占据重要地位。
方二华·2025-05-04 16:18

Kafka使用教程

流处理：与流处理框架（如ApacheFlink、ApacheSparkStreaming）结合，进行实时数据分析。微服务通信：作为微服务架构中的消息中间件，实现服务间异步通信。物联网（IoT）：
大三小小小白·2025-05-03 05:03

Flink与AnyLine的整合 构建高效的数据处理架构

1.‌架构设计思路‌‌动态数据源管理‌：利用Anyline的运行时数据源注册能力，统一管理Flink作业所需的异构数据源（如MySQL、Kafka、Hive等），简化配置流程。‌
MadeInSQL·2025-05-03 03:13

Java大厂硬核面试：Flink流处理容错、Pomelo JVM调优、MyBatis二级缓存穿透防护与Kubernetes服务网格实战解析

第二幕：系统架构设计面试官：设计一个处理10万+QPS的秒杀系统需要的技术方案和技术选型xbhog：采用基础架构：存储层：Redis限流+分布式锁服务层：Sentinel流量控制消息层：RocketMQ事务消息保证最终一致性关键设计：库存扣减使用Redission的MultiOperation实现原子操作通过SpringCloudGateway的自定义过滤器实现用户身份认证网关层拦截面试官：Kub
xbhog·2025-05-03 00:00

Flink之DataStream

ApacheFlink的DataStreamAPI是用于处理无限（流）或有限（批）数据流的核心编程模型，适用于事件驱动、实时分析、ETL等场景。
james二次元·2025-05-02 02:32

FlinkUpsertKafka深度解析

1.设计目标与工作机制Upsert-KafkaConnector核心功能：支持以Upsert（插入/更新/删除）模式读写Kafka数据，适用于需要动态更新结果的场景（如聚合统计、CDC数据同步）。数据流类型：作为Source：消费Kafka的Changelog流，每条记录表示一个更新或删除事件。若Key不存在则为插入（INSERT），存在则为更新（UPDATE），Value为空则为删除（DELET
24k小善·2025-05-02 02:00

Dockerfile 编写根据需求阶段而出现

在Flink的Docker部署中，是否需要编写Dockerfile取决于你的具体需求。
SunTecTec·2025-04-30 17:56

Flink checkpoint问题排查指南

snapshot，如果作业存在反压，或者有数据倾斜，则会导致全部的channel或者某些channel的barrier发送慢，从而整体影响Checkpoint的时间，这两个可以通过如下的页面进行检查：ApacheFlink
gegeyanxin·2025-04-30 17:55

Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI

FlinkDocker部署是否会有WebUI（8081端口）？默认情况下，Flink的Standalone集群（包括Docker部署）会启动WebUI，默认端口是8081。
SunTecTec·2025-04-30 17:53

Flink Checkpoint 与实时任务高可用保障机制实战

本文围绕FlinkCheckpoint机制，深入讲解高可用保障的最佳实践和工程实现。一、业务背景与痛点在金融风控、营销实时推荐、智能监控等场景中，实时数仓的每一条数据都至关重要。
晴天彩虹雨·2025-04-30 10:16

【课程笔记】华为 HCIA-Big Data 大数据 总结

ZooKeeper分布式应用程序协调服务HBase非关系型分布式数据库Hive分布式数据仓库ClickHouse列式数据库管理系统MapReduce分布式计算框架Yarn资源管理调度器Spark分布式计算框架Flink
淵_ken·2025-04-29 22:12

Flink 数据清洗与字段标准化最佳实践

——构建可配置、可扩展的实时标准化清洗链路本文是「Flink+Kafka构建实时数仓实战」专栏的第4篇，将围绕字段标准化这一核心问题，从业务痛点、技术架构、配置设计到完整代码工程，系统讲透标准化实践。
晴天彩虹雨·2025-04-29 11:18

Flink+Hologres搭建实时数仓

参考资料文档文档链接阿里云实时计算flink文档https://help.aliyun.com/zh/flink/product-overview/what-is-alibaba-cloud-realtime-compute-for-apache-flink
闭嘴！我不是SQL boy·2025-04-29 11:16

Windows PC上创建大数据职业技能竞赛实验环境之三--Spark、Hive、Flume、Kafka和Flink环境的搭建

在前述hadoop-base基础容器环境的基础上，实现Spark、Hive、Flume、kafka和Flink实验环境的搭建。
liu9ang·2025-04-29 03:19

[大数据技术与应用省赛学习记录一]——软件准备

@JIAQI第一章大数据平台环境搭建在指定主机上完成Hadoop完全分布式、Spark、Flink、kafka、flume的安装配置赛前准备主办方要求使用以下相关版本软件环境，仅供参考：设备类型软件类别软件名称
Ench77·2025-04-29 01:07

Linux 在个人家目录下添加环境变量 如FLINK_PROPERTIES=“jobmanager.rpc.address: jobmanager“

问题：DockerFlinkApplicationMode命令行形式部署前，需要在Linux执行以下：$FLINK_PROPERTIES="jobmanager.rpc.address:jobmanager
SunTecTec·2025-04-28 08:50

Flink维表深度解析

一、维表的概念与作用维表（DimensionTable）是数据仓库中的核心概念，通常用于存储静态或缓慢变化的业务实体信息（如用户资料、商品信息、地理位置等）。在实时流处理场景中，维表的作用是为主数据流（事实表）提供关联查询，以丰富流数据的上下文信息。例如：订单流（事实表）需要关联用户信息表（维表），以补充用户的地理位置、VIP等级等信息。日志流需要关联设备信息表，以补充设备的型号、操作系统等元数据
24k小善·2025-04-28 05:34

Flink TaskManager详解

1.TaskManager概述ApacheFlink的TaskManager是作业执行的核心工作节点，负责实际的数据处理任务。
24k小善·2025-04-28 05:34

Flink概念-状态一致性的三种级别

最多一次（At-Most-Once）至少一次（At-Least-Once）精确一次（Exactly-Once）1.最多一次（At-Most-Once）不开启checkpoint，相当于数据只处理一次，不会检查数据是否丢失；2.至少一次（At-Least-Once）开启checkpoint，barrier对齐的至少一次，进行barrier对齐时，barrier后面的数据也会接着处理，存入到状态中，当
别这么骄傲·2025-04-27 22:17

FlinkUDF用户自定义函数深度剖析

Flink作为一款强大的流批一体数据处理引擎，其灵活性和扩展性在很大程度上依赖于用户自定义函数（User-DefinedFunctions,UDF）。
24k小善·2025-04-27 22:46

Flink 运维与调优

转载-flink优化_黄瓜炖啤酒鸭的博客-CSDN博客1.1内存设置1.2并行度设置1.2.1最优并行度计算1.2.2Source端并行度的配置1.2.3Transform端并行度的配置1.2.4Sink
爱学习的菜鸟罢了·2025-04-27 22:45

关于flink两阶段提交高并发下程序卡住问题

先抛出代码packagecom.dpf.flink;importcom.dpf.flink.sink.MysqlSink;importorg.apache.flink.api.common.serialization.SimpleStringSchema
我爱刮刮乐·2025-04-27 21:12

demo flink写入kafka_【开发案例】Flink案例：向Kafka生产并消费数据程序

Flink案例：向Kafka生产并消费数据程序1.1场景说明适用版本FusionInsightHDV100R002C70、FusionInsightHDV100R002C80。
渺小呆子·2025-04-27 13:51

Kafka 主题设计与数据接入机制

一、前言：万物皆流，Kafka是入口在构建实时数仓时，Kafka既是数据流动的起点，也是后续流处理系统（如Flink）赖以为生的数据源。
晴天彩虹雨·2025-04-27 13:21

Flink反压问题解析

Flink通过动态反压机制实现这一过程，但其副作用是可能导致作业延迟增加、吞吐量下降甚至任务失败。二、反压的核心原理与Flink实现1.Flink网络栈与反压机制基于信用值
Debug_TheWorld·2025-04-27 01:06

FlinkSql入门与实践

一、为什么需要FlinkSQL？传统SQL是面向静态数据的查询语言，而现代实时业务要求对动态数据流进行即时分析。
24k小善·2025-04-25 13:26

大数据平台组件部署说明（pulsar、Openlookeng、Hadoop集群、hive、python、Flink、JDK、Zookeeper、MySQL、Redis等）

大数据平台组件部署说明1.安装前准备JDKopenlookeng和pulsar要求JDK1.8+，参考附录9.1安装教程。Zookeeper集群pulsar运行需要zookeeper集群进行资源调度服务，参考附录9.2安装教程。MySQL默认推荐使用MySQL，参考附录9.3节MySQL的安装说明，如已经安装请跳过。如果你使用其他类型的数据库，请参考对应厂商说明帮助手册进行安装。SSH免密登录Ha
长空~·2025-04-25 02:44

Flink 系统性学习笔记

1.流计算须知Streaming101:批处理之外的流式世界第一部分Streaming102:批处理之外的流式世界第二部分
@SmartSi·2025-04-24 17:10

yarn的定义

YARN的设计允许不同的计算框架（如MapReduce、Spark、Flink等）在同一Hadoop集群中共
yyywoaini～·2025-04-24 09:48

流数据实时计算是一种处理和分析实时数据流的技术

ApacheFlink是实现流数据实时计算的流行框架之一。2.1数据流数据流（DataStream）是由连续生成的数据元素组成的序列，这些数据元素可以是来自各种源的记录、事件、或者其
·2025-04-24 01:34

《大数据最全面试题-Offer直通车》目录

无论是数据仓库、Flink/Spar
大模型大数据攻城狮·2025-04-23 14:47

Flink-01学习 介绍Flink及上手小项目之词频统计

flink简介官网概述：学习Flink具体包括四个关键概念：流数据的持续处理，事件时间，有状态流处理和状态快照。
Haoea！·2025-04-22 12:30

深度了解flink rpc机制（三）-组件以及交互

FlinkRPC整体架构Flink集群间组件的通信底层是使用的actorsystem通信模型和动态代理来实现的，先简单看下FlinkRPC相关的类UML图通信组件RpcGatewayFlinkRPC远程调用网关
橙子qyfftf·2025-04-22 12:00

Flink 内部通信底层原理

Flink集群内部节点之间的通信是用Akka实现，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是用Netty实现。
bigdata-rookie·2025-04-22 12:58

Flink框架十大应用场景

Flink框架适合应用的场景1.流式数据处理Flink框架最常用的应用场景是流式数据处理。流式数据处理是指对实时数据进行处理，以便及时地做出决策。
每天五分钟玩转人工智能·2025-04-22 08:04

【Flink SQL实战】 UTC 时区格式的 ISO 时间转东八区时间

原始数据格式二、解决方案三、其他要求在实际开发中，我们常常会遇到此类情况：数据源里的时间格式是类似2025-04-21T09:23:16.025Z这种带TimeZone标识的ISO8601格式，而我们需要在FlinkSQL
roman_日积跬步-终至千里·2025-04-22 08:34

探索大数据新纪元：Apache Flink HBase Connector 魅力无限

探索大数据新纪元：ApacheFlinkHBaseConnector魅力无限项目地址:https://gitcode.com/gh_mirrors/fl/flink-connector-hbase在数据处理领域中
柳旖岭·2025-04-21 23:40

Flink运行时架构

一、系统架构1.1SMP架构数据处理系统的架构最简单的实现方式就是单节点，但是随着数据量的增大，为了使单节点的机器性能更加强大，需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(SymmetricalMultiProcessing,对称多处理)架构。但是这种架构带来的问题也很明显，不仅所有CPU是完全平等且共享内存和总线资源的，会带来资源竞争。而且随着CPU数量的增加，机器成本会呈指数
Data跳动·2025-04-21 15:00

数据中台架构与技术体系

采集方式：实时采集：Kafka、FlinkCDC（变更数据捕获）。离线采集：Sqoop、DataX（批量同步数据库）。日志采集：Flume、Filebeat。
Aurora_NeAr·2025-04-21 04:27

Flink SQL SavePoint最佳实践

以下是FlinkSQLSavepoint最佳实践，涵盖配置、触发、恢复及注意事项，高效管理作业状态：一、Savepoint的配置与触发1.基础配置存储路径：在flink-conf.yaml中全局设置Savepoint
fzip·2025-04-20 13:54

flink任务提交example

/bin/kubernetes-session.sh-Dkubernetes.cluster-id=session-first-flink-cluster(2)Submitexamplejob.
青春不流名·2025-04-20 11:07

yarn的定义，yarn的三大组件及各自作用，yarn的三个资源调度策略

yarn的定义：YARN是一个通用的集群资源管理系统，它能够为运行在Hadoop集群上的各种应用程序（如MapReduce、Spark、Flink等）提供统一的资源调度和管理服务。
嗯.～·2025-04-19 17:07

Flink 水位线机制WaterMark实践 处理乱序消息

1水位线（WaterMark）是一个时间戳，等于当前到达的消息最大时间戳减去配置的延迟时间，水位线是单调递增的，如果有晚到达的早消息也不会更新水位线，因为消息最大时间戳没变水位线=消息最大时间戳-配置的INTERVAl(offset)时间2新消息到达时，才计算新的水位线，如果水位线大于等于窗口的endTime（左闭右开）则触发窗口计算，反之继续接收后续消息；消息的EventTime大于等于窗口be
二十六画生的博客·2025-04-19 16:58

Flink 窗口、Scala泛型通配符、Flink 窗口的底层 API、解析 json 格式的数据

目录Flink窗口TimeWindowSessionWindowCountWindowFlink窗口的底层API卡口过车需求案例解析json格式的数据导入fastjson依赖fastJson解析json
赤兔胭脂小吕布·2025-04-19 15:57

Flink 反压下的 TCP 流控制

1.什么是Flink反压和TCP流控制？反压（Backpressure）是什么？反压是分布式流处理系统中一种自我调节机制。
goTsHgo·2025-04-19 15:56

Flink基础学习(Scala):窗口函数window

文章目录一、前言二、窗口类型2.1时间窗口(TimeWindow)2.1.1滚动时间窗口2.1.2滑动时间窗口2.1.3会话窗口2.2计数窗口(CountWIndow)2.2.1滚动计数窗口2.2.2滑动计数窗口三、总结一、前言窗口就是将无限流切割成有限流的一种方式，它会将流数据分发到有限大小的桶中进行分析二、窗口类型2.1时间窗口(TimeWindow)2.1.1滚动时间窗口所谓滚动窗口就是将数
雷禄辉·2025-04-19 15:25

flink Jobmanager metaspace oom 分析

文章目录现象作业背景分析现象分析类卸载条件MAT分析解决办法flink官方提示现象通过flink页面提交程序，多次提交后，jobmanager报metaspaceoom作业背景用户代码是flink代码+
wending-Y·2025-04-19 14:14

flink 内存配置（三）：设置JobManager内存

flink内存配置（一）：设置Flink进程内存flink内存配置（二）：设置TaskManager内存flink内存配置（三）：设置JobManager内存flink内存配置（四）：内存调优和
sf_www·2025-04-19 14:42

大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007

4.用Flink处理过什么场景的业务,是如何实现的,说一下流程?5.有没有用过NIFI?6.做的时候后端是如何做的,用的什么框架?有没有了解过springcloudTencent?
添柴程序猿·2025-04-18 03:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他