Flink深度解析

Flink｜《Flink 官方文档 - 概念透析 - Flink 架构》学习笔记

学习文档：概念透析-Flink架构学习笔记如下：Flink集群剖析客户端（Client）：准备数据流程序并发送给JobManager（不是Flink执行程序的进程）JobManager：协调Flink应用程序的分布式执行
长行·2024-01-01 11:28

CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败

CDH6.3.2集成flink1.18zookeeper版本不匹配Flink-yarn不能正常启动，而在CHDWeb页面，flink日志报错提示不明确，不能定位具体错误。
qq_21480329·2024-01-01 10:05

最长等差数列，三道题目深度解析

动态规划动态规划就像是解决问题的一种策略，它可以帮助我们更高效地找到问题的解决方案。这个策略的核心思想就是将问题分解为一系列的小问题，并将每个小问题的解保存起来。这样，当我们需要解决原始问题的时候，我们就可以直接利用已经计算好的小问题的解，而不需要重复计算。动态规划与数学归纳法思想上十分相似。数学归纳法：基础步骤（basecase）：首先证明命题在最小的基础情况下成立。通常这是一个较简单的情况，可
妖精七七_·2024-01-01 09:45

Flink整合面向用户的数据流SDKs/API(Flink关于弃用Dataset API的论述)

动机Flink提供了三种主要的sdk/API来编写程序:TableAPI/SQL、DataStreamAPI和DataSetAPI。
另存為·2024-01-01 05:28

Flink 内容分享(二十八)：深度解析 Flink 是如何管理好内存的？

目录前言数据对象直接放在堆内存中Flink是怎么做的?Flink如何分配内存?Flink如何序列化对象？Flink如何对二进制数据进行操作？
之乎者也··2024-01-01 05:23

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

[Flink] Flink的waterMark的通俗理解

导读Flink为实时计算提供了三种时间，即事件时间（eventtime）、摄入时间（ingestiontime）和处理时间（processingtime）。
延眠万里·2024-01-01 05:37

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：Java程序员：世界有三个伟大的发明「火、轮子、kafka」A
Java旺·2024-01-01 04:17

【软件工程】融通未来的工艺：深度解析统一过程在软件开发中的角色

个人博客：个人主页个人专栏：软件工程⛳️功不唐捐，玉汝于成目录前言：正文统一过程（UnifiedProcess）介绍和解释：应用：优缺点：优点：缺点：结语我的其他博客前言：在当今日新月异的软件开发领域，各种方法不断涌现，其中统一过程作为一种融合灵活性和结构性的开发模式备受瞩目。本文将深入剖析统一过程的核心特点、关键元素以及其在软件开发生命周期中的应用。通过对其灵活迭代、面向对象设计的理念的探讨，我
还在路上的秃头·2024-01-01 03:43

Flink 内容分享(十八)：基于Flink＋Iceberg构建企业数据湖实战

目录前言ApacheIceberg的优势ApacheIceberg经典业务场景应用ApacheIceberg的准备工作创建和使用CatalogIcebergDDL命令IcebergSQL查询IcebergSQL写入使用DataStream读取使用DataStream写入前言随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要
之乎者也··2023-12-31 11:21

Flink 内容分享(十七)：基于Flink的“批处理”尝试

目录背景实现方法一VirtualKey方法二算子状态方法三无状态的snapshot引言Flink可以说是当下最流行的分布式流数据处理引擎。
之乎者也··2023-12-31 11:51

大数据大价值

大数据的大价值：大数据五大成功案例深度解析2017年09月24日17:44:18阅读数：2719大数据的热潮并未有消褪迹象，相反，包括航空、金融、电商、政府、电信、电力甚至F1赛车等各个行业的企业都在纷纷掘金大数据
X_dmword·2023-12-31 11:50

Flink 内容分享(十六)：Flink中的容错机制

目录Flink中的容错机制1.1检查点（Checkpoint）1.1.1检查点的保存1.1.2从检查点恢复状态1.1.3检查点算法1.1.4检查点配置1.1.5保存点（Savepoint）1.2状态一致性
之乎者也··2023-12-31 11:50

Flink 使用之WatermarkStrategy（含源码分析）

Flink使用介绍相关文档目录Flink使用介绍相关文档目录前言概括来说，watermark用于基于eventtime的流计算系统数据流可能发生乱序的情况。
AlienPaul·2023-12-31 07:28

Apache Doris在京东搜索实时OLAP中的应用实践

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用ApacheFlink和ApacheDoris进行的探索和实践。
小晨说数据·2023-12-31 03:11

Flink 内容分享(十一)：Flink面试题总结(二)

1、简单介绍一下FlinkFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且Flink提供了数据分布、容错机制以及资源管理等核心功能。
之乎者也··2023-12-30 22:30

Flink 内容分享(九)：Flink生产环境相关问题

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？
之乎者也··2023-12-30 22:00

Flink 内容分享(十)：Flink面试题总结(一)

1、背压问题背压产生的原因流量徒增，流量内容异常，如何发现背压Flinkwebui采集到prometheus，报警发现背问题的定位与处理配置问题，GC的配置、内存&CPU的配置代码问题，算子使用不合理数据问题
之乎者也··2023-12-30 22:00

【flink番外篇】9、Flink Table API 支持的操作示例（6）- 表的聚合(group by、Distinct、GroupBy/Over Window Aggregation)操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-30 20:11

【flink番外篇】9、Flink Table API 支持的操作示例（7）- 表的join操作（内联接、外联接以及联接自定义函数等）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-30 20:39

Flink（十一）【状态管理】

Flink状态管理我们一直称Flink为运行在数据流上的有状态计算框架和处理引擎。
让线程再跑一会·2023-12-30 17:49

Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程Per-Job模式目前只有yarn支持，Per-job模式从Flink1.15版本开始已经被弃用
IT贫道·2023-12-30 15:02

Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令
IT贫道·2023-12-30 15:30

【Python百宝箱】Python自动化之舞：深度解析工作流程与任务调度库

数据流管道：Python自动化库全景图前言在当今数据密集型和复杂的计算环境中，自动化流程和工作流的管理变得至关重要。本文将探讨几个领先的Python库，包括ApacheAirflow、Prefect、Luigi、Celery以及DAGster，这些库提供了强大的工具和框架，用于配置、管理和调度各种复杂的工作流。通过深入了解这些库的核心概念、特点和优势，以及实际的使用场景和示例代码，读者将能够更好地
friklogff·2023-12-30 15:29

Gin 源码深度解析及实现

介绍什么是gin？一个轻量级高性能HTTPWeb框架。Introduction|GinWebFramework(gin-gonic.com)Gin是一个用Go(Golang)编写的HTTPWeb框架。它具有类似Martini的API，但性能比Martini快40倍。为什么使用gin？Introduction|GinWebFramework(gin-gonic.com)Zeroallocationr
Lor :)·2023-12-30 14:52

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口，并行度，kafka消费者组，kafka主题（Topic_user_register）启动zookeep
十七✧ᐦ̤·2023-12-30 11:16

跨站资源共享CORS原理深度解析

我相信如果你写过前后端分离的web应用程序，或者写过一些ajax请求调用，你可能会遇到过CORS错误。CORS是什么？它与安全性有关吗？为什么要有CORS？它解决了什么目的？CORS是怎样运行的？如果您有这些问题，那么这篇文章非常适合您。一、什么是CORS？要了解什么是CORS（Cross-OriginResourceSharing：跨站资源共享），首先我们需要了解什么是同源策略SameOrigi
字母哥课堂·2023-12-30 09:16

Flink版本更新汇总（1.14-1.18）

0、汇总========1.14.0========1.有界流支持Checkpoint；2.批执行模式支持DataStream和Table/SQL混合应用；3.新增HybridSource功能；4.新增缓冲区去膨胀功能；5.新增细粒度资源管理功能；6.新增DataStream的Pulsar连接器；========1.15.0========1.支持增量的Savepoint；2.保证作业级别的指标在
猫猫爱吃小鱼粮·2023-12-30 09:55

Flink实时电商数仓（八）

用户域登录各窗口汇总表主要任务：从kafka页面日志主题读取数据，统计七日回流用户：之前活跃的用户，有一段时间不活跃了，之后又开始活跃，称为回流用户当日独立用户数：同一个用户当天重复登录，只算作一个独立用户。思路分析读取kafka页面主题数据转换数据结构：String->JSONObject过滤数据，uid不为null登录的两种情况用户打开应用后自动登录用户打印应用后没有登录，浏览后跳转到登录页面
十七✧ᐦ̤·2023-12-30 09:55

Flink DataStream 编程模型

本文是我的第一篇付费文章，这是个开篇纵览，后面会深入讲解Flink理论与开发，不限于Flink这一个组件，后面也会有Spark、Clickhouse等等，代码也会配套同步到Gitee上面（Gitee地址见文末
大数据技术派·2023-12-30 09:54

Flink Shuffle、Spark Shuffle、Mr Shuffle 对比

总结：1、FlinkShufflePipelinedShuffle：上游Subtask所在TaskManager直接通过网络推给下游Subtask的TaskManager；BlockingShuffle
猫猫爱吃小鱼粮·2023-12-30 09:53

搭建flink集群 —— 筑梦之路

ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
筑梦之路·2023-12-30 09:04

Flink 输出至 Elasticsearch

【1】引入pom.xml依赖org.apache.flinkflink-connector-elasticsearch6_2.121.10.0【2】ES6Scala代码，自动导入的scala包需要修改为
程序猿进阶·2023-12-30 06:27

Flink cdc 2.3.0 日前发布，支持众多新特性

连接器增量快照迎来新的连接器成员2.3.0版本MongoDBCDC，OracleCDC两大连接器均支持了增量快照，实现无锁读取+并发读取+断点续传优化2.3.0版本MySQLCDC连接器性能和稳定性大幅提升Flink
青涩的芒果汁·2023-12-30 06:00

mysql cdc 整库迁移 (mysql to mysql)

技术思想利用mysqlcatalog，mysqlcdc，flinkjdbc等技术实现mysql整库迁移至下游数据库，这里是示范mysqltomysql，其他sink组件可自行扩展实现。
青涩的芒果汁·2023-12-30 06:00

flink 消费Kafka 空指针问题

flink消费Kafka空指针问题error：2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁·2023-12-30 06:30

基于Rsyslog+Kafka+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法

在上一篇博文中介绍了简单的实用负载均衡与实时监控方案（tengine+rsyslog+goaccess），功能上是满足日常需要的。但是用户的需求是没有止境的，更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV，各功能模块PV、UV，区域PV、UV，各手机型号、应用版本的使用情况，平台使用的趋势分析，功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者·2023-12-30 05:02

解密Python高级特性：深度探讨装饰器与上下文管理器的魔法

1.装饰器的深度解析：威力、优点与应用场景1.1装饰器的本质装饰器本质上是函数或可调用对象，用于改变其他函数的行为。它们通过将其他函数作为
theskylife·2023-12-30 01:55

深度解析：CRM、ERP之间的关联和区别以及双系统的联系与集成（附系统架构图）

目录一、系统简介1.1CRM是什么1.2ERP是什么二、发展阶段2.1CRM发展阶段2.2ERP发展阶段三、系统架构3.1CRM系统架构3.2ERP系统架构四、CRM与ERP的区别4.1目标不同4.2不同阶段的发展中不同的适用性4.2.1刚起步的小公司4.2.2对于更大、更成熟的公司4.3时间尺度4.3.1CRM系统4.3.2ERP系统五、CRM与ERP的联系和集成5.1联系5.2集成5.2.1C
Kissship·2023-12-30 01:50

PiflowX组件-WriteToKafka

计算引擎flink有界性StreamingAppendMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST
暗影八度·2023-12-29 23:14

PiflowX组件-DataGen

具体可以查看Flink官方DataGenconnector。计算引擎flink有界性字段的数据全部生成完成后，source就结束了。因此，有界性取决于字段的有界性。
暗影八度·2023-12-29 23:14

flink generic log-based incremental checkpoints 设计

背景flink在1.15版本后开始提供genericlog-basedincrementalcheckpoints的检查点方案，目的在于减少checkpoint的耗时，尽量缩短端到端的数据处理延迟，本文就来看下这种新类型的
lixia0417mul2·2023-12-29 23:43

PiflowX大数据流水线系统

支持分布式计算引擎flink和spark。以所见即所得的方式，实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。
暗影八度·2023-12-29 23:43

PiflowX组件-ReadFromKafka

计算引擎flink有界性Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”
暗影八度·2023-12-29 23:13

flink中值得监控的几个指标

背景为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标重要的监控指标1.算子的处理速度的指标：numRecordsInPerSecond
lixia0417mul2·2023-12-29 23:12

大数据HelloWorld-Flink实现WordCount

MR，Spark，Flink以来开篇第一个程序都是WordCount。那么今天Flink开始目标就是在本地调试出WordCount。[图片上传失败...
指尖数虫·2023-12-29 22:38

给linux(centos)操作系统设置主机名的几种方式

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署hadoop,Flink时，写ip地址太长了，然后大家想的就是能不能用比如：node1,node2,node3去代替IP地址
萌褚·2023-12-29 21:13

深度解析淘宝客推广技巧

淘宝客推广爆款的技巧有哪些？网购你是直接下单吗？还是说用别人的口令和链接下单？千万不要这么做了，网购是可以领取隐藏优惠券和高额返佣的，如果你直接下单的话，失去了领取大额优惠券和商家给的返佣，如果你是通过别人分享的链接或者口令下单，虽然可能会领取优惠券，但是商家的返佣会被别人拿走的。那么我们如何领取隐藏优惠券还能拿到商家的返佣呢？以淘宝天猫为例:同一家店铺的商品，我们通过优惠券导购平台领取隐藏的优惠
好项目高省·2023-12-29 20:41

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta
十七✧ᐦ̤·2023-12-29 17:19

【flink番外篇】9、Flink Table API 支持的操作示例（5）- 表的列操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:18
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他