Flink流处理第31页

Flink系列之：大状态与 Checkpoint 调优

Flink系列之：大状态与Checkpoint调优一、概述二、监控状态和Checkpoints三、Checkpoint调优四、RocksDB调优五、增量Checkpoint六、RocksDB或JVM堆中的计时器七

最笨的羊羊·2023-12-18 23:27

【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用

【Apache-StreamPark】Flink开发利器StreamPark的介绍、安装、使用1）框架介绍与引入1.1.什么是StreamPark1.2.Features1.3.‍组成部分1.4.引入StreamPark2

bmyyyyyy·2023-12-18 23:50

【Flink-Bug】Flink 自定义 Sink 重写 RichSinkFunction 方法时重复调用 open 的解决方案

【Flink-Bug】Flink自定义Sink重写RichSinkFunction方法时重复调用open的解决方案Flink自定义RichinkFunction时可能会重写open方法进行某些连接的初始化操作

bmyyyyyy·2023-12-18 23:50

【Flink-Kafka-To-RocketMQ】使用 Flink 自定义 Sink 消费 Kafka 数据写入 RocketMQ

【Flink-Kafka-To-RocketMQ】使用Flink自定义Sink消费Kafka数据写入RocketMQ1）准备环境2）代码实现2.1.主程序2.2.conf2.2.1.ConfigTools2.3

bmyyyyyy·2023-12-18 23:19

大数据平台架构（Lambda、Kappa、SMACK）

1、Lambda架构Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是：将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。

高国才·2023-12-18 22:35

Flink系列之：Table API Connectors之Raw Format

Flink系列之：TableAPIConnectors之RawFormat一、RawFormat二、示例三、Format参数四、数据类型映射一、RawFormatRawformat允许读写原始（基于字节

最笨的羊羊·2023-12-18 21:23

Flink系列之：Table API Connectors之JSON Format

Flink系列之：TableAPIConnectors之JSONFormat一、JSONFormat二、依赖三、创建一张基于JSONFormat的表四、Format参数五、数据类型映射关系一、JSONFormatJSONFormat

最笨的羊羊·2023-12-18 21:23

Flink系列之：窗口去重

Flink系列之：窗口去重一、窗口去重二、示例三、限制一、窗口去重适用于Streaming窗口去重是一种特殊的去重，它根据指定的多个列来删除重复的行，保留每个窗口和分区键的第一个或最后一个数据。

最笨的羊羊·2023-12-18 21:22

【Flink】字节跳动 Flink 基于 Slot 的资源管理实践

1.概述转载学习：字节跳动Flink基于Slot的资源管理实践仅供自己学习使用。

九师兄·2023-12-18 15:36

【Flink】官宣｜Apache Flink 1.17 发布公告

1.概述转载：官宣｜ApacheFlink1.17发布公告仅供自己学习。因为我们开始用Flink17了。ApacheFlinkPMC（项目管理委员）很高兴地宣布发布ApacheFlink1.17.0。

九师兄·2023-12-18 15:36

【Flink】如何在 Flink 中规划 RocksDB 内存容量？

1.概述转载：如何在Flink中规划RocksDB内存容量？主要是自己学习。

九师兄·2023-12-18 15:06

Flink系列之：窗口函数Windowing table-valued functions (Windowing TVFs)

Flink系列之：窗口函数Windowingtable-valuedfunctionsWindowingTVFs一、窗口函数二、TumbleWindows三、HopWindows四、CumulateWindows

最笨的羊羊·2023-12-18 14:42

Flink系列之：窗口关联

Flink系列之：窗口关联一、窗口关联二、INNER/LEFT/RIGHT/FULLOUTER三、SEMI四、ANTI五、限制一、窗口关联适用于流、批窗口关联就是增加时间维度到关联条件中。

最笨的羊羊·2023-12-18 14:22

Flink实时数仓项目—项目初了解

Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1日常统计报表或分析图中需要包含当日部分

自学大数据的菜鸡·2023-12-18 14:46

3、电商数仓（数仓数据同步策略）

实时数仓同步数据实时数仓由Flink源源不断从Kafka当中读数据计算，所以不需要手动同步数据到实时数仓。

tianyi6_6·2023-12-18 14:46

Flink电商实时数仓项目03-DWM层

1DWM层与DWS层的设计思路1.1设计思路用户行为日志：模拟日志jar->nginx->web日志服务器->kafka(ods_base_log)->flink(BaseLogApp

最佳第六六六人·2023-12-18 14:45

Flink电商实时数仓项目04-DWS层

1DWS层和DWM层的设计1.1DWS层前面的总结DWS层的定位是什么呢？轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理，同时也能减少维度查询的次数。ODS层:--日志数据：nginx+日志采集服务器(3台)将数据采集到Kafka(ods_base_log)--业务数据：Maxwell监控MySQL(binlog)将数据

最佳第六六六人·2023-12-18 14:45

大数据Flink电商实时数仓实战项目流程全解（最终章）Flink SQL的简单应用以及数据接口设计思路

FlinkSql介绍在实际开发过程中，我个人是以StreamAPI为主，FlinkSql写的不多，这里主要是参考原本项目代码写的，具体的细节，我也不是很熟悉，建议大家可以单独去了解一下FlinkSql；

大数据YYDS·2023-12-18 14:14

大数据Flink电商实时数仓实战项目流程全解(三）

DWD层日志数据分离在数仓搭建过程中，对日志数据做分离是非常有必要而且有意义的，我们可以通过把日志分为启动、隔离、曝光、异常、页面等日志，可以计算获取访客数量、独立访客数量、页面跳转、页面跳出等统计指标数据；那么在实时数仓和离线数仓中，这里有什么不同点呢？异同点分析在离线数仓的搭建过程中，我们可以获取一段时间内的离线日志数据，然后将日志数据进行过滤和分离，但是在实时数仓中，我们需要得到实时的流数据

大数据YYDS·2023-12-18 14:44

大数据Flink电商实时数仓实战项目流程全解(五）

前提概要：之前我们已经实现了动态分流，即通过TableProcessFunction1类把维度数据和事实数据进行了分流处理，接下来就是把数据写入Hbase表和Kafka主题表中：hbaseDS.addSink

大数据YYDS·2023-12-18 14:44

Flink实时电商数仓（一）

离线数据仓库为数据分析而设计的企业级数据管理系统。常用的存储系统是Hadoop的HDFS文件系统，使用Hive进行数据计算，并将结果导入HDFS。离线数仓最明显的特点是T+1模式，今天只能算昨天的数据，时效性不够优秀。实时数仓时效性：针对数仓大屏展示这个领域，10~15s刷新一次即可。核心架构日志服务器：采集日志文件Kafka集群：消息缓存HDFS存储：即hadoop集群Hive分层数仓：ODS+

十七✧ᐦ̤·2023-12-18 14:14

Kafka本地安装⭐️(Windows)并测试生产消息以及消费消息的可用性

nice了日常三连，喂，刷，肝刷会儿博客，看会儿设计模式冷冷冷进被窝刷视频睡觉看看kafka的本地部署》》实践》》成功写会儿博客，45俯卧撑，洗洗睡了，明天上班一、kafka简介Kafka是一个分布式的流处理平台

键盘不能没有CV键·2023-12-18 12:25

【Flink on k8s】- 14 - Flink kubernetes operator 使用经验分享

目录一、集成flinkmaven项目发布到私有库1、环境准备2、使用maven创建java项目

high2011·2023-12-18 12:50

Flink系列之：自定义函数

Flink系列之：自定义函数一、自定义函数二、概述三、开发指南四、函数类五、求值方法六、类型推导七、自动类型推导八、定制类型推导九、确定性十、内置函数的确定性十一、运行时集成十二、标量函数十三、表值函数十四

最笨的羊羊·2023-12-18 07:31

Flink系列之：监控反压

Flink系列之：监控反压一、反压二、Task性能指标三、示例四、反压状态FlinkWeb界面提供了一个选项卡来监控正在运行jobs的反压行为。

最笨的羊羊·2023-12-18 07:01

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态

Flink系列之：Flink1.8.0中的状态TTL：如何在ApacheFlink中自动清理应用程序状态一、状态的瞬态性质二、用于持续清理应用程序状态的状态TTL三、倒垃圾四、保持完整状态快照干净五、堆状态后端的增量清理六

最笨的羊羊·2023-12-18 07:25

大数据实时（4）-YDJ的FLink&Hologres的实时数仓实践

目录：1、场景与痛点2、技术选型3、应用最佳实践1）客户系统实践2）大屏实践3）实时数仓实践4、思考1、场景与痛点一家快速成长的公司，在短期内发展起来时，技术方面都会留下一些问题，比如从大单体到微服务的转型，从选型到落地，有时为了快速满足业务的需求，会采用一些临时方案满足客户要求，造成一些临时方案遗留症。比如：架构方面：多种数据源、多语言、多布式、异构系统、业务侵入严重，多种架构带来的复杂性；数据

天天沐沐·2023-12-18 03:39

Hudi 在 vivo 湖仓一体的落地实践

vivo互联网技术·2023-12-18 03:15

flink sql 知其所以然（十二）：流 join 很难嘛？？？（上）

1.序篇1.博主会阐明博主期望本文能给小伙伴们带来什么帮助，让小伙伴萌能直观明白博主的心思2.博主会以实际的应用场景和案例入手，不只是知识点的简单堆砌3.博主会把重要的知识点的原理进行剖析，让小伙伴萌做到深入浅出进入正文。下面即是文章目录，也对应到本文的结论，小伙伴可以先看结论快速了解本文能给你带来什么帮助：背景及应用场景介绍：join作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，f

程序员的隐秘角落·2023-12-17 22:25

Flink 编译

我的代码版本为release-1.9liyue@liyue-1:~/flink/flink-1.9$gitremote-voriginhttps://github.com/apache/flink.git

晚熟的程序员·2023-12-17 21:44

flink安装

什么是flinkflink是一个分布式，高性能，随时可用的以及准确的流处理计算框架，flink可以对无界数据（流处理）和有界数据（批处理）进行有状态计算（flink天生支持状态计算）的分布式，高性能的计算框架

千百元·2023-12-17 19:21

Flink Hudi 源码之COW表数据写入流程

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录数据写入流程接上一篇FlinkHudi源码之HoodieTableSink。

AlienPaul·2023-12-17 19:10

flink找不到隐式项

增加importorg.apache.flink.streaming.api.scala._即可

Thomas2143·2023-12-17 15:45

Flink系列之：Top-N

Flink系列之：Top-N一、TOP-N二、无排名输出优化一、TOP-N适用于流、批Top-N查询可以根据指定列排序后获得前N个最小或最大值。最小值和最大值集都被认为是Top-N查询。

最笨的羊羊·2023-12-17 15:09

Flink系列之：集合操作

Flink系列之：集合操作一、集合操作二、UNION三、INTERSECT四、EXCEPT五、IN六、EXISTS一、集合操作适用于流、批操作二、UNIONUNION和UNIONALL返回两个表中的数据

最笨的羊羊·2023-12-17 15:39

Flink系列之：ORDER BY语句和LIMIT语句

Flink系列之：ORDERBY语句和LIMIT语句一、ORDERBY语句二、LIMIT语句一、ORDERBY语句适用于流、批一体ORDERBY子句使结果行根据指定的表达式进行排序。

最笨的羊羊·2023-12-17 15:39

Flink系列之：Joins

Flink系列之：Joins一、Joins二、RegularJoins三、INNEREqui-JOIN四、OUTEREqui-JOIN五、IntervalJoins六、TemporalJoins七、事件时间

最笨的羊羊·2023-12-17 15:38

【DataSophon】大数据服务组件之Flink升级

是什么1.1DataSophon概述1.2架构概览1.3设计思想二、解压新旧组件安装包三、修改安装包中文件和目录四、重新生成安装包3.1重新打包3.2生成加密码3.3生成md5加密文件五、删除已装的组件包flink

阿龙先生啊·2023-12-17 15:37

流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！

zhisheng_blog·2023-12-17 14:32

物联网的架构

目录物联网的整体结构整体架构网关服务器结构数据采集网关的作用接收数据数据接收服务器的作用HTTP协议WebSocketMQTT数据格式处理数据处理服务器的作用流处理存储数据数据库的作用数据库的种类和特性设备控制发送服务器的作用使用

qq_37515394·2023-12-17 12:25

Flink-水位线和时间语义

Flink中的时间含义在实际应用中，事件时间语义会更为常见。一般情况下，业务日志数据中都会记录数据生成的时间戳（timestamp），它就可以作为事件时间的判断基础。

Stephen6Yang·2023-12-17 09:42

Flink窗口的概念和分类

窗口的概念Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。

Stephen6Yang·2023-12-17 09:12

Flink 简介

Flink简介#一、Flink简介#1.Flink发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。

lz_matlab·2023-12-17 09:09

Flink 状态管理

#Flink状态管理我们前面写的wordcount的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。

lz_matlab·2023-12-17 09:39

Flink 运行架构

Flink运行架构#Flink运行架构#1.Flink程序结构Flink程序的基本构建块是流和转换（请注意，Flink的DataSetAPI中使用的DataSet也是内部流）。

lz_matlab·2023-12-17 09:06

电商数仓项目----笔记三(用户行为数据同步)

在前面的笔记一和笔记二中，我们已经分别将用户行为数据和业务数据采集到kafka中了：在实时数仓中，由于Flink会从kafka中读取数据，也无需我们再同步数据了，因此同步数据是我们离线数仓的事。

zmx_messi·2023-12-17 08:43

Flink系列之：WITH clause

Flink系列之：WITHclause适用流、批提供了一种编写辅助语句以在较大查询中使用的方法。这些语句通常称为公共表表达式(CTE)，可以被视为定义仅针对一个查询而存在的临时视图。

最笨的羊羊·2023-12-17 06:06

Flink系列之：使用flink查询数据和插入数据

SELECT语句和VALUES语句是使用TableEnvironment的sqlQuery()方法指定的。该方法以表的形式返回SELECT语句（或VALUES语句）的结果。Table可以在后续的SQL和TableAPI查询中使用、转换为DataStream或写入TableSink。SQL和TableAPI查询可以无缝混合，并进行整体优化并转换为单个程序。为了在SQL查询中访问表，它必须在Table

最笨的羊羊·2023-12-17 06:36

Flink系列之：SQL提示

Flink系列之：SQL提示一、动态表选项二、语法三、例子四、查询提示五、句法六、加入提示七、播送八、随机散列九、随机合并十、嵌套循环十一、LOOKUP十二、进一步说明十三、故障排除十四、连接提示中的冲突案例十五