大数据计算-Flink

Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例

Flink系列之：深入理解ttl和checkpoint，FlinkSQL应用ttl案例一、深入理解FlinkTTL二、FlinkSQL设置TTL三、Flink设置TTL四、深入理解checkpoint五
最笨的羊羊·2023-12-22 21:34

Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系

一、什么是状态无状态计算的例子：例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。有状态计算的例子：访问量的统计，我们都知道Nginx的访问日志一个请求一条日志，基于此我们就可以统计访问量。如下，/api/a这个url第一此访问的时候，返回的结果就是count1，但当第二次访问的时候，返回的结果变成了2。
程序猿进阶·2023-12-22 14:10

Flink系列之：使用Flink Mysql CDC基于Flink DataStream同步mysql数据到StarRocks数据库

Flink系列之：使用FlinkMysqlCDC基于FlinkDataStream同步mysql数据到StarRocks数据库一、相关技术博客二、pom.xml三、mysql表结构四、StarRocks
最笨的羊羊·2023-12-22 13:03

docker-compose观察实时日志_基于 Flink SQL CDC 的实时数据同步方案

整理：陈政羽(Flink社区志愿者)Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
weixin_39987847·2023-12-22 13:02

基于 Flink SQL CDC 的实时数据同步方案 转载

整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
橘子汽水不加冰·2023-12-22 13:02

5分钟搞定 关系型数据库 到 Flink 数据同步

简述实时数据处理领域中，使用Flink方式，除了从日志服务订阅埋点数据外，总离不开从关系型数据库订阅并处理相关业务数据，这时就需要监测并捕获数据库增量数据，将变更按发生的顺序写入到消息中间件以供计算（或消费
ClouGence·2023-12-22 13:31

docker-compose观察实时日志_Flink方案 | 基于 Flink SQL CDC 的实时数据同步方案

整理：陈政羽(Flink社区志愿者)Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
weixin_39672979·2023-12-22 13:31

Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统

Debezium系列之：FlinkSQL消费Debezium数据格式，同步数据到下游存储系统一、Debezium二、依赖三、使用DebeziumFormat四、可用元数据五、Format参数六、重复的变更事件七
最笨的羊羊·2023-12-22 12:00

kerberos认证Flink的kafka connector和kafka client配置

一、flink-connector-kakfa1.kafka配置文件kafkajaas必须配置，如果缺少，则报一下错误。
lisacumt·2023-12-22 11:23

Apache Paimon核心原理和Flink应用进阶

这是一篇较为完整的介绍ApachePaimon和Flink进阶应用的文章，你最好收藏一波。
王知无(import_bigdata)·2023-12-22 11:57

Flink + Paimon 数据 CDC 入湖最佳实践

前言ApachePaimon最典型的场景是解决了CDC(ChangeDataCapture)数据的入湖，看完这篇文章，你可以了解到：为什么从CDC入Hive迁移到Paimon？CDC入Paimon怎么样做到成本最低？Paimon对比Hudi有什么性能优势？Paimon从CDC入湖场景出发，希望提供给你简单、低成本、低延时的一键入湖。本文基于Paimon0.6，0.6正在发布中，可提前在此处下载：h
王知无(import_bigdata)·2023-12-22 11:26

FlinkCDC发展历程和简历中项目描述的思路

前两天，FlinkCDC3.0版本发布。FlinkCDC的定位也发生了变化，从捕获数据变更的Flink数据源正式迈向为以Flink为基础的端到端流式ELT数据集成框架。这些不是我们今天的重点。
王知无(import_bigdata)·2023-12-22 10:23

flink使用sql-client-defaults.yml无效

希望在flinksql脚本启动时自动选择catalog，减少麻烦。
applebomb·2023-12-22 09:56

【湖仓一体尝试】MYSQL和HIVE数据联合查询

先来个完工环境照：mysql+hadoop+hive+flink+iceberg+trino得益于IBMOPENJ9的优化，完全启动后的内存占用：1）执行联合查询后的2）其中trino由于必须使用ORACLE
applebomb·2023-12-22 08:24

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse

【Flink-Kafka-To-ClickHouse】使用Flink实现Kafka数据写入ClickHouse1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2
bmyyyyyy·2023-12-22 07:03

Flink中的事件语义和watermark机制

Flink中的事件语义和watermark机制【[白话解析]Flink的Watermark机制】：https://www.cnblogs.com/rossiXYZ/p/12286407.html一、Flink
Anthons·2023-12-22 06:03

Flink系列之：Savepoints

Flink系列之：Savepoints一、Savepoints二、分配算子ID三、Savepoint状态四、算子五、触发Savepoint六、Savepoint格式七、触发Savepoint八、使用YARN
最笨的羊羊·2023-12-22 06:56

Flink系列之：Checkpoints 与 Savepoints

Flink系列之：Checkpoints与Savepoints一、概述二、功能和限制一、概述从概念上讲，Flink的savepoints与checkpoints的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异
最笨的羊羊·2023-12-22 06:56

Flink系列之：Checkpoints

Flink系列之：Checkpoints一、概述二、保留Checkpoint三、目录结构四、通过配置文件全局配置五、创建statebackend对单个作业进行配置六、从保留的checkpoint中恢复状态一
最笨的羊羊·2023-12-22 06:26

Flink系列之：背压下的检查点

Flink系列之：背压下的检查点一、Checkpointingunderbackpressure二、缓冲区Debloating三、非对齐Checkpoints四、对齐Checkpoint的超时五、限制六
最笨的羊羊·2023-12-22 06:54

Flink 的一些概念备忘

Flink:三种窗口：1，滚动，就是5分钟，再5分钟；2，滑动窗口，固定一个长度，然后slide，会有很多overlap，比如5分钟长度，1分钟滑动。
NazgulSun·2023-12-21 21:42

Flink电商实时数仓（三）

DIM层代码流程图维度层的重点和难点在于实时电商数仓需要的维度信息一般是动态的变化的，并且由于实时数仓一般需要一直运行，无法使用常规的配置文件重启加载方式来修改需要读取的ODS层数据，因此需要通过Flink-cdc
十七✧ᐦ̤·2023-12-21 18:48

2023大数据应用开发赛题02套

目录2023年全国职业院校技能大赛赛题第02套任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务
长风有续X·2023-12-21 17:54

flink学习day04：对Event Time 与 Watermark的理解

☑带大家零基础入门flink：▶flink学习day01：Flink基础入门（含案例）▶flink学习day02:：datasource、transforma和sink▶flink学习day03：flinkdatastream
黑马程序员官方·2023-12-21 17:53

2023大数据应用开发赛题03套

离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算（20分）子任务一：实时数据采集子任务二：使用Flink
长风有续X·2023-12-21 17:52

2022-06-23-Flink-51(三. SQL手册)

1.函数类型函数|ApacheFlinkFlink中的函数有两个划分标准一个划分标准是：系统（内置）函数和Catalog函数。系统函数没有名称空间，只能通过其名称来进行引用。
冰菓_lam·2023-12-21 16:46

从浙江用阿里云预测拥堵看政府数据开放

浙江省对交通拥堵的成功预测打破了这一僵局：通过将高速历史数据、实时数据与路网状况结合，基于阿里云大数据计算能力，预测出未来1小时内的路况。
weixin_33716557·2023-12-21 14:02

Flink Checkpoint 和 Large State 调优

Overview为了使Flink应用程序能够可靠地大规模运行，必须满足两个条件：应用程序需要能够可靠地获取Checkpoint在发生故障后，需要足够的资源追上（catchup）输入数据流监控State和
Alex90·2023-12-21 13:54

基于 Flink 的典型 ETL 场景实现方案

目录1.实时数仓的相关概述1.1实时数仓产生背景1.2实时数仓架构1.3传统数仓vs实时数仓2.基于Flink实现典型的ETL场景2.1维表Join■2.1.1预加载维表方案1：方案2：■2.1.2热存储关联
话数Science·2023-12-21 11:59

Hadoop/Spark 太重，esProc SPL 很轻

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。
码农翻身·2023-12-21 10:07

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

一文学会 Apache Zeppelin

github.com/apache/zeppelinZeppelinJIRA：https://issues.apache.org/jira/projects/ZEPPELIN/summaryZeppelin文档FlinkonZeppelin
跟着大数据和AI去旅行·2023-12-21 08:37

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓
阿里云大数据AI技术·2023-12-21 08:00

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink 窗口（1）—— 基础概念

这就相当于将无界流的聚合转化为了有界数据集的聚合Flink“存储桶”在Flink中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理窗口处理过程
THE WHY·2023-12-21 07:48

FlinkSQL

动态表是Flink在TableAPI和SQL中的核心概念，它为流数据处理提供了表和SQL支持。
Stephen6Yang·2023-12-21 07:40

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

Flink（十）【处理函数】

今天学习Flink处理函数，学完这一块就剩状态管理、容错机制和FlinkSQL了，坚持坚持。学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink学习1——运行时架构(standalone模式)

本篇主要讲述FlinkStandalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。
iFence·2023-12-21 06:07

Flink join（流流）详解（一）

本文基于flink1.11进行测试。前言这里所说的join是两个或者多个流的join，涉及流批join的内容或者批批join会另写一篇文章专门说。
iFence·2023-12-21 06:37

Flink process function使用详解

前言processfunction是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。
iFence·2023-12-21 06:37

Flink SQL流表与维表join实践

想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。流表源源不断的来数据，然后去内存中查询字典将流表的数据更新然后插入到MySQL数据库中。
iFence·2023-12-21 06:37

Flink 流表与维表join（流批join）——使用异步IO（async io）实现

前言之前的文章中讲过了Flink流流join也讲过了翻车版本的流批join。为什么翻车了，那篇文章也说了。如果事实表和维度表进行join，Flink会认为这是一个批处理程序。也就是说程序会自己暂停。
iFence·2023-12-21 06:37

flink 1.11 广播状态（Broadcast State）的使用

flink的join算子也是基于广播状态来实现的。需求这里使用flink逛网提供的需求：一个流中包含的事件Item，Item中包含两个属性，一个为Color，一个为Shape。
iFence·2023-12-21 06:07

Flink累加器、计数器的使用

Flink累加器的结果只能在作业结束以后才能得到。这就意味着，如果是一个一直不间断执行的流处理程序是无法得到累加器结果的。只有批处理成功，也就是会结束的flink程序才能得到累加器结果。
iFence·2023-12-21 06:07

【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically

FlinkJavaAPI不像ScalaAPI可以随便写lambda表达式，写完以后需要使用returns方法显式指定返回值类型，否则会报下面错误，大概意思就是说Java的lambda表达式不能提供足够的类型信息
iFence·2023-12-21 06:07

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

前言flink1.11中有了新版的指定watermark和watermarkstrategyAPI。
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081
iFence·2023-12-21 06:33
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他