制胜Flink

Flink CDC实现一个Job同步多个表

直接使用FlinkCDCSQL的写法，一个Job只能同步一个表的数据，至于原因，在此不再赘述。
北风之神Sea·2023-08-10 18:47

Dinky实践系列之FlinkCDC整库实时入仓入湖

摘要：本文介绍了Dinky功能实践系列的FlinkCDC整库实时入仓入湖的分析。
jason275·2023-08-10 18:15

1、Apache Flink Contributor之路

目录【Connector】1、增加MQTTsource&sink【CLI】1、flinkhelp提示信息缺少run-application✅2、run-application提示信息缺少yarn-application
江城子v3·2023-08-10 18:09

5 Flink CDC同步

本文目标使用FLinkCDC实时同步源表和目标表。为了减少依赖，本文只用到了MySQL+FLinkCDC，源表和目标表都在MySQL内，FLink数据抽取和入库，没有经过Kafka。
hryyx·2023-08-10 18:38

Flink CDC整库同步（多表异构同步）

前言flinkcdc单表同步比较简单，按照官方案例基本都能成功，多表异构同步、整库同步这块一直想尝试一下，社区说使用API可以做到，但是一直没能白嫖到可行方案（代码），然后自己动手尝试了下，咳咳，无奈技术太菜
云侣·2023-08-10 18:02

【flinkCDC】Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘

执行flinkCDC同步时候报错了：2023-08-1014:50:48java.lang.RuntimeException:Oneormorefetchershaveencounteredexceptionatorg.apache.flink.connector.base.source.reader.fetcher.SplitFetcherManager.checkErrors
醇氧·2023-08-10 17:09

Flink-Window详细讲解

当谈到实时数据处理和流式计算，ApacheFlink是一个备受推崇的工具，它提供了丰富的功能来处理连续的数据流。
远方有海，小样不乖·2023-08-10 16:48

编程资料汇总

一、大数据大数据入门资料介绍：Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、Zookeeper、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping·2023-08-10 13:28

别迷信“细节决定成败”

不少人受种种“细节决定成败”等成功学的影响，片面地、偏执地关注一些细枝末节的东西，以为就是制胜法宝。其实不是，决定成
金陵卫·2023-08-10 13:39

Flink状态机制

你可能会想到使用Flink自带的聚合函数，其中该函数缓存所有的相同key的元素，在函数里做遍历累加求值的操作。这很正确。但有一个不好的点，需要缓存所
浮zai梦里·2023-08-10 12:35

Flink on YARN的第三种部署模式：Application Mode

前言长久以来，在YARN集群中部署Flink作业有两种模式，即SessionMode和Per-JobMode，而在Flink1.11版本中，又引入了第三种全新的模式：ApplicationMode。
LittleMagic·2023-08-10 11:25

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入
Apache Flink·2023-08-10 10:28

hive表小文件合并java程序

1.背景公司的hive表中的数据是通过flinksql程序，从kafka读取，然后写入hive的，为了数据能够被及时可读，我设置了flinksql程序的checkpoint时间为1分钟，因此，在hive
第一片心意·2023-08-10 10:28

flink on yarn指定第三方jar包

1.背景我们在将flink任务提交到yarn上是，通常的做法是将所有需要用到的jar包使用shade插件将其打包到一个大的jar包内，然后通过flinkrun命令来将其提交到yarn上。
第一片心意·2023-08-10 10:27

flink常见故障排除

本博客总结为B站尚硅谷大数据Flink2.0调优，Flink性能优化视频中常见故障排除的的笔记总结。
第一片心意·2023-08-10 10:27

Apache Paimon 学习笔记

1概述1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
第一片心意·2023-08-10 10:55

素材

精确谋划，出准制胜“撒手锏”。抓住思想政治建设这个“定盘星”。用好党内政治生活这个“净化器”。突出选人用人导向这个“指挥棒”。坚持补短板促提升这个“驱动力”。走好人才优先发展这个“先手棋”。
0南茜0·2023-08-10 10:14

Flink窗口分类简介及示例代码

SlidingWindows）3)会话窗口（SessionWindows）◆基于元素个数的（数据驱动）1)滚动窗口（TumblingWindows）2)滑动窗口（SlidingWindows）1.流式计算  Flink
阿年、嗯啊·2023-08-10 08:34

OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案

摘要：本文整理自OceanBase架构师周跃跃，在FlinkForwardAsia2022实时湖仓专场的分享。
Apache Flink·2023-08-10 07:01

5 小时玩转阿里云 Flink 实时湖仓，速速报名！

阿里云Flink专家与传智教育高级顾问联合出品，5小时玩转阿里云Flink实时湖仓，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的FlinkCDC，
Apache Flink·2023-08-10 07:31

回顾｜Streaming Lakehouse Meetup · 北京站（附问题解答 & PPT 下载）

live.photoplus.cn/live/pc/53265145/#/7月29日StreamingLakehouseMeetup邀请了来自阿里巴巴、字节跳动的七位技术专家，围绕CDC数据入湖实践、Flink
Apache Flink·2023-08-10 07:30

Flink-Window详细讲解-countWindow

一.countWindow和countWindowall区别1.countWindow：如果您使用countWindow(5)，这意味着您将数据流划分成多个大小为5的窗口。划分后的窗口如下：窗口1:[1,2,3,4,5]窗口2:[6,7,8,9,10]当每个窗口中的元素数量达到5时，将触发计算。这意味着窗口1中的计算会在处理5个元素后触发，窗口2中的计算会在处理10个元素后触发。2.countWi
远方有海，小样不乖·2023-08-10 07:27

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
Apache Flink·2023-08-10 07:26

大数据-玩转数据-Sink到Kafka

一、添加KafkaConnector依赖pom.xml中添加org.apache.flinkflink-connector-kafka_${scala.binary.version}${kafka.version
人猿宇宙·2023-08-10 07:54

30、Flink SQL之SQL 客户端（通过kafka和filesystem的例子介绍了配置文件使用-表、视图等）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-08-10 07:52

大数据开发：Flink如何设计容错

前面我们讲了Hadoop和spark的容错设计，今天的大数据开发学习分享，我们继续来讲Flink又是如何设计容错的？
成都加米谷大数据·2023-08-10 07:57

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？
产品经理自我修养·2023-08-10 06:00

Flink-间隔联结

间隔联结只支持事件时间间隔联结如果遇到迟到数据，则会关联不上，比如来了一个5秒的数据，它可以关联前2秒的数据，后3秒的数据，就是可以关联3秒到8秒的数据，然后又来了一个6秒的数据，可以关联4秒到9秒的数据，那么3秒的数据，就永远不会被关联到了，就可以删除了，然后又来了一个迟到数据，比如4秒的数据，可以关联2秒到7秒的数据，但是3秒的数据已经被删除了，所以就关联不上了。对于这种情况，解决办法就是，使
青云游子·2023-08-10 06:29

Snackoo：电商如何利用大数据制胜

行业背景零食正式出现在历史上，也不过百来年，但零食在世界各地的覆盖速率，却远远超过其他物品。根据美国劳工统计局的数据显示：在过去30年中，美国消费者食品开支增长表现最突出的品类是零食。美国人每天食用三次或更多次零食的比例从1970年代末的10％上升到2010年的56％。2016年美国零食市场有760亿美元，94%美国人每天吃零食，24%的21-38岁人群表示一天会吃4次及以上零食。零食市场极为可观
一梁_·2023-08-10 06:43

Flink 自定义源算子之 读取MySQL

1、功能说明：在Flink自定义源算子中封装jdbc来读取MySQL中的数据2、代码示例Flink版本说明：flink_1.13.0、scala_2.12自定义Source算子，这里我们继承RichParallelSourceFunction
广阔天地大有可为·2023-08-10 05:02

4.2、Flink任务怎样读取文件中的数据

1.文件的格式(txt、csv、二进制...)2.文件的分隔符(按\n分割)3.是否需要监控文件变化(一次读取、持续读取)基于以上规则，Flink为我们提供了非常灵活的读取文件的方法2、readT
广阔天地大有可为·2023-08-10 05:02

Flink

这里目录标题1.简介1.1.大数据计算引擎1.2、Flink特点1.3、流处理框架对比1.4、事件驱动型1.5、Flink技术栈1.6、Flink编程模型2、Flink搭建3、Flink运行架构3.1、
忄凝^·2023-08-10 05:02

10.大数据技术之Flink

文章目录1、Flink简介1.1Flink的引入1.2什么是Flink1.3Flink流处理特性1.4Flink基石1.5批处理与流处理2、Flink架构体系2.1Flink中的重要角⾊JobManager
数据带你飞·2023-08-10 05:02

4、如何在flink任务中读取外部数据源（DataStream API）

目录1.前言1.1加载数据源的方式1.2数据源的类型1.3Flink中的数据类型(TypeInformation)2.从集合中读取数据3.从文件中读取数据3.1readTextFile3.2readFile4
广阔天地大有可为·2023-08-10 05:31

3、flink计算任务在运行时可以选择哪些执行模式

目录1、什么是有界流、无界流2、什么是批执行模式、流执行模式3、怎样选择执行模式？4、怎样配置执行模式？方式1：提交计算任务时，通过参数来指定(推荐，这种方式更灵活)方式2：在Driver程序中配置执行模式(不推荐)5、这是一个完整的入门案例1、什么是有界流、无界流有界流：数据流定义了开始位置和结束位置，对一个计算任务而言，在计算前所有的输入数据都是已知的，不会有新的数据出现无界流：数据流定义了开
广阔天地大有可为·2023-08-10 05:31

Flink 源算子之 DataGeneratorSource & DataGenerator

目录1、功能说明2、API使用说明3、代码示例1、功能说明从Flink1.1开始提供了DataGen连接器，它提供了Source类的实现（可并行的源算子），用来生成测试数据，在本地开发或者无法访问外部系统
广阔天地大有可为·2023-08-10 05:31

Flink流处理

Flink流处理1.输入数据集DataSourceFlink中可以使用StreamExecutionEnvironment.getExecutionEnvironment创建流处理的执行环境。
胜利的曙光·2023-08-10 05:29

flink-sql所有数据类型-1.16

1.版本说明本文档内容基于flink-1.16.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。
第一片心意·2023-08-10 05:59

flink-sql所有数据类型-1.15

1.版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。
第一片心意·2023-08-10 05:58

Flink中状态编程 完整使用 (第九章)

Flink中状态编程完整使用一、Flink中的状态1、有状态算子2、状态的管理3、状态的分类1.托管状态（ManagedState）和原始状态（RawState）2.算子状态（OperatorState
小坏讲微服务·2023-08-10 05:56

Flink 中的时间和窗口

时间和窗口一、时间语义1.Flink中的时间语义1.1处理时间（ProcessingTime）1.2事件时间（EventTime）1.3两种时间语义的对比二、水位线（Watermark）1.什么是水位线
落花雨时·2023-08-10 05:26

Flink 容错机制

在Flink中，有一套完整的容错机制（faulttolerance）来保证故障后的恢复，其中最重要的
落花雨时·2023-08-10 05:26

大屏实时计算深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)

大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink
Ybb_studyRecord·2023-08-10 05:25

【大数据】Flink 详解（二）：核心篇 Ⅱ

Flink详解（二）：核心篇Ⅱ22、刚才提到State，那你简单说一下什么是State。在Flink中，状态被称作state，是用来保存中间的计算结果或者缓存数据。
G皮T·2023-08-10 05:54

4.1、Flink任务怎样读取集合中的数据

1、API说明非并行数据源：deffromElements[T:TypeInformation](data:T*):DataStream[T]deffromCollection[T:TypeInformation](data:Seq[T]):DataStream[T]deffromCollection[T:TypeInformation](data:Iterator[T]):DataStream[
广阔天地大有可为·2023-08-10 05:54

Flink sql 创建 视图-view

1.场景是通过flinksql对表的操作，通过添加多个算子对结果的操作如图：例子不是很恰当主要是我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中，在通过一个一个函数将结果放入到下一个视图中，然后在通过视图
wudl·2023-08-10 00:41

Flink多流处理之connect拼接流

Flink中的拼接流connect的使用其实非常简单,就是leftStream.connect(rightStream)的方式,但是有一点我们需要清楚,使用connect后并不是将两个流给串联起来了,而是将左流和右流建立一个联系
飞天小老头·2023-08-09 23:45

flink事件水位线Watermark样例

{JSON,JSONObject}importorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.streaming.api.TimeCharacteristicimportorg
BigData-0·2023-08-09 22:36

flink 1.11定义watermark 水位线 水印 新方法 替代过时assignTimestampsAndWatermarks方法

mapStream.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3)).withTimestampAssigner(newSerializableTimestampAssigner[(Long,student)]{overridedefextractTimes
BigData-0·2023-08-09 22:06

flink sql连接mysql

[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException:Couldnotfindanyfactoryforidentifier
BigData-0·2023-08-09 22:36
上一页 95 96 97 98 99 100 101 102 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他