Flink源码学习

Flink CDC

1、FlinkCDC的介绍：是一种技术，可以帮助我们实时的捕获数据库中数据的变化，并将这些变化的数据以流的形式传输到其他的系统中进行处理和存储。
新手小农·2023-11-14 19:58

实时数仓-Flink使用总结

阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅·2023-11-14 18:42

33、Flink 的Table API 和 SQL 中的时区

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-14 10:15

Flink SQL --Flink 整合 hive

1、整合#1、将依赖包上传到flink的lib目录下flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar#2、重启flink集群yarnapplication-listyarnapplication-killapplication
新手小农·2023-11-14 10:41

Flink SQL 练习

--1、实时统计道路拥堵情况，--统计最近15分钟，每隔1分钟统计一次，--统计车流量和平均车速--将统计结果保存到数据库中--1、创建kafkasource表CREATETABLEcars(card_idString,--车牌号road_idString,--道路编号city_idString,--城市编号car_idString,--卡口编号com_idString,--摄像头编号fxStri
新手小农·2023-11-14 10:41

Flink SQL -- CheckPoint

1、开启CheckPointcheckpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失#修改flink配置文件vimflink-conf.yaml#checkppint
新手小农·2023-11-14 10:11

Flink SQL -- 反压

1、测试反压：1、反压：指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压，下游导致上游的Task反压。2、测试反压：使用的是DataGenCREATETABLEwords(wordSTRING)WITH('connector'='datagen','rows-per-second'='100000',--每秒随机生成的数据量'fields.word.length'='4');CREAT
新手小农·2023-11-14 10:36

快速灵敏的Flink2

flink基础知识TumblingEventTimeWindows滚动开窗packageorg.apache.flink.streaming.api.windowing.assigners;importorg.apache.flink.annotation.PublicEvolving
罗刹海是市式市世视士·2023-11-14 08:10

Flink Table和SQL动态表的理解(更新流和追加流)、动态表的种类

目录1.动态表1.1更新流(upsert、retract)的连续查询1.2追加流(append-only)的连续查询2.FlinkTable中动态表的种类注意：如果Timestamp属性列被用于计算，则下游的
Bulut0907·2023-11-14 05:42

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化

FlinkTable&SQLStreamTableSink有三类接口:AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink
wppwpp1·2023-11-14 05:42

Flink-SQL源码解读（一）window算子的创建的源码分析

本文大体框架参考https://blog.csdn.net/LS_ice/article/details/90711744flink版本：1.9Intro作为无限流的核心机制，流可以分割为大小有限的窗口
小凯Alex·2023-11-14 05:10

Flink必知必会系列之回撤流(RetractStream)源码解读

1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

Flink Table API和Flink SQL处理Row类型字段案例

从数据源获取Row类型数据流并使用FlinkTableAPI和FlinkSQL进行处理。
猫猫爱吃小鱼粮·2023-11-14 05:08

Flink SQL处理回撤流（Retract Stream）案例

FlinkSQL支持处理回撤流（RetractStream），下面是一个使用FlinkSQL消费回撤流的案例：假设有一个数据流，包含用户的姓名和年龄，希望计算每个姓名的年龄总和。
猫猫爱吃小鱼粮·2023-11-14 04:02

Flink1.12 使用WatermarkStrategy生成时间戳

Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks
柏舟飞流·2023-11-14 01:14

使用Flink读取HBase数据

使用FlinkDataStreamAPI进行相关操作，依赖包如下：org.apache.hbasehbase-client${hbase.version}org.apache.hbasehbase-common
柏舟飞流·2023-11-14 01:14

Flink DataStream API编程

消费Kafka主题数据importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.serialization.SimpleStringSchema
柏舟飞流·2023-11-14 01:14

flink1.18.0 sql-client报错

报错FlinkSQL>select*fromt1;[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
Thomas2143·2023-11-14 00:34

Google Filament 源码学习（三）：Material System (二)

目录FilamentMaterialsGuideIntroduction相关术语与概念MaterialModelsLitModelBaseColorMetallicRoughnessReflectanceSheencolorSheenroughnessClearcoatAnisotropyAnisotropydirectionAmbientocclusionNormalBentnormalClea
七Du°C糊涂·2023-11-13 23:13

flink的键值分区状态自动过期ttl配置

背景flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态，但是这种方式容易出错而且代码也不优雅，使用flink提供的状态ttl的方式可以解决这个问题flink
lixia0417mul2·2023-11-13 22:07

flink对状态ttl进行单元测试

背景在处理键值分区状态时，使用ttl设置过期时间是我们经常使用的，但是任何代码的修改都需要首先进行单元测试，本文就使用单元测试来验证一下状态ttl的设置是否正确测试状态ttl超时的单元测试首先看一下处理函数：//处理函数publicclassMyStateProcessFunctionextendsKeyedProcessFunction{//键值分区状态ValueStatepreviousInp
lixia0417mul2·2023-11-13 22:36

flink的副输出sideoutput单元测试

背景处理函数中处理输出主输出的数据流数据外,也可以输出多个其他的副输出的数据流数据，当我们的处理函数有副输出时，我们需要测试他们功能的正确性，本文就提供一个测试flink副输出单元测试的例子测试flink
lixia0417mul2·2023-11-13 22:34

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Flink之Java Table API的使用

JavaTableAPI的使用使用JavaTableAPI开发添加依赖创建表环境创建表查询表输出表使用示例表和流的转换流DataStream转换成表Table表Table转换成流DataStream示例数据类型自定义函数UDF标量函数表函数聚合函数表聚合函数API方法汇总基本方法列操作聚合操作Joins合并操作排序GroupWindowsOverWindows使用JavaTableAPI开发添加依
CodeDevMaster·2023-11-13 20:01

Flink自定义aggregate聚合函数的步骤

第一步：将dataStream转换城windowedStream//kafka中的数据示例452437,3255022,5099474,pv,1511658000813974,1332724,2520771,buy,1511658000524395,3887779,2366905,pv,1511658000470572,3760258,1299190,pv,1511658001543789,311
Vincer_DB·2023-11-13 16:04

Flink从入门到精通之-12Flink CEP

Flink从入门到精通之-12FlinkCEP在Flink的学习过程中，从基本原理和核心层DataStreamAPI到底层的处理函数、再到应用层的TableAPI和SQL，我们已经掌握了Flink编程的各种手段
潘小磊·2023-11-13 14:31

Flink从入门到精通之-11Table API 和 SQL

Flink从入门到精通之-11TableAPI和SQL如图11-1所示，在Flink提供的多层级API中，核心是DataStreamAPI，这是我们开发流处理应用的基本途径；底层则是所谓的处理函数（processfunction
潘小磊·2023-11-13 14:01

Apache Doris 系列： 基础篇-Flink DataStream 读写Doris

简介本文介绍Flink如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector
修破立生·2023-11-13 12:42

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

Flink之处理函数 （ProcessFunction）

之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream进行转换的；所以可以统称为DataStreamAPI，这也是Flink编程的核心。
四维大脑·2023-11-13 11:04

Flink学习（3）——Window（窗口机制）API

1.Window的概念无论是无界的数据流还是有界的，Flink都可以做到接收一个数据就立即处理一个数据，最终我们可以得到整个数据流的所有数据的统计结果。
常识与偏见·2023-11-13 11:02

Flink

1.Flink简介1.1初识FlinkFlink项目的理念是：“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源的有状态的流处理框架”。
不吃香菜lw·2023-11-13 11:31

【Spring Boot 源码学习】初识 SpringApplication

SpringBoot源码学习系列初识SpringApplication引言往期内容主要内容1.SpringBoot应用程序的启动2.SpringApplication的实例化2.1构造方法参数2.2Web
Huazie·2023-11-13 09:12

Flink CDC 2.0及其他数据同步工具对比

CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。基于查询的CDC：离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；无法捕获删除事件，从而无法保证数据一致性；无法保障实时性，基于离线调度存在天然的延迟。基于日志的CDC：实时消费日志，流处理。例如MySQL的binlog日志完整记录了数据库中的变
贾斯汀玛尔斯·2023-11-13 07:54

【详细学习SpringBoot自动装配原理分析之核心流程初解析-1】

后续更多的文章内容可以点击查看】【1.SpringBoot初识之Spring注解发展流程以及常用的Spring和SpringBoot注解】【2.SpringBoot自动装配之SPI机制&SPI案例实操学习&SPI机制核心源码学习
硕风和炜·2023-11-13 06:04

1.安装flink-1.12.2

FLINKonYARN模式解压安装包：tar-zvxfflink-1.12.2-bin-scala_2.11.tgz/opt/修改yarn配置，设置applicationmaster重启时尝试的最大次数
数据湖填坑·2023-11-12 22:02

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

FlinkCEP - Flink的复杂事件处理

单个模式量词条件组合模式循环模式中的连续性模式操作consecutive()模式组匹配后跳过策略检测模式从模式中选取处理超时的部分匹配便捷的API(旧api迁移到新api)CEP库中的时间按照事件时间处理迟到事件时间上下文可选的参数设置例子FlinkCEP
京河小蚁·2023-11-12 22:29

flink-connector-mysql-cdc编译——flink-1.15.2版本

xflink-cdc编译——flink-1.15.2版本Flink目前最新版本已经更新到1.15.2版本，flink-cdc的release版本目前最新版本是2.2.1。
一棵枣树丶·2023-11-12 22:58

flink-cdc-oracle

flinkcdc抽取oracle数据首先需要在数据库方面对数据进行设置，参考网址如下https://blog.csdn.net/weixin_46580067/article/details/124985447
技术大白€·2023-11-12 22:28

【Flink Rest-ful API 】

Flink有了一些查询job状态指标的API,这些监控APIisaREST-fulAPI接受HTTP请求并返回JSONdata；这些监控API以jobManager中webserver为基础，默认其监听端口为
奔跑的前浪·2023-11-12 22:55

flink实战-- 生产环境flink程序注意事项

简介正常情况下Flink社区已尝试为每个配置提供合理的默认值，但是特殊应用场景需要我们设置具体配置项确保我们线上程序可以高性能的运行，重启等。
阿华田512·2023-11-12 22:24

【入门Flink】- 10基于时间的双流联合（join）

为了更方便地实现基于时间的合流操作，Flink的DataStremaAPI提供了内置的join算子。
不进大厂不改名二号·2023-11-12 21:25

【Seata源码学习 】 扫描@GlobalTransaction注解 篇一

1.SeataAutoConfiguration自动配置类的加载基于SpringBoot的starter机制，在应用上下文启动时，会加载SeataAutoConfiguration自动配置类#AutoConfigureorg.springframework.boot.autoconfigure.EnableAutoConfiguration=io.seata.spring.boot.autocon
秋日的晚霞·2023-11-12 21:15

Hive的表操作2

Hive系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-12 16:00

Flink SQL 表值聚合函数（Table Aggregate Function）详解

使用场景：表值聚合函数即UDTAF，这个函数⽬前只能在TableAPI中使⽤，不能在SQLAPI中使⽤。函数功能：在SQL表达式中，如果想对数据先分组再进⾏聚合取值：selectmax(xxx)fromsource_tablegroupbykey1,key2上⾯SQL的max语义产出只有⼀条最终结果，如果想取聚合结果最⼤的n条数据，并且n条数据，每⼀条都要输出⼀次结果数据，上⾯的SQL就没有办法实
猫猫爱吃小鱼粮·2023-11-12 13:34

FlinkSQL聚合函数（Aggregate Function）详解

使用场景：聚合函数即UDAF，常⽤于进多条数据，出⼀条数据的场景。上图展示了⼀个聚合函数的例⼦以及聚合函数包含的重要⽅法。案例场景：关于饮料的表，有三个字段，分别是id、name、price，表⾥有5⾏数据，找到所有饮料⾥最贵的饮料的价格，即执⾏⼀个max()聚合拿到结果，遍历所有5⾏数据，最终结果就只有⼀个数值。开发流程：实现AggregateFunction接⼝，其中所有的⽅法必须是publi
猫猫爱吃小鱼粮·2023-11-12 13:00

【基础】Flink -- DataStream API

Flink--DataStreamAPI执行环境ExecutionEnvironment创建执行环境设置执行模式触发程序执行源算子Source从集合中读取数据从文件读取数据从Socket读取数据自定义数据源转换算子
情绪大瓜皮丶·2023-11-12 11:33

Flink API - 基本转换算子

文章目录基本转换算子-MapFlink程序与数据流创建流执行环境读取输入流Source转换算子Transformation输出结果Sink执行基本转换算子-Filter基本转换算子-FlatMap类型基本转换算子会针对流中的每一个单独的事件做处理
wenvlove·2023-11-12 11:02

（十）Flink Datastream API 编程指南 算子-5 外部数据访问的异步I/O

文章目录需要异步I/O操作前提条件AsyncI/OAPI超时处理结果的顺序EventTime容错担保机制ImplementationTips说明本页面解释了使用Flink的API与外部数据存储进行异步I
京河小蚁·2023-11-12 11:31
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他