Flink源码学习

【Flink】Flink任务缺失Jobmanager日志的问题排查

Flink任务缺失Jobmanager日志的问题排查问题不是大问题，不是什么代码级别的高深问题，也没有影响任务运行，纯粹因为人员粗心导致，记录一下排查的过程。
Meepoljd·2023-11-16 08:44

【入门Flink】- 11Flink实现动态TopN

基本处理函数（ProcessFunction）stream.process(newMyProcessFunction())方法需要传入一个ProcessFunction作为参数，ProcessFunction不是接口，而是一个抽象类，继承了AbstractRichFunction，所有的处理函数，都是富函数（RichFunction），拥有富函数所有功能。//泛型：//Typeparameters
不进大厂不改名二号·2023-11-16 05:37

Flink和Kafka连接时的精确一次保证

Flink写入Kafka两阶段提交端到端的exactly-once（精准一次）kafka->Flink->kafka1）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset
不进大厂不改名二号·2023-11-16 05:29

Flume（一）【Flume 概述】

前言今天实在不知道学点什么好了，早上学了3个多小时的Flink，整天只学一门技术是很容易丧失兴趣的。那就学点新的东西Flume，虽然Kafka还没学完，但是大数据生态圈的基础组件也基本就剩这倆了。
让线程再跑一会·2023-11-16 01:46

【 OpenGauss源码学习 —— 列存储（CStore）（六）】

列存储（CStore）（六）概述CStore::GetCUDataFromRemote函数CStore::CheckConsistenceOfCUDescCtl函数CStore::CheckConsistenceOfCUDesc函数CStore::CheckConsistenceOfCUData函数额外补充声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵
J.Kuchiki·2023-11-15 22:09

【 OpenGauss源码学习 —— 列存储（CStore）（五）】

列存储（CStore）（五）概述CStore::CStoreScan函数CStore::CStoreMinMaxScan函数CStore::LoadCUDescIfNeed函数CStore::NeedLoadCUDesc函数CStore::RoughCheckIfNeed函数CStore::RoughCheck函数CStore::RefreshCursor函数CStore::InitRoughCh
J.Kuchiki·2023-11-15 22:39

【 OpenGauss源码学习 —— 列存储（CUStorage）】

列存储（CUStorage）（一）概述CUStorage::SaveCU函数CUStorage::GetFileName函数CUStorage::OverwriteCU函数CUStorage::OverwriteCU函数CUStorage::RemoteLoadCU函数CUStorage::Load函数CUStorage::WSLoad函数CUStorage::TruncateDataFile函数
J.Kuchiki·2023-11-15 22:34

2022年最新版 | Flink经典线上问题小盘点

2020年和2021年分别写了很多篇类似的文章，这篇文章是关于Flink生产环境中遇到的各种问题的汇总。这个版本在Flink新版本的基础上梳理了一个更加完整的版本。
王知无(import_bigdata)·2023-11-15 19:36

Flink SQL CDC 上线！我们总结了 13 条生产实践经验

摘要：7月，Flink1.11新版发布，在生态及易用性上有大幅提升，其中Table&SQL开始支持ChangeDataCapture（CDC）。
zhisheng_blog·2023-11-15 19:35

实时数据平台-Mysql到Mysql(Flink CDC和Debezium)

这里我们经常用到的组件是FlinkCDC，从下图我们看到对于FlinkCDC和Debezium的几个功能项都是支持的，区别为FlinkCDC可以做分布式，Debezium只能做单机。
diu_lei·2023-11-15 19:57

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
'煎饼侠·2023-11-15 19:56

Flink-CDC 1.X 源码分享

1.FlinkCDC介绍1.1定义：CDC是变更数据捕获(ChangeDataCapture)技术的缩写，它可以将源数据库(Source)的增量变动记录，同步到一个或多个数据目的(Sink)。
'煎饼侠·2023-11-15 19:56

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。比如，对于固定报表业务，根据已知的查询语句可以预先将事实表与维度表打平成宽表，充分利用ClickHouse强大的单表查询能力；对于高并发的查询请求，
大数据技术架构·2023-11-15 16:27

数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

产品概述ApacheSeaTunnel是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到Apache基金会的数据集成顶级项目。SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
SeaTunnel·2023-11-15 16:20

从0开始学大数据15-流式计算的代表：Storm、Flink、SparkStreaming

15|流式计算的代表：Storm、Flink、SparkStreaming我前面介绍的大数据技术主要是处理、计算存储介质上的大规模数据，这类计算也叫大数据批处理计算。
源码头·2023-11-15 15:18

Elasticsearch-IK分词器源码学习01

Elasticsearch-IK分词器源码学习01一、说明1、源码参考2、IDE3、Demo二、整体流程1、构建字典1.1、DictSegment类基本介绍1.2、DictSegment类lookforSegment
osnot·2023-11-15 15:44

Flink中的时间语义 和WaterMark

1.Flink时间语义Flink定义了三类时间处理时间（ProcessTime）数据进入Flink被处理的系统时间（Operator处理数据的系统时间）事件时间（EventTime）数据在数据源产生的时间
shenjianyu_rex·2023-11-15 14:59

【Flink Scala】时间语义和Watermark

时间语义和Watermark时间语义Flink中的时间语义EventTime的引入Waterkmark（水位线）基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在
飝鱻.·2023-11-15 14:56

Flink 支持三种时间语义

在ApacheFlink中，时间在流处理中是一个重要的概念，而时间语义则用于定义事件发生的时间。
贾斯汀玛尔斯·2023-11-15 14:53

Flink教程(4) DataStream 常用算子（上）

DataStream常用算子（上）一、前言二、Map2.1JavaLambda的Map2.2Flink的Map三、FlatMap3.1JavaLambda的FlatMap3.2Flink的FlatMap
瑟王·2023-11-15 12:33

Flink DataStream常用算子

Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。
Mr.梧桐·2023-11-15 12:32

【Flink】基本转换算子使用之fliter、flatMap，键控流转换算子和分布式转换算子

文章目录一FlinkDataStreamAPI1基本转换算子的使用（1）flitera使用匿名类实现b使用外部类函数实现b使用flatMap实现（2）flatMapa使用匿名类实现b使用匿名函数实现2键控流转换算子
OneTenTwo76·2023-11-15 12:01

（十）Flink Datastream API 编程指南 算子-1 （转换算子、物理分区、任务链、资源组 、算子和作业）等基本介绍

本节将描述基本的转换、应用这些转换后的有效物理分区以及对Flink的operatorchain（链）的深入了解。
京河小蚁·2023-11-15 12:29

【Flink】DataStream API—执行环境、源算子、转换算子、输出算子

2、源算子种类3、Flink支持的数据类型三、转换算子（Transformation）1、基本转换算子2、聚合算子（Aggregation）3、匿名函数（Lambda）4、富函数类（RichFunctionClasses
不断学习的克里斯·2023-11-15 11:26

Flink之DataStream的常用转换算子

1、Map[DataStream->DataStream]（1）说明调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集2、FlatMap[DataStream->DataStream]（1）说明该算子主要
Relian哈哈·2023-11-15 11:56

[Flink]Flink常用的DataStream转换算子

目录3.1Map3.2FlatMap3.3Filter3.4KeyBy3.5Reduce3.6Fold3.7Aggregations3.8Window3.9WindowAll4.0Aggregationsonwindows4.1Union4.2Split4.3select3.1MapDataStream→DataStream一对一转换,即输入的记录和输出的记录相等。importorg.apache
just-do-it-zzj·2023-11-15 11:54

flink常用转换算子总结

表达式的写法，通过各种lamda表达式可以简化代码的编写，让代码看起来更加简洁，比如大家熟知的filter，map等方法，前者可以对集合中的数据进行过滤，后者可以很方便的对对象数据进行字段的规整转换等操作在flink
逆风飞翔的小叔·2023-11-15 11:24

Flink（五）【DataStream 转换算子（上）】

前言这节注定是一个大的章节，我预估一下得两三天，涉及到的一些东西不懂就重新学，比如Lambda表达式，我只知道Scala中很方便，但在Java中有点发怵了；一个接口能不能new来构造对象?答案是可以的，匿名内部类嘛。但这些好多都是不用不知道的事情。不得不感慨还是学习爽啊，不懂就练，再不懂就问；辛苦自己倒也无妨，可是感情就不一样了，不懂就问？等到问的时候人家就要和你saygoodbye了。1、基本转
让线程再跑一会·2023-11-15 11:50

java.lang.ArithmeticException: Division undefined

一、问题在flinksql中有一个除法计算，运行在内存之后报了如下的错误。
爬台阶的蚂蚁·2023-11-15 10:07

Flink的DataStream API的使用------执行环境（Execution Environment）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、执行环境（ExecutionEnvironment）1、创建执行环境1.1、getExecutionEnvironment1.2
BrotherXu·2023-11-15 08:52

Flink TableAPI和SQL（五）基本API（四）流和表之间的转换

文章目录将表（Table）转换成流（DataStream）将流（DataStream）转换成表（Table）支持的数据类型全代码展示：在Flink中我们可以将Table再转换成DataStream，然后进行打印输出
Alienware^·2023-11-15 08:52

Flink - Table API 之流与表转换

Flink-TableAPI数据转换1.DataStream或DataSet转换为Table目前有两种方式将DataStream或DataSet转换为Table一种是通过注册Table的方式,将DataSet
笔墨新城·2023-11-15 08:22

Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表

GitHubhttps://github.com/SmallScorpion/flink-tutorial.gitTableAPI和FlinkSQL是什么Flink对批处理和流处理，提供了统一的上层APITableAPI
SmallScorpion·2023-11-15 08:46

Flink Table 和 DataStream 转换

文章目录FlinkTable和DataStream转换1.表(Table)转换为流(DataStream)1.1处理（仅插入）流1.1.1fromDataStream()方法：1.1.1.1fromDataStream
coding or coded·2023-11-15 08:45

关于Flink的批处理和流处理的 Table & SQL API详解

首先看一下FlinkTableAPI和SQL使用，构建应用步骤。
LBJ_小松鼠·2023-11-15 08:15

21、Flink 的table API与DataStream API 集成（3）- changelog流处理、管道示例、类型转换和老版本转换示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:43

21、Flink 的table API与DataStream API 集成（1）- 介绍及入门示例、集成说明

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:12

flink 学习（十五）flink table api

目录前言1、引入依赖2、基于流创建表3、表转换成流4、TableAPI5、SQL6、tableEnv创建表7、sql创建表8、explain前言flink提供了TableAPI和SQL的方式，可以通过sql
_lrs·2023-11-15 08:42

21、Flink 的table API与DataStream API 集成（2）- 批处理模式和inser-only流处理

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:08

flink 8081 web页面无法被局域网内其他机器访问

实现`http://localhost:8081/#/overview`可以被局域网其他机器访问
Thomas2143·2023-11-15 05:17

Hadoop3.3.4分布式安装

注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名1.集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager
Appreciate(欣赏)·2023-11-15 04:39

Flink SQL --命令行的使用（02）

1、窗口函数：1、创建表：--创建kafka表CREATETABLEbid(bidtimeTIMESTAMP(3),priceDECIMAL(10,2),itemSTRING,WATERMARKFORbidtimeASbidtime)WITH('connector'='kafka','topic'='bid',--数据的topic'properties.bootstrap.servers'='ma
新手小农·2023-11-15 01:27

第四篇|Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？
wrr-cat·2023-11-15 01:40

【Flink】Flink的处理函数、TopN案例和侧输出流

目录一、基本处理函数（ProcessFunction）1、处理函数的概念2、ProcessFunction解析(1)抽象方法.processElement()（2）非抽象方法.onTimer()3、处理函数的分类（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5
不断学习的克里斯·2023-11-15 01:38

Flink-处理函数

目录1.基本处理函数（ProcessFunction）1.1处理函数的功能和使用1.2ProcessFunction解析1.3处理函数的分类2.按键分区处理函数（KeyedProcessFunction）2.1定时器（Timer）和定时服务（TimerService）2.2KeyedProcessFunction的使用3.窗口处理函数3.1窗口处理函数的使用3.2ProcessWindowFunc
芝士雪豹.·2023-11-15 01:08

0基础学习PyFlink——水位线（watermark）触发计算

在《0基础学习PyFlink——个数滚动窗口(TumblingCountWindows)》和《0基础学习PyFlink——个数滑动窗口（SlidingCountWindows）》中，我们发现如果窗口中元素个数没有把窗口填满
breaksoftware·2023-11-15 01:07

Flink CDC 经典13 问

Flinkcdc2.1.1发布后，更新了很多新功能以及知识点，今天为大家全面总结了CDC的知识点如无锁算法及面试高频考点。
GOD_WAR·2023-11-14 20:31

Flink cdc技术实践

1.技术详情CDC的实现方式主要有两种，分别是基于查询和基于日志：基于查询：查询后插入、更新到数据库即可，无须数据库的特殊配置以及账号权限。它的实时性基于查询频率决定，只能通过提高查询频率来保证实时性，而这必然会对DB造成巨大压力。此外，因为是基于查询，所以它无法捕获两次查询之间数据的变更记录，也就无法保证数据的一致性。基于日志：通过实时消费数据的变更日志实现，因此实时性很高。而且不会对DB造成很
大数据开发工程师-宋权·2023-11-14 19:51

Flink CDC入门实践--基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL

文章目录前言1.环境准备2.准备数据2.1MySQL2.2postgres3.启动flink和flinksqlclient3.1启动flink3.2启动flinkSQLclient4.在flinkSQLCLI
不爱学习的小妞·2023-11-14 19:46

flink cdc

文章目录flinkcdc1依赖包2stream3checkpoint,savepiont断点续存flinkcdc环境要求：flink版本：1.12+java版本：java8+git：https://github.com
老鼠扛刀满街找猫@·2023-11-14 19:46
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他