--Flink

Flink Checkpoint 问题排查实用指南

作者：邱从贤（山智）在Flink中，状态可靠性保证由Checkpoint支持，当作业出现failover的情况下，Flink会从最近成功的Checkpoint恢复。
Apache Flink·2023-11-16 08:49

Flink on YARN（下）：常见问题与排查思路

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。
worldchinalee·2023-11-16 08:19

Flink任务日志写到kafka【最新1.12，1.13】

Flink1.12开始默认的日志框架就是log4j2，那么配置的方式跟之前log4j的方式有了一些区别，这边也踩了一些坑才解决。
FishMAN_已存在·2023-11-16 08:49

Flink on YARN 常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2023-11-16 08:48

Flink cdc +doris生产遇到的问题汇总-持续更新

知识备份：阿里云FlinkCDC文档地址：MySQL的CDC源表-实时计算Flink版-阿里云cdc参数:WITH参数参数说明是否
黄瓜炖啤酒鸭·2023-11-16 08:18

Flink故障排查

参考cpu问题https://www.cnblogs.com/wuchanming/p/7766994.htmlhttps://blog.csdn.net/m0_46449152/article/details/111936485内存问题https://www.jianshu.com/p/15637724ef161.查看TaskHeap是否经常达到100%2.查看老年代FullGC发生次数解决方法
画画的老顽童·2023-11-16 08:18

Flink on yarn任务日志怎么看

1、jobmanager日志在yarn上可以直接看2、taskmanager日志在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？
qzWsong·2023-11-16 08:47

入坑Flink - Flink on Yarn提交任务异常

入坑Flink-FlinkonYarn提交任务异常在通过flinkrun-myarn-cluster提交任务过程中任务一直created查看jobManager日志发现jar包冲突2021-01-2516
机智的大脚猴·2023-11-16 08:47

解决Flink输出日志中时间比当前时间晚8个小时的问题

解决Flink输出日志中时间比当前时间晚8个小时的问题在flinkstandalone集群上，发现log输出时间比当前时间晚8个小时，我的集群系统时间是CTM+8时区的。
张行之·2023-11-16 08:47

Flink on yarn日志收集

背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看
'煎饼侠·2023-11-16 08:16

【Flink】Flink任务缺失Jobmanager日志的问题排查

Flink任务缺失Jobmanager日志的问题排查问题不是大问题，不是什么代码级别的高深问题，也没有影响任务运行，纯粹因为人员粗心导致，记录一下排查的过程。
Meepoljd·2023-11-16 08:44

【入门Flink】- 11Flink实现动态TopN

基本处理函数（ProcessFunction）stream.process(newMyProcessFunction())方法需要传入一个ProcessFunction作为参数，ProcessFunction不是接口，而是一个抽象类，继承了AbstractRichFunction，所有的处理函数，都是富函数（RichFunction），拥有富函数所有功能。//泛型：//Typeparameters
不进大厂不改名二号·2023-11-16 05:37

Flink和Kafka连接时的精确一次保证

Flink写入Kafka两阶段提交端到端的exactly-once（精准一次）kafka->Flink->kafka1）输入端输入数据源端的Kafka可以对数据进行持久化保存，并可以重置偏移量（offset
不进大厂不改名二号·2023-11-16 05:29

Flume（一）【Flume 概述】

前言今天实在不知道学点什么好了，早上学了3个多小时的Flink，整天只学一门技术是很容易丧失兴趣的。那就学点新的东西Flume，虽然Kafka还没学完，但是大数据生态圈的基础组件也基本就剩这倆了。
让线程再跑一会·2023-11-16 01:46

2022年最新版 | Flink经典线上问题小盘点

2020年和2021年分别写了很多篇类似的文章，这篇文章是关于Flink生产环境中遇到的各种问题的汇总。这个版本在Flink新版本的基础上梳理了一个更加完整的版本。
王知无(import_bigdata)·2023-11-15 19:36

Flink SQL CDC 上线！我们总结了 13 条生产实践经验

摘要：7月，Flink1.11新版发布，在生态及易用性上有大幅提升，其中Table&SQL开始支持ChangeDataCapture（CDC）。
zhisheng_blog·2023-11-15 19:35

实时数据平台-Mysql到Mysql(Flink CDC和Debezium)

这里我们经常用到的组件是FlinkCDC，从下图我们看到对于FlinkCDC和Debezium的几个功能项都是支持的，区别为FlinkCDC可以做分布式，Debezium只能做单机。
diu_lei·2023-11-15 19:57

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
'煎饼侠·2023-11-15 19:56

Flink-CDC 1.X 源码分享

1.FlinkCDC介绍1.1定义：CDC是变更数据捕获(ChangeDataCapture)技术的缩写，它可以将源数据库(Source)的增量变动记录，同步到一个或多个数据目的(Sink)。
'煎饼侠·2023-11-15 19:56

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。比如，对于固定报表业务，根据已知的查询语句可以预先将事实表与维度表打平成宽表，充分利用ClickHouse强大的单表查询能力；对于高并发的查询请求，
大数据技术架构·2023-11-15 16:27

数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

产品概述ApacheSeaTunnel是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到Apache基金会的数据集成顶级项目。SeaTunnel主要解决数据集成领域的常见问题：*数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据
SeaTunnel·2023-11-15 16:20

从0开始学大数据15-流式计算的代表：Storm、Flink、SparkStreaming

15|流式计算的代表：Storm、Flink、SparkStreaming我前面介绍的大数据技术主要是处理、计算存储介质上的大规模数据，这类计算也叫大数据批处理计算。
源码头·2023-11-15 15:18

Flink中的时间语义 和WaterMark

1.Flink时间语义Flink定义了三类时间处理时间（ProcessTime）数据进入Flink被处理的系统时间（Operator处理数据的系统时间）事件时间（EventTime）数据在数据源产生的时间
shenjianyu_rex·2023-11-15 14:59

【Flink Scala】时间语义和Watermark

时间语义和Watermark时间语义Flink中的时间语义EventTime的引入Waterkmark（水位线）基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在
飝鱻.·2023-11-15 14:56

Flink 支持三种时间语义

在ApacheFlink中，时间在流处理中是一个重要的概念，而时间语义则用于定义事件发生的时间。
贾斯汀玛尔斯·2023-11-15 14:53

Flink教程(4) DataStream 常用算子（上）

DataStream常用算子（上）一、前言二、Map2.1JavaLambda的Map2.2Flink的Map三、FlatMap3.1JavaLambda的FlatMap3.2Flink的FlatMap
瑟王·2023-11-15 12:33

Flink DataStream常用算子

Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。
Mr.梧桐·2023-11-15 12:32

【Flink】基本转换算子使用之fliter、flatMap，键控流转换算子和分布式转换算子

文章目录一FlinkDataStreamAPI1基本转换算子的使用（1）flitera使用匿名类实现b使用外部类函数实现b使用flatMap实现（2）flatMapa使用匿名类实现b使用匿名函数实现2键控流转换算子
OneTenTwo76·2023-11-15 12:01

（十）Flink Datastream API 编程指南 算子-1 （转换算子、物理分区、任务链、资源组 、算子和作业）等基本介绍

本节将描述基本的转换、应用这些转换后的有效物理分区以及对Flink的operatorchain（链）的深入了解。
京河小蚁·2023-11-15 12:29

【Flink】DataStream API—执行环境、源算子、转换算子、输出算子

2、源算子种类3、Flink支持的数据类型三、转换算子（Transformation）1、基本转换算子2、聚合算子（Aggregation）3、匿名函数（Lambda）4、富函数类（RichFunctionClasses
不断学习的克里斯·2023-11-15 11:26

Flink之DataStream的常用转换算子

1、Map[DataStream->DataStream]（1）说明调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集2、FlatMap[DataStream->DataStream]（1）说明该算子主要
Relian哈哈·2023-11-15 11:56

[Flink]Flink常用的DataStream转换算子

目录3.1Map3.2FlatMap3.3Filter3.4KeyBy3.5Reduce3.6Fold3.7Aggregations3.8Window3.9WindowAll4.0Aggregationsonwindows4.1Union4.2Split4.3select3.1MapDataStream→DataStream一对一转换,即输入的记录和输出的记录相等。importorg.apache
just-do-it-zzj·2023-11-15 11:54

flink常用转换算子总结

表达式的写法，通过各种lamda表达式可以简化代码的编写，让代码看起来更加简洁，比如大家熟知的filter，map等方法，前者可以对集合中的数据进行过滤，后者可以很方便的对对象数据进行字段的规整转换等操作在flink
逆风飞翔的小叔·2023-11-15 11:24

Flink（五）【DataStream 转换算子（上）】

前言这节注定是一个大的章节，我预估一下得两三天，涉及到的一些东西不懂就重新学，比如Lambda表达式，我只知道Scala中很方便，但在Java中有点发怵了；一个接口能不能new来构造对象?答案是可以的，匿名内部类嘛。但这些好多都是不用不知道的事情。不得不感慨还是学习爽啊，不懂就练，再不懂就问；辛苦自己倒也无妨，可是感情就不一样了，不懂就问？等到问的时候人家就要和你saygoodbye了。1、基本转
让线程再跑一会·2023-11-15 11:50

java.lang.ArithmeticException: Division undefined

一、问题在flinksql中有一个除法计算，运行在内存之后报了如下的错误。
爬台阶的蚂蚁·2023-11-15 10:07

Flink的DataStream API的使用------执行环境（Execution Environment）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、执行环境（ExecutionEnvironment）1、创建执行环境1.1、getExecutionEnvironment1.2
BrotherXu·2023-11-15 08:52

Flink TableAPI和SQL（五）基本API（四）流和表之间的转换

文章目录将表（Table）转换成流（DataStream）将流（DataStream）转换成表（Table）支持的数据类型全代码展示：在Flink中我们可以将Table再转换成DataStream，然后进行打印输出
Alienware^·2023-11-15 08:52

Flink - Table API 之流与表转换

Flink-TableAPI数据转换1.DataStream或DataSet转换为Table目前有两种方式将DataStream或DataSet转换为Table一种是通过注册Table的方式,将DataSet
笔墨新城·2023-11-15 08:22

Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表

GitHubhttps://github.com/SmallScorpion/flink-tutorial.gitTableAPI和FlinkSQL是什么Flink对批处理和流处理，提供了统一的上层APITableAPI
SmallScorpion·2023-11-15 08:46

Flink Table 和 DataStream 转换

文章目录FlinkTable和DataStream转换1.表(Table)转换为流(DataStream)1.1处理（仅插入）流1.1.1fromDataStream()方法：1.1.1.1fromDataStream
coding or coded·2023-11-15 08:45

关于Flink的批处理和流处理的 Table & SQL API详解

首先看一下FlinkTableAPI和SQL使用，构建应用步骤。
LBJ_小松鼠·2023-11-15 08:15

21、Flink 的table API与DataStream API 集成（3）- changelog流处理、管道示例、类型转换和老版本转换示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:43

21、Flink 的table API与DataStream API 集成（1）- 介绍及入门示例、集成说明

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:12

flink 学习（十五）flink table api

目录前言1、引入依赖2、基于流创建表3、表转换成流4、TableAPI5、SQL6、tableEnv创建表7、sql创建表8、explain前言flink提供了TableAPI和SQL的方式，可以通过sql
_lrs·2023-11-15 08:42

21、Flink 的table API与DataStream API 集成（2）- 批处理模式和inser-only流处理

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:08

flink 8081 web页面无法被局域网内其他机器访问

实现`http://localhost:8081/#/overview`可以被局域网其他机器访问
Thomas2143·2023-11-15 05:17

Hadoop3.3.4分布式安装

注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名1.集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager
Appreciate(欣赏)·2023-11-15 04:39

Flink SQL --命令行的使用（02）

1、窗口函数：1、创建表：--创建kafka表CREATETABLEbid(bidtimeTIMESTAMP(3),priceDECIMAL(10,2),itemSTRING,WATERMARKFORbidtimeASbidtime)WITH('connector'='kafka','topic'='bid',--数据的topic'properties.bootstrap.servers'='ma
新手小农·2023-11-15 01:27

第四篇|Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？
wrr-cat·2023-11-15 01:40

【Flink】Flink的处理函数、TopN案例和侧输出流

目录一、基本处理函数（ProcessFunction）1、处理函数的概念2、ProcessFunction解析(1)抽象方法.processElement()（2）非抽象方法.onTimer()3、处理函数的分类（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5
不断学习的克里斯·2023-11-15 01:38
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他