大数据框架flink

Flink 本地安装 & 构建Flink应用

Flink本地安装&构建Flink应用环境要求Flink本地模式安装下载解压与启动退出构建Java应用完整pom.xml静态计算实时计算提交FlinkJob打包项目运行任务环境要求Maven3.0.4(
ximu_sunny·2023-08-20 07:16

Apache Flink 和 Apache Kafka 两者之间的集成架构 Flink and Apache Kafka: A Winning Partnership

作者：禅与计算机程序设计艺术1.前言ApacheFlink和ApacheKafka是构建可靠、高吞吐量和低延迟的数据管道（datapipeline）的两个著名的开源项目。
禅与计算机程序设计艺术·2023-08-20 05:31

Flink内核源码解析--Flink中重要的工作组件和机制

Flink内核源码1、掌握Flink应用程序抽象2、掌握Flink核心组件整体架构抽象3、掌握FlinkJob三种运行模式4、理解FlinkRPC网络通信框架Akka详解5、理解TaskManager为例子
`FUTURE`·2023-08-20 04:38

Flink-----Yarn应用模式作业提交流程

Yarn应用模式作业提交流程在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob和Application，但是1.17版本的Flink
`FUTURE`·2023-08-20 04:37

Flink standalone执行作业任务报错

执行jar命令如下：[root@bigdata101flink-1.12.0]#bin/flinkrun-capp.FlinkCDC/data/project/flinkCDC/onedata-flink
勇于自信·2023-08-20 03:31

Flink CDC系列之：Oracle CDC 导入 Elasticsearch

FlinkCDC系列之：OracleCDC导入Elasticsearch一、深入理解FlinkOracleCDCConnector二、创建docker-compose.yml文件三、启动容器四、下载FlinkOracleCDC
最笨的羊羊·2023-08-20 00:54

Flink CDC系列之：Oracle CDC Connector

FlinkCDC系列之：OracleCDCConnector一、依赖关系二、SQL客户端JAR三、设置Oracle1.对于非CDB数据库2.对于CDB数据库四、创建OracleCDCtable五、连接器选项六
最笨的羊羊·2023-08-20 00:23

【课程笔记】分布式计算系统 徐辰

分布式计算系统笔记课程介绍课程背景大数据处理系统——>分布式计算系统Hadoop，Spark，Flink大数据涵义过于宽泛本课程/教材强调系统设计、原理、编程的集合课程目的培养系统思维应用层：搜索、推荐算法设计层
HERODING77·2023-08-19 23:16

1.flink快速入门

前言下图表示的是一个简单的flink-job的计算图，这种图被称为DAG(有向无环图)，表示的这个任务的计算逻辑，无论是spark、hive、还是flink都会把用户的计算逻辑转换为这样的DAG，数据的计算按照
Object~·2023-08-19 23:01

k8s快速入门

1.k8s组件k8s和大多数大数据框架一样，为master-slave结构，其中master和node节点可以为一到多个，分为一主多从架构（平时玩）和多主多从架构（生产）master：kubectl：用户的控制命令
Object~·2023-08-19 23:30

0.flink学习资料

论文：（1）googledataflowmodel下载链接：p1792-Akidau.pdf(vldb.org)AkidauT,BradshawR,ChambersC,etal.Thedataflowmodel:apracticalapproachtobalancingcorrectness,latency,andcostinmassive-scale,unbounded,out-of-order
Object~·2023-08-19 23:30

Flink CheckPoint详细过程

Checkpoint由JM的CheckpointCoordinator发起第一步，CheckpointCoordinator向所有source节点triggerCheckpoint；。在这里插入图片描述第二步，source节点向下游广播barrier，这个barrier就是实现Chandy-Lamport分布式快照算法的核心，下游的task只有收到所有input的barrier才会执行相应的Che
〇白衣卿相〇·2023-08-19 19:19

Flink大礼包

从19年10月份开始决定写这些东西，不知不觉写了43篇文章，真的没想到自己能够坚持下来，每一篇文章都是从自己工作中总结出来的，每写一个系列都需要翻阅源码、查看资料、验证或者向一些同学请教，需要花很大的精力，但是这个过程中自己也收获了很多，也会收到一些同学的肯定，也会有一些同学给我私发红包的，但是被我拒绝了，首先很感谢大家的肯定，如果你觉得不错或者对你有帮助，希望能够动动手指让更多人的看到，自己也会
Flink实战剖析·2023-08-19 19:07

Flink 流式写入Iceberg实现原理

此外，在面向实时数据读写场景，需要有一个桥接框架来自动完成数据的读写，于是Iceberg和Flink成为天作之合，本文就来研究下Iceberg是如何跟Flink对接
滴普科技·2023-08-19 18:40

flink实现指标监控

flink实现指标监控数据监控都要求实时性，我把监控分为2种，一种是有状态监控，一种是无状态监控。
思想决定架构·2023-08-19 18:26

Flink - CEP监控下单付款超时通知

在电商领域通常会有这样一种需要，如果客户下单了，但是在10分钟内不付款，应该需要通知客服，再由客服寻问客户为什么还没有付款，从而提高付款效率，我们可以采用Flink-CEP的超时机制来处理。
kikiki1·2023-08-19 15:40

flink jira 提交开源bug

注册apacheissue账号,并申请flink空间的权限后.提问题/bug查看已经提交的问题:
Thomas2143·2023-08-19 11:24

Flink 数据集成服务在小红书的降本增效实践

摘要：本文整理自实时引擎研发工程师袁奎，在FlinkForwardAsia2022数据集成专场的分享。
Apache Flink·2023-08-19 10:18

Flink流批一体计算（14）：PyFlink Tabel API之SQL查询

举个例子查询source表，同时执行计算#通过TableAPI创建一张表：source_table=table_env.from_path("datagen")#或者通过SQL查询语句创建一张表：source_table=table_env.sql_query("SELECT*FROMdatagen")result_table=source_table.select(source_table.id
victory0508·2023-08-19 10:18

Flink-----Standalone会话模式作业提交流程

1.Flink的Slot特点：均分隔离内存，不隔离CPU可以共享：同一个job中，不同算子的子任务才可以共享同一个slot，同时在运行的前提是，属于同一个slot共享组，默认都是“default”2.Slot
`FUTURE`·2023-08-19 10:18

分析Flink，源和算子并行度不一致时，运行一段时间后，看似不再继续消费的问题，提供解决思路。

文章目录背景分析问题来了比较一开始的情况解决方式背景之前有分析过一次类似问题，最终结论是在keyby之后，其中有一个key数量特别庞大，导致对应的subtask压力过大，进而使得整个job不再继续运作。在这个问题解决之后，后续又再次出现了积压的情况，针对这个问题进行排查分析。分析通过以下这张图，可以看到当前它是没有数据积压的。可以看到source-map-map-sink/map都放在了同一个ta
T_Antry·2023-08-19 10:17

【Flink】Flink窗口触发器

数据进入到窗口的时候，窗口是否触发后续的计算由窗口触发器决定，每种类型的窗口都有对应的窗口触发机制。WindowAssigner默认的Trigger通常可解决大多数的情况。我们通常使用方式如下,调用trigger()方法把我们想执行触发器传递进去：SingleOutputStreamOperatorname=name.keyBy("name").window(TumblingEventTimeWi
一杯咖啡半杯糖·2023-08-19 10:17

Flink流批一体计算（13）：PyFlink Tabel API之SQL DDL

1.TableEnvironment创建TableEnvironmentfrompyflink.tableimportEnvironmentsettings,TableEnvironment#createastreamingTableEnvironmentenv_settings
victory0508·2023-08-19 10:17

Flink之时间语义

Flink之时间语义简介Flink中时间语义可以说是最重要的一个概念了,这里就说一下关于时间语义的机制,我们下看一下下面的表格,简单了解一下时间定义processingtime处理时间,也就是现实世界的时间
飞天小老头·2023-08-19 10:47

大数据Flink学习圣经：一本书实现大数据Flink自由

学习目标：三栖合一架构师本文是《大数据Flink学习圣经》V1版本，是《尼恩大数据面试宝典》姊妹篇。
40岁资深老架构师尼恩·2023-08-19 10:47

Flink安装与使用

1.安装准备工作下载flinkApacheFlink:下载解压[doda@host166bigdata]$tar-zxvfflink-1.12.0-bin-scala_2.11.tgz2.Flinnk的
SimpleSimpleSimples·2023-08-19 10:47

Flink分流，合流，状态，checkpoint和精准一次笔记

第8章分流1.使用侧输出流2.合流2.1union：使用ProcessFunction处理合流后的数据2.2Connect：两条流的格式可以不一样，map操作使用CoMapFunction，process传入：CoProcessFunction2.2BroadcastConnectedStreamkeyBy进行了按键分区，那么要传入的就是KeyedBroadcastProcessFunction；
荣晓·2023-08-19 10:47

看一眼常见数据处理的产品

SparkvsFlinkSpark和Flink都是基于内
Walter Sun·2023-08-19 09:47

Flink:scala包版本问题:scala.Predef$.refArrayOps([Ljava/lang/Object；)Lscala/collection

这几天深入研究flink，并把之前的东西进行复习下，留点笔记这问题还真给我搞脑子，本来是新电脑下载的最新的IDEA，然后导入项目，楞许久跑不起来简短点说，原因：scala版本冲突检查：Flink或Spark
小明同学YYDS·2023-08-19 09:59

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

685-383.jpg本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入
Flink中文社区·2023-08-19 07:57

BLINK-DataStream开发

1、pom.xml注意：com.alibaba.flinkdatahub-connector0.1-SNAPSHOTjar-with-dependencies此依赖需要手动加载到maven仓库，具体方式参见
大数据00·2023-08-19 05:14

Flink 实时数据写入oracle

一/自定义类packagecn.com.mycompany.InsertAndUpdate.a_calc_day_power;importjava.math.BigDecimal;publicclassA_calc_day_power{  privateBigDecimalid;  privateStringarea_code;  privateStringorg_no;  privateStri
大数据00·2023-08-19 05:14

flink消费kafka数据，按照指定时间开始消费

kafka中根据时间戳开始消费数据importorg.apache.flink.api.java.utils.ParameterTool;importorg.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer
昌昌苦练背后·2023-08-19 04:23

Sink-writeAsText的使用

._51doit.flink.day01;importorg.apache.flink.api.common.functions.RuntimeContext;importorg.apache.flink.configuration.Co
江湖侠客·2023-08-19 00:54

Flink状态和状态管理

这句话还是挺好理解的，状态不只存在于Flink，也存在生活的方方面面，比如看到一个认识的人，如何识别认识呢？
土豆马铃薯·2023-08-18 17:48

cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景：FlinkOnYarn任务启动组件版本：CDH：6.3.2Flink：1.13.2Hadoop：3.0.0问题描述：在使用FLinkonYarn调度过程中，发现taskmanager总是分配在集中的几个节点上
日复一日伐树的熊哥·2023-08-18 17:15

Flink Sql on Hive 的生产遇到的坑以及优化（持续更新 ...）

1、HiveSource-xxxx.xxxx'sparallelism(200)ishigherthanthemaxparallelism(128).Pleaselowertheparallelismorincreasethemaxparallelism.（1）报错这是sql-cli连接hive,查一张表报的错[ERROR]CouldnotexecuteSQLstatement.Reason:or
FishMAN__·2023-08-18 14:56

Flink(7) 自定义数据源

简介只要实现SourceFunction接口对应的方法就可以自定义数据源1.创建环境publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStreamSourcestreamSou
hk_faith·2023-08-18 12:28

Flink 数据集成服务在小红书的降本增效实践

摘要：本文整理自实时引擎研发工程师袁奎，在FlinkForwardAsia2022数据集成专场的分享。
·2023-08-18 11:22

JDBC Vertica Source Connector 使用文档

支持以下引擎SparkFlinkSeaTunnelZeta关键特性批处理精确一次性处理列投影并行处理支持用户自定义拆分支持查询SQL并实现投影效果描述通过JDBC读取外部数据源数据。
SeaTunnel·2023-08-18 08:26

iceberg系列之 hadoop catalog 小文件合并实战

背景flink1.15hadoop3.0pom文件4.0.0com.icebergflink-iceberg1.0-SNAPSHOT881.15.31.82.121.7.30org.apache.flinkflink-core
wang2leee·2023-08-18 07:22

flink 学习笔记

每次先大致写下，后期写的多了在去调格式目录每次先大致写下，后期写的多了在去调格式目录每次先大致写下，后期写的多了在去调格式一、文档学习flink中时间语义：waterMark水位线：二、官网学习1、列属性中
fyl005·2023-08-18 06:50

Flink学习笔记（一）概述

一、什么是Flink1.Flink是一个分布式流处理框架，它能够在大规模的数据流上进行实时计算和批处理。
缘来如此09·2023-08-18 06:20

Flink学习笔记

Flink常见问题：分布式快照，savepoint，端到端一致性，背压。
Maple9360·2023-08-18 06:48

实践数据湖iceberg 第三十三课 升级flink到1.14，自带functioin支持json函数

iceberg第三课在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg第四课在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7
*星星之火*·2023-08-18 06:47

简单批处理、流处理【Flink学习笔记一】

目录Flink处理数据的流程：环境准备目的：批处理流处理Flink处理数据的流程：1、获取执行环境；2、加载/创建初始数据；3、指定数据相关的转换；4、指定计算结果的存储位置；5、触发程序执行（流处理）
YuBooy·2023-08-18 06:46

Flink SQL 解析复杂嵌套Json数据

文章目录FlinkSQL解析复杂嵌套Json数据数据类型映射关系：复杂Json数据示例：FlinkDDL定义：FlinkSQL解析：结果：FlinkSQL解析复杂嵌套Json数据数据类型映射关系：官网链接
coding or coded·2023-08-18 06:16

FlinkSql解析复杂的JSON结构

FlinkSql解析复杂的JSON结构一、处理思路二、使用原生的FlinkSQL具体实现1.分析JSON的结构2.在SQL中定义解析对象3.解析并获取需要的属性字段之前的一篇文章介绍了FlinkSQL解析
酱紫很帅·2023-08-18 06:16

Flink学习笔记【巨详细！】（三）

第5章DataStreamAPI（基础篇）我们在第2章介绍Flink快速上手时，曾编写过一个简单的词频统计（WordCount）程序，相信读者已经对Flink的编程方式有了基本的认识。
水花还在漂移·2023-08-18 06:15

Flink学习笔记【巨详细！】（一）

一、Flink的简介1.1Flink的概述Flink和Spark一样，是一个大数据处理引擎。主要区别在于Flink做的是流处理，Spark做的是批处理。
水花还在漂移·2023-08-18 06:15
上一页 81 82 83 84 85 86 87 88 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他