--Flink

说说Flink on yarn的启动流程

分析&回答核心流程FlinkYarnSessionCli启动的过程中首先会检查Yarn上有没有足够的资源去启动所需要的container，如果有，则上传一些flink的jar和配置文件到HDFS，这里主要是启动
学一次·2023-09-01 09:34

Flink 如何定位反压节点？

分析&回答FlinkWebUI自带的反压监控——直接方式FlinkWebUI的反压监控提供了Subtask级别的反压监控。
学一次·2023-09-01 09:03

如何处理 Flink 作业中的数据倾斜问题？

举例：一个Flink作业包含200个Task节点，其中有199个节点可以在很短的时间内完成计算。但是有一个节点执行时间远超其他结果，并且随着数据量的持续增加，导致该计算节点挂掉，从而整个任务失败重启。
学一次·2023-09-01 09:33

Apache Hudi初探(三)(与flink的结合)--flink写hudi的操作(真正的写数据)

背景在之前的文章中ApacheHudi初探(二)(与flink的结合)–flink写hudi的操作(JobManager端的提交操作)有说到写hudi数据会涉及到写hudi真实数据以及写hudi元数据,
鸿乃江边鸟·2023-09-01 09:32

《Flink学习笔记》——第十一章 Flink Table API和 Flink SQL

TableAPI和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。
ZLin.Tang·2023-09-01 08:41

Flink 使用之 SQL Gateway

Flink使用介绍相关文档目录Flink使用介绍相关文档目录背景Flink1.16.0整合了SQLGateway，提供了多种客户端远程并发执行SQL的能力。
AlienPaul·2023-09-01 07:39

Spark与Flink的区别

2、Flink是基于事件驱动的，是面向流的处理框架,Flink基于每个事件一行一行地流式处理，是真正的流式计算.另外他也可以基于流来模拟批进行计算实现批处理。
学一次·2023-09-01 06:52

如何处理 Flink 作业频繁重启问题？

分析&回答Flink实现了多种重启策略固定延迟重启策略（FixedDelayRestartStrategy）故障率重启策略（FailureRateRestartStrategy）没有重启策略（NoRestartStrategy
学一次·2023-09-01 06:47

说说Flink双流join

分析&回答Flink双流JOIN主要分为两大类一类是基于原生State的Connect算子操作另一类是基于窗口的JOIN操作。
学一次·2023-09-01 06:17

Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO

近年来涌现出诸多大数据应用组件，如HBase、Hive、Kafka、Spark、Flink等。
yoku酱·2023-09-01 04:40

42、Flink 的table api与sql之Hive Catalog

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-01 01:33

41、Flink之Hive 方言介绍及详细示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-01 01:33

33、Flink之hive介绍与简单示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-01 01:32

投资组合--蒙特卡洛模拟(Python)

fromnumpy.linalgimportmulti_dotimportpandasaspdimportmatplotlib.pyplotaspltfromtqdmimport*加载画图的库并忽略告警importcufflinksascfcf.set_config_file
cal_the_world·2023-08-31 22:56

数据流水线的成本自适应算子

数据流水线一般至少包含一个Source组件和一个Sink组件，有时在Source和Sink中间还有一或多个依次执行的中间计算组件（Flume称之为Channel，Flink称之为Tra
·2023-08-31 18:38

flink sql 知其所以然（十三）：流 join问题解决

1.序篇本节是flinksql流join系列的下篇，上篇的链接如下：废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到
程序员的隐秘角落·2023-08-31 17:02

贝壳基于Flink + OceanBase的实时维表服务

作者介绍：肖赞，贝壳找房（北京）科技有限公司OLAP平台负责人，基础研发线大数据平台部架构师。贝壳找房是中国最大的居住服务平台。作为居住产业数字化服务平台，贝壳致力于推进居住服务的产业数字化、智能化进程，通过聚合、助力优质服务者，为中国家庭提供包括二手房交易、新房交易、租赁、家装、家居、家服等一站式、高品质、高效率服务。前几天，我们在《贝壳降本提效实践：基于OceanBase的实时字典服务》中，介
OceanBase数据库官方博客·2023-08-31 15:10

Flink HA部署

1、Flink简介ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
数据仓库与Python大数据·2023-08-31 14:53

《Flink学习笔记》——第十章 容错机制

10.1检查点（Checkpoint）为了故障恢复，我们需要把之前某个时间点的所有状态保存下来，这份“存档”就是“检查点”遇到故障重启的时候，我们可以从检查点中“读档”，恢复出之前的状态，这样就可以回到当时保存的一刻接着处理数据了。故障恢复之后继续处理的结果，应当与发生故障前完全一致，所以有时我们也会把checkpoint称为一致性检查点10.1.1检查点的保存1）周期性的触发保存既然我们需要这个
ZLin.Tang·2023-08-31 07:34

说说Flink运行模式

分析&回答1.开发者模式在idea中运行Flink程序的方式就是开发模式。2.local-cluster模式Flink中的Local-cluster(本地集群)模式,单节点运行，主要用于测试,学习。
学一次·2023-08-31 07:21

说说FLINK细粒度滑动窗口如何处理

分析&回答Flink的窗口机制是其底层核心之一，也是高效流处理的关键。Flink窗口分配的基类是WindowAssigner抽象类，下面的类图示出了Flink能够提供的所有窗口类型。
学一次·2023-08-31 07:21

flink维度表关联

分析&回答根据我们业务对维表数据关联的时效性要求，有以下几种解决方案：1、实时查询维表实时查询维表是指用户在Flink的Map算子中直接访问外部数据库，比如用MySQL来进行关联，这种方式是同步方式，数据保证是最新的
学一次·2023-08-31 07:51

说说构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
学一次·2023-08-31 07:50

Strom、SparkStreaming、Flink反压机制阐述

反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系
小晨说数据·2023-08-31 07:20

流式大处理的三种框架对比：Storm，Spark和Flink

storm、sparkstreaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API
往事随风_h·2023-08-31 07:18

对比Flink、Storm、Spark Streaming 的反压机制

分析&回答Flink反压机制Flink如何处理反压?
学一次·2023-08-31 07:47

说说Flink中的State

分析&回答基本类型划分在Flink中，按照基本类型，对State做了以下两类的划分：KeyedState，和Key有关的状态类型，它只能被基于KeyedStream之上的操作，方法所使用。
学一次·2023-08-31 07:47

Flink Streaming SQL Join

传统的离线BatchSQL（面向有界数据集的SQL）有三种基础的实现方式，分别是Nested-loopJoin(嵌套循环)、Sort-MergeJoin和HashJoin。Nested-loopJoin最为简单直接，将两个数据集加载到内存，并用内嵌遍历的方式来逐个比较两个数据集内的元素是否符合Join条件。Nested-loopJoin虽然时间效率以及空间效率都是最低的，但胜在比较灵活适用范围广，
多彩海洋·2023-08-31 06:45

【Flink】异步 I/O 机制源码详解

背景默认情况下Flink每个subtask同步按序处理到来的数据，但可能有一些处理场景需要访问外部存储介质，比如Sql中使用LookupJoin，每一次查询请求需要等待结果响应之后才能进行下一次请求，期间浪费了的大量时间在等待结果上
·2023-08-30 18:24

【Flink】OperatorID生成逻辑及Chain策略

在StreamGraph翻译为JobGraph的过程中Flink会为每一个算子生成对应的OperatorID，并传递到Jobvertex中。
·2023-08-30 18:51

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
大猪大猪·2023-08-30 14:33

大数据Flink简介与架构剖析并搭建基础运行环境

文章目录前言Flink简介Flink集群剖析Flink应用场景Flink基础运行环境搭建Docker安装docker-compose文件编写创建并运行容器访问Flinkweb界面前言前面我们分别介绍了大数据计算框架
小沈同学呀·2023-08-30 13:28

flinkcdc数据采集代码FlinkAPI

1.flinkcdc数据采集代码：背景使用flinkcdc采集mysql数据到kafka，经过长达两个月的各种调试，终于把调试后的版本给写出来了，进行的全量加增量的数据采集，并写了一个窗口，每隔10min
m0_37759590·2023-08-30 10:56

使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表

使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表packageflink;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
m0_37759590·2023-08-30 10:24

16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Hive示例（6）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-08-30 08:49

美团 Flink 资源调度优化实践

摘要：本文整理自美团数据平台计算引擎组工程师冯斐，在FlinkForwardAsia2022生产实践专场的分享。
Apache Flink·2023-08-30 06:45

flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了使用flinkcdc同步mysql数据，使用的是全量采集模型startupOptions(StartupOptions.earliest())全量阶段同步完成之后
m0_37759590·2023-08-30 06:12

Flink CDC介绍

1.CDC概述CDC（ChangeDataCapture）是一种用于捕获和处理数据源中的变化的技术。它允许实时地监视数据库或数据流中发生的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。传统上，数据源的变化通常通过周期性地轮询整个数据集进行检查来实现。但是，这种轮询的方式效率低下且不能实时反应变化。而CDC技术则通过在数据源上设置一种机制，使得变化的数据可以被实时捕获并传递给下游处理系
BUG指挥官·2023-08-30 06:10

FlinkSql 如何实现数据去重？

摘要很多时候flink消费上游kafka的数据是有重复的，因此有时候我们想数据在落盘之前进行去重，这在实际开发中具有广泛的应用场景，此处不说详细代码，只粘贴相应的flinksql代码--********
笔生花·2023-08-30 06:10

生产事故：flink任务造成kafka连接泄漏导致kafka集群挂了！！！

2、问题现象1》压测期间产生大量事后数据流向flink实时计算环节，flink任务消费的kafka出现堆积而产生告警。
MCpang·2023-08-30 04:06

Flink教程-flink 1.11使用sql将流式数据写入文件系统

文章目录滚动策略分区提交分区提交触发器分区时间的抽取分区提交策略完整示例定义实体类自定义source写入fileflink提供了一个filesystemconnector，可以使用DDL创建一个table
大数据技术与应用实战·2023-08-30 03:50

流式数据湖平台—Paimon视频教程

Paimon最早是由Flink社区内部孵化而来，原名FlinkTableStore（简称FTS），是Flink的子项目。
尚硅谷铁粉·2023-08-30 03:50

Flink Table Store 独立孵化启动 ， Apache Paimon 诞生

2023年3月12日，FlinkTableStore项目顺利通过投票，正式进入Apache软件基金会(ASF)的孵化器，改名为ApachePaimon(incubating)。
Apache Flink·2023-08-30 03:19

数据湖paimon连接flink、mysql和hive

一、启动flink客户端并测试1、环境准备flink版本：1.16.2lib下需要的依赖包：antlr-runtime-3.5.2.jarcommons-beanutils-1.9.3.jarcommons-pool2
coder李一·2023-08-30 03:49

Flink Table Store 独立孵化启动 ， Apache Paimon 诞生

2023年3月12日，FlinkTableStore项目顺利通过投票，正式进入Apache软件基金会(ASF)的孵化器，改名为ApachePaimon(incubating)。
王知无(import_bigdata)·2023-08-30 03:48

Flink SQL 获取FileSystem时，如果FileName发生更改在则会报错

FLinkSQL在设定各类数据源和数据目标端的时候非常方便，可以说写个建表语句就能获取各种各样的数据。
青冬·2023-08-30 03:48

流数据湖平台Apache Paimon（三）Flink进阶使用

Writer并发写入2.9.4表管理2.9.5缩放Bucket2.10文件操作理解2.10.1插入数据2.10.2删除数据2.10.3Compaction2.10.4修改表2.10.5过期快照2.10.6Flink
Maynor996·2023-08-30 03:45

Flink: FlieSystem SQL Connector

Flink:FlieSystemSQLConnectorFlink：1.13基于https://nightlies.apache.org/flink/flink-docs-release-1.13/docs
coderzjh·2023-08-30 03:45

pyflink实时接收kafka数据至hdfs

/usr/bin/python#-*-coding:UTF-8-*-#测试kafka接收数据，通过pyflink,写入本地hdfsfrompyflink.datastreamimportStreamExecutionEnvironment
小金子的夏天·2023-08-30 03:15

流数据湖平台Apache Paimon（二）集成 Flink 引擎

文章目录第2章集成Flink引擎2.1环境准备2.1.1安装Flink2.1.2上传jar包2.1.3启动Hadoop2.1.4启动sql-client2.2Catalog2.2.1文件系统2.2.2HiveCatalog2.2.3sql
Maynor996·2023-08-30 03:14
上一页 76 77 78 79 80 81 82 83 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他