--Flink

Flink On K8s实践2:Flink Kubernetes Operator安装使用

在上一篇文章《FlinkOnK8s实践1:FlinkKubernetesOperator介绍》中讲解了FlinkKubernetesOperator是什么和它的架构，本文继续讲解如何安装和使用FlinkKubernetesOperator
BigdataOnK8s·2023-12-01 07:50

【Flink进阶】-- Flink kubernetes operator 快速入门与实战

1、课程目录2、课程链接https://edu.csdn.net/course/detail/38831
high2011·2023-12-01 07:49

2019-02-01

大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算——流式计算(Storm、SparkStreaming)Flink
奔跑的风2019·2023-12-01 04:34

【Flink实战系列】Flink 消费 kafka 并行度设置多少合理(kafka 的 partition 和 Flink 的 subtask 对应关系) ?

Flink消费kafka数据并行度设置多少比较合理?最近一个朋友问我的问题,Flink消费kafka数据的时候,并行度设置多少比较合理呢?假如消费多个topic,又该怎么设置呢?
JasonLee实时计算·2023-11-30 22:34

flink 解决udf重复调用的问题（亲测有效）

问题针对如图的情况，udf会被调用4次，如果udf是计算型的，后果很严重。接下来介绍一下解决的办法。更改底层源码大神的博客继续往下看，有测试过程测试UDF1.写两个udfpublicclassUdf1extendsScalarFunction{publiclongeval(longordernumber
重生之我在异世界打工·2023-11-30 22:04

flink自定义metrics监控kafka消费

一背景因为业务需求，要在flink中监控kafka消费的数据量以及积压情况，在网上找了很久没找到直接能用的代码。在这里把自己的实现记录一下。
zyyBjtu·2023-11-30 22:04

Flink监控报警系统

Metric实时监控报警思路自己做Metric监控TaskMetrics点击右上角可以添加多个指标，我目前认为通过查看这几个指标可以大概知道任务的运行情况。checkpoint
重生之我在异世界打工·2023-11-30 22:03

flink写入带kerberos认证的kudu connector

先来看kudujavaapi认证kerberos1.首先需要进行kerberos的验证（需要将相应用户的keytab文件引入本地）2.依赖3.引入hadoop配置文件4.获取客户端5.增删改查三、修改flink-kuduconnector
重生之我在异世界打工·2023-11-30 22:03

flink1.12配置滚动日志（超详细）

flink1.12配置滚动日志（超详细）配置滚动生成的目的配置方式1.在代码中指定2.提交任务时指定3.官方建议详细配置完整的log4j.properties配置文件如下:flink1.12kafka的
重生之我在异世界打工·2023-11-30 22:03

flink状态与kafka消费参数

当没有使用状态的时候，如第一次部署我们设置了consumer.setStartFromTimestamp(DateUtil.getMillsFromString(startTime));那么这个参数就会起作用当我们任务从ck状态恢复的时候，这个参数就失去了作用如下图任务从ck恢复，时间设置为2021-06-05但是并没有从凌晨消费，而是从下午3点
都教授2000·2023-11-30 22:32

【Flink】Flink 消费 kafka 实现 限流处理 RateLimiter

文章目录1.概述2.案例2.1案例13.源码纪念一波，九师兄博客热门订阅专栏时常名列前茅，我飘了，哈哈哈哈，得意的笑1.概述首先看看【java】高并发之限流RateLimiter使用这个去看看限流怎么使用。然后看看扩展的kafka是如何限流的，
九师兄·2023-11-30 22:30

flink消费kafka设置（记录）

最近遇到个问题，flink消费kafka直接用kafka设置却无法从最新的开始消费auto.offset.reset=latest后面直接通过FlinkKafkaConsumer.setStartFromTimestamp
NemoonFish·2023-11-30 22:30

flink中读取kafka消息写进es中消费进度过慢问题

问题：在数据量较小的时候，从kafka中读取消息并写入es，没什么问题。但是等数据量多的时候，发现读kafka消息向es写入速度明显变慢，出现了时间上较大的延迟。最后排查原因，发现是es有提交的机制，设置的最大的提交量是1，这样就会导致数据每来一条就要执行一次提交的操作，这样极大的拖慢了整个系统的处理速度。esSinkBuilder.setBulkFlushMaxActions(1);后面修改为e
如果丶可以坑·2023-11-30 22:59

flink消费kafka限制消费速率

flink版本1.14别的版本类似需要速率限制的情况1.任务异常在停止的时间内大量数据挤压2.新任务上线需要铺底数据，消费几天前的数据在不增加内存和并行度的情况下，如果任务启动可能会造成oom，这时需要进行速率限制
重生之我在异世界打工·2023-11-30 22:57

【Leetcode】Given a non-empty, singly linked list with head node head, return a middle node of link...

Givenanon-empty,singlylinkedlistwithheadnodehead,returnamiddlenodeoflinkedlist.Iftherearetwomiddlenodes
云端漫步_b5aa·2023-11-30 21:17

flink example：热门商品统计

timestamp543462,1715,1464116,pv,1511658000470572,3760250,1299190,pv,1511658001二.maven仓库4.0.0org.examplelearn-flinkpom1.0
阿猫阿狗Hakuna·2023-11-30 19:16

Caused by: java.lang.ClassNotFoundException问题总结

Causedby:java.lang.ClassNotFoundException:org.apache.flink.table.api.bridge.java.internal.BatchTableEnvironmentImpl
真.电脑人·2023-11-30 16:54

（2）FlinkSQL滚动窗口demo演示

滚动窗口（TumblingWindows）滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（windowsize）。1.pngdemo演示：场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑（1）准备一个实体对象，消息对象packa
NBI大数据可视化分析·2023-11-30 14:29

Flink如何保证数据的一致性

当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？##一致性级别在流处理中，一致性可以分为3个级别：-at-most-once:这其实是没
kk_io·2023-11-30 13:38

Flink - CEP监控下单付款超时通知

在电商领域通常会有这样一种需要，如果客户下单了，但是在10分钟内不付款，应该需要通知客服，再由客服寻问客户为什么还没有付款，从而提高付款效率，我们可以采用Flink-CEP的超时机制来处理。
kikiki4·2023-11-30 12:43

Flink-时间流与水印

时间流与水印一、背景二、时间语义1.事件时间（eventtime）2.读取时间（ingestiontime）3.处理时间（processingtime）三、水印-Watermarks1.延迟和正确性2.延迟事件3.顺序流4.无序流5.并行流四、Windows1.窗口维度分类1.1时间窗口1.2数量窗口2.窗口规则分类2.1滚动窗口2.2滑动窗口2.3会话窗口2.4全局窗口3.内置窗口4.窗口函数4
临江蓑笠翁·2023-11-30 11:12

面试篇Flink

一：为什么学习flink？相比较spark，flink对于实时这块，使用过流的方式进行实现。spark是通过批流的方式实现，通过减少批的时间间隔来实现流的功能。二：什么是flink？
宇智波云·2023-11-30 11:10

Apache Flink（三）：Flink核心特性及应用场景

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Flink的核心特性2.Flink应用场景1.Flink的核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口
IT贫道·2023-11-30 11:01

45、Flink 的指标体系介绍及验证（3）- 完整版

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-30 11:56

48、Flink DataStream API 编程指南（1）- DataStream 入门示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-30 11:25

Apache Flink（二）：数据架构演变

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.业务处理-单体架构2.业务处理-微服务架构3.数据分析-大数据Lambda架构4.有状态流计算架构近年来随着越来越多的大数据技术被开源，例如：HDFS
IT贫道·2023-11-30 11:19

Flink 源码之 Distributed Cache

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录背景Flink分布式缓存(DistributedCache)可用于向作业的各个TaskManager分发文件。
AlienPaul·2023-11-30 10:14

SeaTunnel下载安装与使用

2.1SeaTunnel安装2.2SeaTunnel使用1SeaTunnel简介1.1SeaTunnel概述SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于ApacheSpark和ApacheFlink
你是光芒丶·2023-11-30 09:42

SeaTunnel 2.1.3 任务执行流程源码解析

通过我们努力让Spark、Flink的使用更简单、更高效，将行业的优质经验和我们对Spar、Flinkk的使用固化到产品SeaTunnel中，显着降低学习成本，加速分布式数据处理能力的部署
EdwardsWang丶·2023-11-30 09:57

Flink 源码周边之Maven Plugin

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言为了实现构建自动化，Flink项目使用了多种Maven插件，从而将构建过程各个步骤做成标准的、配置式流程。
AlienPaul·2023-11-30 07:40

Flink-sql 计数窗口

1.Flink的计数窗口有两种1.1计数混动窗口packagecom.wudl.flink.sql;importcom.wudl.flink.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction
wudl5566·2023-11-30 04:18

Flink-shell

1.FlinkSQl客户端启动一个flink的集群可以使用flink独立集群，也可以使用yarn-session.sh1.启动Hadoop集群2.yarn-session.sh-d3.sql-client.sh1.1sql-client.sh-isql-client.sh-i
大学生爱编程·2023-11-30 04:46

Flink窗口-计数窗口（CountWindow）

文章目录Flink窗口-CountWindow使用（一）数量窗口的本质（二）数量窗口的使用（1）调用WindowAPI（2）Window触发时执行计算逻辑①匿名内部类方式②自定义WindowFunction③
保护我方胖虎·2023-11-30 04:15

Flink-时间窗口源码分析

Flink-时间窗口源码分析Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐1时间窗口基本概念见Flink学习1-基础概念-时间窗口窗口生命周期：2滚动窗口
迷路剑客·2023-11-30 04:14

Flink - 窗口

就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析时间窗口（TimeWindow）滚动时间窗口将数据依据固定的窗口长度对数据进行切分时间对齐，窗口长度固定，没有重叠滑动时间窗口会话窗口（只有Flink
javafanwk·2023-11-30 04:44

Flink-时间窗口

在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。时间语义1、处理时间（ProcessingTime）处理时间的概念非常简单，就是指执行处理操作的机器的系统时间。在这种时间语义下处理窗口非常简单粗暴，不需要各个节点之间进行协调同步，也不需要考虑数据在
open_test01·2023-11-30 04:13

flink1.8.2 on yarn 运行在jdk1.7环境上

要知道flink是建立在jdk1.8上面的，奈何集群环境的是1.7flink-conf.yaml追加三行env.java.home:/opt/jdk1.8.0_31containerized.master.env.JAVA_HOME
南修子·2023-11-30 02:25

Apache Flink——处理函数

前言在更底层，可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就被叫作“处理函数”（processfunction）。在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state）以及时间（time）。这就相当于对流有了
小波同学·2023-11-29 23:14

Flink SQL实战演练之CSV Format

简介：实时业务中行为数据一般是以日志的形式收集的，日志的结构通常类似于nginxaccesslog，我们在接收到日志后，需要对数据结构进行解析，按照一定的schema存储到后续的存储系统中，接下来聊聊近期对点击数据的处理方式。前言CSVFormat允许我们基于CSVschema进行解析和生成CSV数据，然后再将健值对数据映射成map，查询时根据字段取出对应的值作为字段值，下面分不同的实现方式进行阐
Coder小咚·2023-11-29 22:19

flink AskTimeoutException异常

java.util.concurrent.CompletionException:akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka.tcp://flink
Jackson_Tan·2023-11-29 22:48

flink源码分析之功能组件(三)-rpc组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件II

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件I

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:03

Cufflinks --转录组组装有参考基因组

一.简介Cufflinks下主要包含cufflinks,cuffmerge,cuffcompare和cuffdiff等几支主要的程序。主要用于基因表达量的计算和差异表达基因的寻找。
g863402758·2023-11-29 18:45

flink任务编程-java版-基础环境准备

flink是目前流处理方面快速发展的计算平台，在针对该平台的编程介绍不少，但是有很多坑并没有完全搞清，这里将以往的使用经验与大家分享，希望能够加速大家掌握和使用。
李征兵·2023-11-29 18:35

Flink项目系列2-实时热门商品统计

一.项目剖析基本需求:统计近1小时内的热门商品，每5分钟更新一次热门度用浏览次数（“pv”）来衡量解决思路在所有用户行为数据中，过滤出浏览（“pv”）行为进行统计构建滑动窗口，窗口长度为1小时，滑动距离为5分钟image.png按照商品Id进行分区image.png设置时间窗口image.png时间窗口（timeWindow）区间为左闭右开同一份数据会被分发到不同的窗口image.png窗口聚合i
只是甲·2023-11-29 15:21

大数据开发：Flink容错机制Task Failover策略

在Flink的容错机制当中，作业执行层面的容错，有一个非常重要的策略，就是TaskFailover策略，这是针对于计算层面的最小执行层面，在大数据流计算场景下，Task错误非常常见。
成都加米谷大数据·2023-11-29 12:37

pytest系列——allure之集成缺陷管理系统和测试管理系统(@allure.link()、@allure.issue()、@allure.testcase()

三个装饰器源码deflink(url,link_type=LinkType.LINK,name=None):returnsafely(plugin_manager.hook.decorate_as_link
测试小婉·2023-11-29 09:39

Flink读取MongoDB中的数据

1.pom.xml添加相关依赖org.apache.flinkflink-hadoop-compatibility_2.111.6.0org.mongodb.mongo-hadoopmongo-hadoop-core2.0.02
fantasticMao·2023-11-29 08:01

HCIA-Big Data华为认证大数据工程师 习题册 含答案

大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算7.Flink
k Chivalrous man·2023-11-29 08:16
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他