Flink深度解析

flink时间窗口无新的数据进来最后一个窗口不关闭

测试反馈，配置的flink任务提交上去后，输入数据源符合条件，到时间窗口的size。
奔跑的窝窝牛·2024-01-18 13:45

flink 最后一个窗口一直没有新数据，窗口不关闭问题

flink最后一个窗口一直没有新数据，窗口不关闭问题自定义实现WatermarkStrategy接口自定义实现WatermarkStrategy接口代码：publicstaticclassWatermarkDemoFunctionimplementsWatermarkStrategy
cg6·2024-01-18 13:44

用户需知：ComingChat的现在和未来——深度解析

本周重要事件：ComingChat官网更新！在原有的基础上增加了更多可视化元素及8个语种切换。官网首页新版官网集科技感、便捷性、实用性为一体，全面解析了ComingChat的功能及定位，希望能给用户带来更好的体验。传送门：新官网入口https://coming.chat/另外，本周三ComingChat群内AMA问答活动总结来啦！这次我们畅谈了ComingChat的现状和未来发展的方向，并且也根据
ComingChat·2024-01-18 12:07

字节跳动大数据架构面经（超详细答案总结）

我对Flink组件有着浓厚的兴趣，工作之余经常钻研技术、例如：Flink四大
Python栈机·2024-01-18 12:39

（转）Java 8 Optional类深度解析

转载自：https://www.cnblogs.com/xingzc/p/5778090.html思考：调用一个方法得到了返回值却不能直接将返回值作为参数去调用别的方法。原来解决方案：我们首先要判断这个返回值是否为null，只有在非空的前提下才能将其作为其他方法的参数。这正是一些类似Guava的外部API试图解决的问题。一些JVM编程语言比如Scala、Ceylon等已经将对在核心API中解决了这
hexm01·2024-01-18 11:31

Apache Doris (六十四）： Flink Doris Connector - (1)-源码编译

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.Flink与Doris版本兼容
IT贫道·2024-01-18 08:46

Dinky注册flink集群执行flink作业报错-ERROR:java.lang.NoClassDefFoundError

1、单机部署dinkyv0.7.5+flink1.17.2，已将flinklib依赖包全部复制到dinkyplugins下面并在dinky中注册了flink实例（状态正常），执行一个简单示例，报以下错误
斯同·2024-01-18 07:35

详解TableEnvironment里的executeInternal执行过程（Dinky Flink）

详解TableEnvironment里的executeInternal执行过程（DinkyFlink）1.insertinto执行过程详解待执行SQL：insertintosinkselectemp_no
武舞悟·2024-01-18 07:34

反射执行FlinkSql代码时找不到UDF的class报ClassNotFound

通过组件的方式配置flinkSql的流程，其中有测试环节，就是将生成的源代码通过反射执行一遍。其余组件都正常，就是使用UDF的时候报错ClassNotFound。
原来你是小幸运·2024-01-18 07:33

Mysql CDC 多 Source 复用

原文：https://cloud.tencent.com/document/product/849/76650本页目录：功能介绍如何开启CDCSource复用功能使用提醒目前使用FlinkCDCConnector
javastart·2024-01-18 07:30

Dinky集成Flink碰到的问题

1.yarn-application模式无法创建my_catalog（mysqlcatalog）不久前，在集群上安装了dinky以解决flinkcdc同步占用大量数据库连接以及集群资源的问题，dinky
拉格朗日徒弟柯西·2024-01-18 07:58

Dinky创建Flink实例报错

Dinky版本：0.7.3Flink版本：1.13.0问题描述问题1：已有实例不显示在Dinky的【注册中心】—【Flink实例管理】中：hadoop集群以及zookeeper重启后，之前创建的一个yarn-session
THE WHY·2024-01-18 07:48

基于华为MRS实时消费Kafka通过Flink落盘至HDFS的Hive外部表的调度方案

文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3HDFS
大数据程序终结者·2024-01-18 06:25

SeaTunnel 、DataX 、Sqoop、Flume、Flink CDC 对比

对比对比项ApacheSeaTunnelDataXApacheSqoopApacheFlumeFlinkCDC部署难度容易容易中等，依赖于Hadoop生态系统容易中等，依赖于Hadoop生态系统运行模式分布式
贾斯汀玛尔斯·2024-01-18 06:01

小红书推荐大数据在阿里云上的实践

第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景，以及和阿里云MC-Hologres的合作。
aliyunhologres·2024-01-18 05:55

深度解析Java正则表达式

深度解析Java正则表达式大家好，我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！
weixin_836869520·2024-01-17 22:56

轻轻松松月入过万！这些平台让你实现财务自由！

本文将为您揭露真相，深度解析那些真正可以赚钱的平台。一、优惠券返利平台氧惠是目前返利最高的电商导购平台，邀请码211985。
氧惠好项目·2024-01-17 21:50

最新版Flink CDC MySQL同步MySQL（一）

1.概述FlinkCDC是ApacheFlink®的一组源连接器，使用变更数据捕获(CDC)从不同数据库中获取变更。
Hello.Reader·2024-01-17 18:39

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本篇教程将展示如何使用FlinkCDC构建实时数据湖，并处理分库分表合并同步的场景。
Apache Flink·2024-01-17 18:39

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

何为FLINK-CDC？
木棉庭·2024-01-17 18:09

Java 实现mysql 同步 flink cdc 做数据收集 demo

**准备环境**java8mysqlflink1.3.5flinkcdc2.2.1数据库创建2张测试表格student、和student1CREATETABLE`student`(`id`int(11)
你是小可爱吗·2024-01-17 18:08

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

实时计算功能，底层是基于Flink，我们在此基础上开发辅助插件和可视化开发运维套件，我们将其称之为SailFlink。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。在开发调试的时候，这两个主题中已有数据，一调试运行，数据流先到达被处理，配置流晚到，造
OkGogooXSailboat·2024-01-17 18:36

增加Java对象序列化和反序列化灵活性、适应性的方法

1.背景笔者在进行SailFlink框架开发的时候，涉及大量需要序列化和反序列的类，尤其是各种算子的Function方法。
OkGogooXSailboat·2024-01-17 18:06

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。在项目中遇到这样一种情形：在业务系统中，对某类对象打了标签，现在需要对这类对象进行过滤并分页查询，支持使用这类对象的属性和所打标签进行过滤。这就出现了一个问题：标签和打标信息是存储在大数据平台的数据库中的，而业务数据是存储在业务系统数据库中的，这是两个数据库
OkGogooXSailboat·2024-01-17 18:05

深度解析让你一目了然!

在寻找可以领拼多多优惠券的软件时，我们需要找到一个可靠、优惠力度大且使用方便的工具。本文将推荐几个常用的领券工具，帮助你更好地享受拼多多的优惠。首先，我们需要了解领券的原理。这些领券软件是通过与拼多多官方合作，领取到一些大额的优惠券，从而让我们在购买商品时获得更多的折扣。使用这些领券软件的操作步骤简单，一般只需要在拼多多商品页面复制链接，然后粘贴到领券软件中，就可以获取到优惠券。以下是几款常用的领
古楼·2024-01-17 16:30

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

Flink Sql on Zeppelin（2）——维表Join

维表join代码编写之前在讲FlinkSql的时候和大家聊过维表以及如何用FlinkSql来完成维表Join现在带大家看看如何用Zeppelin来实现这个功能首先，我们先引入我们所需的依赖包，目前大家先跟着我这么写
狄杰丶·2024-01-17 15:33

批发鞋子5元至20元渠道,超低价,一件代发（深度解析篇）

批发鞋子5元至20元渠道,超低价,一件代发（深度解析篇）批发鞋子5元至20元一手货源，是许多商家所关注的热门话题。低价货源吸引着商家的眼球，但其中的真假与好坏也成为了人们的疑问。
优鞋之家·2024-01-17 15:06

FlinkSQL【分组聚合-多维分析-性能调优】应用实例分析

FlinkSQL处理如下实时数据需求：实时聚合不同类型/账号/发布时间的各个指标数据，比如：初始化/初始化后删除/初始化后取消/推送/成功/失败的指标数据。
PONY LEE·2024-01-17 14:44

sqlserver-＞clickhouse迁移数据

网上看了很多cdc的方案，说实在的，flink也不好弄，主要是驱动。
kaka9·2024-01-17 14:20

ZooKeeper 应用场景深度解析

目录引言1.分布式配置管理2.分布式锁3.分布式队列4.分布式协调5.分布式协同6、数据发布与订阅7、命名服务8、集群管理结论引言ZooKeeper是一个分布式协调服务，被广泛应用于构建高可用、可靠性强的分布式系统。它提供了一组简单而强大的原语，用于解决分布式系统中常见的协调和同步问题。在本文中，我们将深入探讨ZooKeeper的多个应用场景，为读者呈现ZooKeeper在实际项目中的卓越价值。1
喔的 喔的嘛呀·2024-01-17 14:18

【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式

【Flink-1.17-教程】-【二】Flink集群搭建、Flink部署、Flink运行模式1）集群角色2）Flink集群搭建2.1.集群启动2.2.向集群提交作业3）部署模式3.1.会话模式（SessionMode
bmyyyyyy·2024-01-17 12:16

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

Flink旁路输出OutputTag

文章目录前言代码示例1.流复制2.条件分流3.迟到数据分流前言除了由DataStream操作产生的主要流之外，还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配，并且不同旁路输出的类型也可以不同。当你需要拆分数据流时，通常必须复制该数据流，然后从每个流中过滤掉不需要的数据。使用旁路输出时，首先需要定义用于标识旁路输出流的OutputTag：//需要使用匿名内部类，
shandongwill·2024-01-17 12:42

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-17 11:48

flink1.15 维表join guava cache和mysql方面优化

优化前mysql响应慢,导致算子中数据输出追不上输入,导致显示cpubusy:100%优化后效果两个图对应两个时刻:----优化前selectl.id,JSON_EXTRACT(r.msg,'$$.key1')asmsgv(selectid,uidfromtb1lwhereid=?)join(selectuid,msgfromtb2)ronl.uid=r.uid;--优化后分两次查询mysql并且
Thomas2143·2024-01-17 08:10

Flink实战之运行架构

本文章：重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManagerFlink中的节点可以分为JobManager和TaskManager。
core512·2024-01-17 06:16

FlinkAPI开发之水位线（Watermark）

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-17 06:08

FlinkAPI开发之处理函数

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理
Appreciate(欣赏)·2024-01-17 06:03

深入理解与应用Flink中的水印机制

在ApacheFlink这一现代大数据处理框架中，对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹·2024-01-17 06:03

【总结】Dinky学习笔记

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio
THE WHY·2024-01-17 04:11

Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster

Flink版本：1.1.3启动YarnSession的语句：bin/yarn-session.sh-nmtest-d报错截图如下：仅通过ERROR信息只能知道是yarnsession集群未能正常启动，因此继续向下查找
THE WHY·2024-01-17 04:09

深入了解鸿鹄工程项目管理系统源码：功能清单与项目模块的深度解析

工程项目管理软件是现代项目管理中不可或缺的工具，它能够帮助项目团队更高效地组织和协调工作。本文将介绍一款功能强大的工程项目管理软件，该软件采用先进的Vue、Uniapp、Layui等技术框架，涵盖了项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营等全过程。通过该软件，项目团队可以轻松地进行项目管理、合同管理、预警管理、竣工管理、质量管理等操作，从而提高项目管理的效率和质量。工程项目管
m0_72864708·2024-01-17 02:37

深度解析内容生成式AI背后的大语言模型，探寻智能浪潮下的存储机遇

几个月前以ChatGPT为首的内容生成式AI就已经火得不能再火了，然而，随着本周GPT-4和文心一言的发布，AI在国内外又“火上加火”了一次。2023年3月14日，OpenAI发布了大型的多模态模型GPT-4。“GPT-4比以往任何版本更具创造性和协作性”，并且“有更广泛的常识和解决问题的能力，可以更准确地解决难题”。OpenAI的CEO山姆·阿尔特曼说：“这是我们迄今为止功能最强大的模型。”为了
存储-小白·2024-01-17 02:52

Flink实例：状态管理State 过期时间TTL

1State过期时间TTL使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。
大数据供成屎·2024-01-17 01:44
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他