大数据框架flink

Flink 解析kafka avro格式

Kafka|ApacheFlink详见上面docs文档flink对接kafka的avro格式
cuichunchi·2024-01-06 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

记-flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表
cg6·2024-01-06 12:43

Flink ＜--＞Kafka的使用介绍+with参数

用户可以把流数据导入到Kafka的某个Topic中，通过Flink算子进行处理后，输出到相同或不同Kafka示例的另一个Topic。
Samooyou·2024-01-06 12:12

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

目录1.环境介绍2.mysql建表3.flinksql建表3.1进入flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据
易逝的年华·2024-01-06 12:12

为什么我的flink upsert-kafka 没有数据输出

测试代码packagecom.yy.state.OperatorStateTTLimportorg.apache.flink.configuration.
Thomas2143·2024-01-06 12:39

RPC学习——入门体验

文章目录前言站长巨人的肩膀上RPC学习——原理图code前言看了flink-rpc之后，感觉rpc框架真的是太强大了，比如netty、akka，之前基于akka写过一个能够处理千万级实时数据量的处理系统
京河小蚁·2024-01-06 09:30

Flink详述双流 Join 3 种解决方案 + 2 种优化方案

1.前言这一期的面试题主要是介绍Flink面试中的高频面试题，Flink流Join相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下：Join的应用场景为什么流式计算中提到Join小伙伴萌就怕呢
pekingK·2024-01-06 08:42

kafka 增量快照的使用

由于RocksDB内部存在compaction机制对sst文件进行合并，Flink的增量快照也会定期重新设立起点（rebase），因此增量链条不会一直增长，旧快照包含的文件也会逐渐过期并被自动清理。
pekingK·2024-01-06 08:12

Apache Paimon:Streaming Lakehouse is Coming

摘要：本文整理自阿里云智能开源表存储负责人，FounderofPaimon，FlinkPMC成员李劲松（花名：之信）、同程旅行大数据专家，ApacheHudi&PaimonContributor吴祥平、
Apache Flink·2024-01-06 08:15

2020-10-24Apache Flink未授权访问-远程代码命令执行-复现

ApacheFlink未授权访问-远程代码命令执行-复现一、漏洞简介ApacheFlinkDashboard默认没有用户权限认证。
thelostworldSec·2024-01-06 06:32

StreamPark 在顺网科技的生产实践, 如何支撑大规模 Flink 作业

导读：本文主要介绍顺网科技在使用Flink计算引擎中遇到的一些挑战，基于StreamPark作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。
Apache StreamPark·2024-01-06 05:18

Flink学习笔记（一）：为什么选择flink

一、概述在很多数据处理场景下，要求数据以数据流的形式进行分析和存储，然鹅er…为啥选flink呢？
胖胖的战士·2024-01-06 05:48

Flink CEP完全指南：捕获数据的灵魂，构建智慧监控与实时分析大师级工具

FlinkCEP（ComplexEventProcessing）是ApacheFlink的一个库，用于实现复杂的事件流处理和模式匹配。
数据与后端架构提升之路·2024-01-05 21:01

Flink CDC 2.0原理详解和生产实践

FlinkCDC概念CDC的全称是ChangeDataCapture，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为CDC。
王知无(import_bigdata)·2024-01-05 20:24

Apache Flink连载（八）：Apache Flink架构

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2024-01-05 14:36

大数据毕设分享 flink大数据淘宝用户行为数据实时分析与可视化

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
caxiou·2024-01-05 13:58

python毕设选题 - flink大数据淘宝用户行为数据实时分析与可视化

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
DanCheng-studio·2024-01-05 12:00

Flink实时电商数仓之旁路缓存

撤回流的处理撤回流是指流式处理过程中，两表join过程中的数据是一条一条跑过来的，即原本可以join到一起的数据在刚开始可能并没有join上。撤回流的格式：解决方案定时器：使用定时器定时10s（数据最大的时间差值），定时器触发时将状态中的数据发送过来如果重复计算这些数据，如何保持结果正确即可；通过每次度量值修改为当次度量值-上次度量值即可异步IO减少等待的时间，充分利用已有的资源使用异步IO时，必
十七✧ᐦ̤·2024-01-05 07:47

【Flink】Flink 1.13 将数据 写入 到 elasticsearch 7 案例

文章目录1.概述2.Sink:Batch3.依赖4.创建Elasticsearch表5.连接器参数6.特性6.1.Key处理6.2.动态索引6.3数据类型映射6.4FileSystem7.案例1.概述
九师兄·2024-01-05 06:32

flink写入es版本控制问题

本次讨论各种情况es写入的版本控制问题，以及flink1.6.x与es6.x的小插曲1：测试不控制版本号的create覆盖操作Requests.indexRequest().index("test").
溜溜留·2024-01-05 06:32

Flink写入Elasticsearch（es）问题汇总记录

Flink写入Elasticsearch（es）问题汇总1、报错信息:org.apache.flink.client.program.ProgramInvocationException:Themainmethodcausedanerror
qq_38558851·2024-01-05 06:32

Flink读取Kafka数据批量写入ES(elasticsearch)

Flink实时消费kafka数据，数据经过处理，富化、清洗等操作，写入ES。在流式计算中，此场景十分常见。
m0_67401228·2024-01-05 06:29

flink将数据写入到kafka

前言在之前的一篇中，我们谈到在flink中如何读取来自kafka指定topic的数据，在实际生产环境中，比较常见的场景是，kafka作为数据源，flink程序读取到kafka的数据后，进行初步的处理后，
逆风飞翔的小叔·2024-01-05 06:25

flink将数据写入redis

前言通过flink分析出来的数据，经常需要写入到外部存储系统，以供其他应用来使用这些数据，比如redis就是一个很好的存储数据库，写入到redis后，应用可以读取redis中的数据做统计、分析、计算等1
逆风飞翔的小叔·2024-01-05 06:55

flink on yarn任务启停脚本(实现一键读取ck启动，保存ck停止）

1.问题描述flink同步任务，长期任务过多，某个任务停止保存checkpoint或者savepoint后，修改代码，使用命令行读取检查点重新启动需要人工去hdfs上找寻检查点保存位置。
tuoluzhe8521·2024-01-05 06:20

flink table view datastream互转

String,f2:Inner,f3:Int)caseclassInner(f3:String,f4:Int)测试代码packagecom.yy.table.convertimportorg.apache.flink.streaming.api.scala.StreamExecutionEn
Thomas2143·2024-01-05 06:48

flink如何写入es

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、写入到Elasticsearch5二、写入到Elasticsearch7总结前言Flinksink流数据写入到es5和es7
shandongwill·2024-01-05 06:47

【flink番外篇】9、Flink Table API 支持的操作示例（13）- Row-based（map、flatmap、aggregate、group window aggregate等）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:42

【flink番外篇】9、Flink Table API 支持的操作示例（12）- Over Windows（有界和无界的over window）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:41

【flink番外篇】9、Flink Table API 支持的操作示例（1）-完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:40

【flink番外篇】9、Flink Table API 支持的操作示例（14）- 时态表的join（java版本）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:07

记录Flink 线上碰到java.lang.OutOfMemoryError: GC overhead limit exceeded如何处理？

这个问题是FlinkTM内存中我们常见的，看到这个问题我们就要想到下面这句话：程序在垃圾回收上花了很多时间，却收集一点点内存，伴随着会出现CPU的升高。是不是大家出现这个问题都会出现上面这种情况呢。
yzw_ai_sx·2024-01-05 02:40

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-05 00:48

Flink源码-集群启动-ResourceMangaer启动

image.pngResourceManger负责任务Slot的申请，其中主要是内部的SlotManager管理Slot,下边分析下RM的启动过程。核心主要是启动两个心跳服务，维持和TM,JM的心跳。启动SlotManager管理Slot资源
飞_侠·2024-01-04 22:08

Flink | Checkpoint 机制详解

一、Checkpoint简介Flink的Checkpoint机制是其可靠性的基石。
坨坨的大数据·2024-01-04 20:32

Flink 的时间属性及原理解析

Flink的API大体上可以划分为三个层次：处于最底层的ProcessFunction、中间一层的DataStreamAPI和最上层的SQL/TableAPI，这三层中的每一层都非常依赖于时间属性。
程序猿进阶·2024-01-04 18:57

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

Flink 任务指标监控

TaskManager指标Job指标资源监控指标数据流监控指标任务监控指标网络监控指标容错监控指标数据源监控指标数据存储监控指标JobManager指标TaskManager指标Job指标当使用ApacheFlink
墨子白·2024-01-04 16:03

Flink状态容错savepoint与checkpoint

本文目录CheckpointsStateBackendsSavepointsCheckpoints与Savepoints区别Flink可以保证exactlyonce，与其容错机制checkpoint和savepoint
大数据技术派·2024-01-04 16:33

FlinkSQL处理Canal-JSON数据

Flink支持将Canal的JSON消息解析为INSERT、UPDA
实时即未来·2024-01-04 11:34

Flink Watermark和时间语义

Flink中的时间语义时间语义：EventTime：事件创建时间；IngestionTime：数据进入Flink的时间；ProcessingTime：执行操作算子的本地系统时间，与机器无关。
程序猿进阶·2024-01-04 06:51

docker搭建Dinky —— 筑梦之路

简介Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
筑梦之路·2024-01-04 03:40

Flink应用介绍

前言：Flink自2014年开源以来，网上对Flink的介绍不可胜数；作为一个灵活的实时计算框架，Flink到底能用来做什么？
i7杨·2024-01-04 03:37

在与面试官面试之后的某些回想

4.我感觉在面试官说完后，我还是很懵，比如人家说flink架构时，我回答的是运行架构，
劝学-大数据·2024-01-03 17:22

基于 Flink 的百亿数据去重实践

在工作中经常会遇到去重的场景，例如基于App的用户行为日志分析系统，用户的行为日志从手机客户端上报到Nginx服务端，通过Logstash、Flume或其他工具将日志从Nginx写入到Kafka中。由于用户手机客户端的网络可能出现不稳定，所以手机客户端上传日志的策略是：宁可重复上报，也不能丢日志。所以导致Kafka中必然会出现日志重复的情况，即：同一条日志出现了2条或2条以上。通常情况下，Flin
zhisheng_blog·2024-01-03 16:52

Flink 维表关联方案

Flink维表关联方案1、FlinkDataStream关联维表1）概述1.分类实时数据库查找关联（Per-RecordReferenceDataLookup）预加载维表关联（Pre-LoadingofReferenceData
猫猫爱吃小鱼粮·2024-01-03 16:49

Flink-Paimon 案例

Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、
猫猫爱吃小鱼粮·2024-01-03 16:49

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

文章目录引言支持多版本Flink切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar
小螺旋丸·2024-01-03 10:21
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他