flink实时数仓

优维产品最佳实践第20期：控制台全链路监控

之前我们会觉得cmdb自动发现没有上报很难排查，弄不清楚数据的上报链路；监控指标的数据断点很难定位，flink对现场来说是一个黑盒子；apm数据更新不及时到底是上报异常还是入库失败呢？
优维科技EasyOps·2023-12-26 18:53

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana可视化配置2.7发布数据接口三、实时监控3.1Canal3.1.1配置MySQL3.1.2安装canal3.2CanalODS层数据分流3.3Maxwell3.4MaxwellODS层数
L小Ray想有腮·2023-12-26 18:53

Flink实战案例四部曲

Flink实战案例四部曲第一部曲:统计5分钟内用户修改创建删除文件的操作日志数量输入1001,delete1002,update1001,create1002,delte输出1001，21002，2代码如下
play_big_knife·2023-12-26 18:51

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:15

【Flink-Kafka-To-Mysql】使用 Flink 实现 Kafka 数据写入 Mysql（根据对应操作类型进行增、删、改操作）

【Flink-Kafka-To-Mysql】使用Flink实现Kafka数据写入Mysql（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:08

dinky1.0 同步PG 时 修改数据类型

flinkcdc在同步decimal类型数据的时候精度不允许超过38,所以修改为精度超过38就修改为string类型AbstractSinkBuilder.java第237行StringcdcSqlInsert
州周·2023-12-26 17:56

dinky 本地编译并启动

1.1下载源码包后，解压进入idea设置profiles，dev,flink
州周·2023-12-26 17:26

Flink的waterMark实现解决乱序以及延迟数据

1、watermark的作用watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序的产生（out-of-order或者说lat
我还不够强·2023-12-26 15:30

Flink SQL Create 语法

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/createCREATE语句用于注册表
Alex90·2023-12-26 13:32

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例（2） - operator state

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:04

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例 - 完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:34

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例（1） - Keyed State

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:04

【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例（1） - checkpoint配置及实现

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:30

Iceberg1.4.2 java 表管理（DDL和DML）操作

既然是一种开放的表管理格式，那就不应该依赖hadoop，hive，spark，flink
smileyboy2009·2023-12-26 10:26

spark和flink对比

最近网上和各大公司在对比spark和flink,也有一部分人，演讲时不分析代码原理，不根据事实，直接吹嘘flink比spark好，flink能干掉spark的话，今天就跟大家从技术，应用和未来发展角度对两个产品进行对比
smileyboy2009·2023-12-26 10:25

【Flink-Kafka-To-Kafka】使用 Flink 实现 Kafka 数据写入 Kafka

【Flink-Kafka-To-Kafka】使用Flink实现Kafka数据写入Kafka1）导入依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-26 07:59

Flink电商实时数仓（六）

交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入Kafka支付成功主题执行步骤设置ttl，通过Intervaljoin实现左右流的状态管理获取下单明细数据：用户必然要先下单才有可能支付成功，因此支付成功明细数据集必然是订单明细数据集的子集。要注意：Interv
十七✧ᐦ̤·2023-12-26 07:25

iceberg1.4.2 +minio通过spark创建表，插入数据

下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。
smileyboy2009·2023-12-26 06:39

【Linux系统基础】（6）在Linux上大数据NoSQL数据库HBase集群部署、分布式内存计算Spark环境及Flink环境部署详细教程

大数据NoSQL数据库HBase集群部署简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。和Redis一样，HBase是一款KeyValue型存储的数据库。不过和Redis设计方向不同Redis设计为少量数据，超快检索HBase设计为海量数据，快速检索HBase在大数据领域应用十分广泛，现在我们来在node1、node2、node3上部署HBase集群。安装HBase依赖Zo
老牛源码·2023-12-26 06:13

Hadoop——分布式计算

2种工作模式分散->汇总（MapReduce就是这种模式）将数据分片，多台服务器各自负责一部分数据处理然后将各自的结果，进行汇总处理最终得到想要的计算结果中心调度->步骤执行（大数据体系的Spark、Flink
weixin_50458070·2023-12-26 06:38

flink的侧输出(sideoutput)和OutputTag

背景用flink做数据处理的时候，我们经常会想要将数据分成几类处理，或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务，避免重复处理数据。这种需求，使用sideoutput完美解决。
flushmeteor·2023-12-26 05:04

flink入门教程

demo地址：https://github.com/pacteralhw/flink_demo.git本地部署，启动flink.
刀锋0001·2023-12-26 02:44

Flink CDC 1.0至3.0回忆录

FlinkCDC1.0至3.0回忆录一、引言二、CDC概述三、FlinkCDC1.0：扬帆起航3.1架构设计3.2版本痛点四、FlinkCDC2.0：成长突破4.1DBlog无锁算法4.2FLIP-27
乙真仙人·2023-12-25 15:01

flink 读取kafka 数据写入mysql

创建flink环境：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism
赤土 炙焱·2023-12-25 12:20

Flink 日志总结

前言总结一下Flink项目代码打印日志的配置。目的默认情况下不会打印Flink日志信息，只会抛出缺少日志类警告，比如上篇文章中的flink-hbase代码就没有打印Flink日志信息。
董可伦·2023-12-25 12:07

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
浪尖聊大数据-浪尖·2023-12-25 10:45

【Flink SQL API体验数据湖格式之paimon】

前言随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle中选择，BI报表工具会从IBMcognos、SapBo或者帆软中选择，基本上使用的产品组合都类似，但随着数据量的激增，之前的部署方式
以茉萱·2023-12-25 08:01

【Flink】 Flink实时读取mysql数据

准备你需要将这两个依赖添加到pom.xml中mysqlmysql-connector-java8.0.0读取kafka数据这里我依旧用的以前的student类，自己本地起了kafka然后造一些测试数据，这里我们测试发送一条数据则sleep10s，意味着往kafka中一分钟发6条数据。packagecom.zhisheng.connectors.mysql.utils;importcom.zhish
奔向理想的星辰大海·2023-12-25 05:58

Flink 客户端操作命令及可视化工具

Flink提供了丰富的客户端操作来提交任务和与任务进行交互。下面主要从Flink命令行、ScalaShell、SQLClient、RestfulAPI和Web五个方面进行整理。
程序猿进阶·2023-12-25 05:57

Flink1.17实战教程（第二篇：DataStream API）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）文章目录系列文章目录1.执行环境（ExecutionEnvironment
阿moments·2023-12-25 04:35

Flink1.17实战教程（第一篇：概念、部署、架构）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）文章目录系列文章目录1.Flink概述1.1Flink是什么1.2Flink特点1.3FlinkvsSparkStreaming1.4Flink
阿moments·2023-12-25 04:02

Flink实时电商数仓（五）

FlinkSQL的joinRegularjoin普通join，两条流的数据都时存放在内存的状态中，如果两条流数据都很大，对内存压力很大。
十七✧ᐦ̤·2023-12-25 02:27

Flink电商实时数仓（四）

日志数据结构业务数据：数据都是MySQL中的表格数据,使用FlinkSQL处理日志数据：分为page页面日志（页面信息，曝光信息，动作信息，报错信息）和启动日志（启动信息，报错信息），使用FlinkStreamAPI
十七✧ᐦ̤·2023-12-25 02:57

解密Flink的状态管理：探索流处理框架的数据保留之道，释放流处理的无限潜能！

水善利万物而不争，处众人之所恶，故几于道文章目录一、什么是状态二、应用场景三、Flink中状态的分类四、算子状态1.列表状态（ListState）2.广播状态（BroadcastState）五、键控状态
阿年、嗯啊·2023-12-25 00:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark，Flink
洛神灬殇·2023-12-24 23:17

Flink知识点

Flink1.简单介绍一下Flink2.Flink的运行必须依赖Hadoop组件吗3.Flink集群运行时角色4.Flink相比SparkStreaming的区别4.1、什么是两阶段提交协议？
芝麻仗剑走天涯·2023-12-24 22:26

面试高频|万字详解Flink双流JOIN

目录1引子1.1数据库SQL中的JOIN1.2离线场景下的JOIN2实时场景下的JOIN2.1方案思路3Flink的双流JOIN3.1内部运行机制3.2JOIN实现机制4基于WindowJoin的双流JOIN
大数据兵工厂·2023-12-24 22:55

Flink 解析（二）：反压机制解析

目录Flink反压机制FlinkTaskManager内存结构跨TaskManager的反压过程基于Credit的反压过程TM内部的反压过程Flink反压监控反压的原因参考Flink反压机制反压是流式系统中关于处理能力的动态反馈机制
Stray_Lambs·2023-12-24 22:25

测试工程师常见面试题（高级）

5、flink是什
打了鸡血的点狗·2023-12-24 22:25

Flink优化——资源优化（一）

端并行度的配置Keyby之前的算子Keyby之后的算子（KeyGroup最小值为128）Sink端并行度的配置RocksDB大状态调优设置本地RocksDB多目录：Checkpoint设置资源配置优化Flink
Stray_Lambs·2023-12-24 22:54

Flink优化——数据倾斜（二）

之后发生的数据倾斜聚合操作存在数据倾斜窗口聚合操作存在数据倾斜数据倾斜判断是否存在数据倾斜相同Task的多个Subtask中，个别Subtask接收到的数据量明显大于其他Subtask接收到的数据量，通过FlinkWebUI
Stray_Lambs·2023-12-24 22:54

Flink面试题与详解

Flink面试题目合集从牛客网上找到的一些面试题，如果还有其他的，欢迎大家补充。1、能否详细描述下ApacheFlink的架构组件和其工作原理？请介绍一下FlinkonYARN部署模式的工作原理。
Stray_Lambs·2023-12-24 22:53

Introduction to Apache Flink - CH2 -Traditional Architecture versus Streaming Architecture

传统结构与流式结构的对比传统上，一个数据后端的典型结构是使用数据库来存储业务事务性数据。换句话说，数据库（无论是SQL还是NoSQL数据库）存储着就”新鲜的“（准确的近义词）数据，这些数据代表了业务的当前状态。举例来说，这些新鲜的数据可能代表着有多少用户登录了你的系统，你的网站有多少活跃用户或者每个用户当前账户的余额是多少等等。需要使用新鲜数据的数据应用就是建立再这些数据库的基础上的。另一些数据存
耳边的火·2023-12-24 20:44

Flink SQL 知其所以然（五）| 自定义 protobuf format

1.序篇-本文结构protobuf作为目前各大公司中最广泛使用的高效的协议数据交换格式工具库，会大量作为流式数据传输的序列化方式，所以在flinksql中如果能实现protobuf的format会非常有用
大数据羊说·2023-12-24 15:59

flink 自定义序列化对象Sink/Source

flink接收字节数据此处用rabbitmq做Source引入jar包org.apache.flinkflink-connector-rabbitmq_2.121.12.0用rabbit做中间件引用flink
xuxie13·2023-12-24 08:22

【Flink】Flink-Kafka序列化反序列化

最简单的是SimpleStringSchema，对字符串进行序列化反序列化，这个Schema中既实现了了序列化，也实现了反序列化newSimpleStringSchema()union.addSink(newFlinkKafkaProducer011
一杯咖啡半杯糖·2023-12-24 08:52

Flink消費kafka数据的反序列化方式

Flink消費kafka数据的反序列化方式Flink反序列化顶层接口1.DeserializationSchema接口2.KafkaDeserializationSchema接口接收kafka数据时常用的反序列化类
闻风-堡·2023-12-24 08:52

flink.12 序列化

一.元组(TuplesandCaseClasses)对java来说Tuples是flink自带的一种类,对于scala来说flink没有提供类似Tuples的类,因为scala天生自带了一种特殊类caseclass
朝闻道，夕死足·2023-12-24 08:50

Flink数据类型&&序列化&&序列化器

官网：https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/types_serialization.html背景：在Java和大数据生态圈中
@可能·2023-12-24 08:50

Flink实时计算运用（七）Flink 自定义序列化Protobuf接入实现方案

1.自定义序列化接入方案（Protobuf）在实际应用场景中，会存在各种复杂传输对象，同时要求较高的传输处理性能，这就需要采用自定义的序列化方式做相应实现，这里以Protobuf为例做讲解。功能：kafka对同一Topic的生产与消费，采用Protobuf做序列化与反序列化传输，验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax="proto3";optionjava_pa
麦神-mirson·2023-12-24 08:49
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他