flink流式处理

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-17 11:48

flink1.15 维表join guava cache和mysql方面优化

优化前mysql响应慢,导致算子中数据输出追不上输入,导致显示cpubusy:100%优化后效果两个图对应两个时刻:----优化前selectl.id,JSON_EXTRACT(r.msg,'$$.key1')asmsgv(selectid,uidfromtb1lwhereid=?)join(selectuid,msgfromtb2)ronl.uid=r.uid;--优化后分两次查询mysql并且
Thomas2143·2024-01-17 08:10

Flink实战之运行架构

本文章：重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManagerFlink中的节点可以分为JobManager和TaskManager。
core512·2024-01-17 06:16

FlinkAPI开发之水位线（Watermark）

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-17 06:08

FlinkAPI开发之处理函数

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048概述之前所介绍的流处理
Appreciate(欣赏)·2024-01-17 06:03

深入理解与应用Flink中的水印机制

在ApacheFlink这一现代大数据处理框架中，对实时流数据的高效、准确处理是一个核心诉求。
临界爵迹·2024-01-17 06:03

【总结】Dinky学习笔记

概述Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践官网：Dinky核心特性沉浸式：提供专业的DataStudio
THE WHY·2024-01-17 04:11

Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster

Flink版本：1.1.3启动YarnSession的语句：bin/yarn-session.sh-nmtest-d报错截图如下：仅通过ERROR信息只能知道是yarnsession集群未能正常启动，因此继续向下查找
THE WHY·2024-01-17 04:09

Flink实例：状态管理State 过期时间TTL

1State过期时间TTL使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。
大数据供成屎·2024-01-17 01:44

【状态管理｜概述】Flink的状态管理：为什么需要state、怎么保存state、对于state过大怎么处理

文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在hdfs中存储？3.设置checkpoint3.1.大状态下设置checkpoint3.2.EXACTLY_ONCE下设置分析checkpoint三.State设置过期时间1.datastream的TTL2.TableAPI和SQL的
roman_日积跬步-终至千里·2024-01-17 01:13

Flink State 状态管理

文章目录前言一、状态分类二、keyed代码示例ListStateMapState总结前言状态在Flink中叫做State，用来保存中间计算结果或者缓存数据。
shandongwill·2024-01-17 01:43

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行·2024-01-16 20:40

Docker安装各种软件

目录一.Nacos二.MySQL5.7三.Tomcat四.Clickhouse五.Redis六.Zookeeper七.Kafka八.Flink九.Fastdfs十.RabbitMQ十一.Elasticsearch
黑暗对我避而远之·2024-01-16 20:37

Alink 使用技巧：如何使用批式 CSV 数据读取？

Alink是基于Flink的机器学习算法平台，欢迎访问Alink的GitHub获取更多信息。本文主要分享Alink的使用技巧之一，如何使用批式CSV进行数据读取。
流计算Alink·2024-01-16 19:39

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从kafka中读取数据流式处理批处理数据写入
Sisi525693·2024-01-16 19:58

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

【FlinkSQL】一文读懂 动态表-时态表

一、FLinkSql简介FlinkSQL是基于ApacheCalcite来实现的标准SQL。它是一种关系型API，可以来做流批统一处理。
架构师思考实践·2024-01-16 09:26

Flink-SQL——时态表(Temporal Table)

时态表(TemporalTable)文章目录时态表(TemporalTable)数据库时态表的实现逻辑时态表的实现原理时态表的查询实现时态表的意义Flink中的时态表设计初衷产品价格的例子——时态表汇率的例子
不二人生·2024-01-16 09:51

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门1）Flink是什么1.1.有界流和无界流1.2.Flink的发展史2）Flink特点3）FlinkvsSparkStreaming4
bmyyyyyy·2024-01-16 08:16

Flink 处理函数（1）—— 基本处理函数

在Flink的多层API中，处理函数是最底层的API，是所有转换算子的一个概括性的表达，可以自定义处理逻辑在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state）以及时间
THE WHY·2024-01-16 08:13

flink 1.18 sql gateway /sql gateway jdbc

一sqlgateway注意之所以直接启动gateway能知道yarnsession主要还是隐藏的配置文件，但是配置文件可以被覆盖，多个session保留最新的applicationid1安装flink（
卤蛋x001·2024-01-16 08:12

flink 1.12 时间语义与WaterMark

一.在新版本中flink默认处理的是事件时间而不是以前默认的处理时间在学习的时候安装新版本步骤容易报错大概的意思就是设置mark或者将事件类型换成ProcessingTime@deprecatedInFlink1.12thedefaultstreamtimecharacteristichasbeenchangedto
卤蛋x001·2024-01-16 08:41

flink1.12 stream windows-top-n

窗口top-Nflink1.12packagecom.cn.stream;importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.functions.AggregateFunction
卤蛋x001·2024-01-16 08:41

flink 时态表 Join

创建所以可以使时态表功能相近并且时态表可以DDL创建使用时态表函数只能使用TABLEAPI去注册packagecom.cn.sql.joins.temporaljoins;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironme
卤蛋x001·2024-01-16 08:41

Flink（十三）【Flink SQL（上）】

今天开始学习Flink最后一部分FlinkSQL，完了还有不少框架得学：Kafka、Flume、ClickHouse、Hudi、Azkaban、OOzie...有的算是小工具，不费劲，但是学完得复习啊，
让线程再跑一会·2024-01-16 08:33

flink 1.18 sql demo

flink1.18sqldemo更换flink-table-planner为flink-table-planner-loaderpom.xmlorg.apache.flinkflink-table-api-java-uber1.18.0providedorg.apache.flinkflink-table-runtime1.18.0org.apache.flinkflink-table-api-j
卤蛋x001·2024-01-16 08:03

Structured Streaming 整合 Kafka指南

用于Kafka0.10的结构化流式处理集成，用于从Kafka读取数据和写入数据。
鸭梨山大哎·2024-01-16 07:27

结构化流(Structured Streaming)

我们称之为无界数据对于无界数据，我们一般采用流式处理方案（实时计算）特点：1-数据没有明确的结束，也就是数据大小不固定2-数据是源源不
小希 fighting·2024-01-16 07:25

AWS边缘媒体安全交付方案

用于直播流式处理和视频点播(VOD)工作负载的现有或全新CloudFront配置可以从该解决方案中受益，由此流式处
九河云·2024-01-16 07:19

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn
码道功成·2024-01-16 06:30

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

Flink-容错机制

Flink中的容错机制流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。
左美美 ￣　　·2024-01-16 05:24

深入理解 Flink（八）Flink Task 部署初始化和启动详解

JobMaster部署Task核心入口：JobMaster.onStart();部署Task链条：JobMaster-->DefaultScheduler-->SchedulingStrategy-->ExecutionVertex-->Execution-->RPC请求-->TaskExecutorTaskExecutor处理JobMaster的submitTaskRPC请求JobMaster向
我很ruo·2024-01-16 05:21

Kafka和Flink：构建高吞吐量的实时数据流处理系统

ApacheKafka和ApacheFlink是两个非常重要的开源项目，它们分别是一个分布式流处理平台和一个流处理框架。
OpenChat·2024-01-16 05:20

ClickHouse - 01

与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink
ArthurHC·2024-01-16 02:17

Flink定制化功能开发，demo代码

前言：这是一个Flink自定义开发的基础教学。
i7杨·2024-01-15 23:31

flink02-安装

1standalone模式1.1安装解压缩flink-1.7.0-bin-hadoop27-scala_2.11.tgz修改flink/conf/flink-conf.yaml文件image.png修改
chen_666·2024-01-15 18:25

【大数据】Flink 详解（十）：SQL 篇 Ⅲ

《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇【大数据】Flink详解（二）：核心篇Ⅰ【大数据】Flink详解（三）：核心篇Ⅱ【大数据】Flink
G皮T·2024-01-15 15:44

【大数据】Flink 详解（九）：SQL 篇 Ⅱ

《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇【大数据】Flink详解（二）：核心篇Ⅰ【大数据】Flink详解（三）：核心篇Ⅱ【大数据】Flink
G皮T·2024-01-15 15:13

【大数据】Flink 详解（八）：SQL 篇 Ⅰ

《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇【大数据】Flink详解（二）：核心篇Ⅰ【大数据】Flink详解（三）：核心篇Ⅱ【大数据】Flink
G皮T·2024-01-15 15:12

【大数据】深入浅出 Apache Flink：架构、案例和优势

深入浅出ApacheFlink：架构、案例和优势1.现代大数据架构1.1什么是批处理？1.2什么是流处理？
G皮T·2024-01-15 15:11

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的

文章目录一.一条flinksql二.源码流程图示1.flinkconnector的实现逻辑2.flinksql的转换逻辑三、flinksql调用connector源码分析1.tEnv.executeSql
roman_日积跬步-终至千里·2024-01-15 14:25

java遍历树形结构

可能平常会遇到一些需求，比如构建菜单，构建树形结构，数据库一般就使用父id来表示，为了降低数据库的查询压力，我们可以使用Java8中的Stream流一次性把数据查出来，然后通过流式处理。
lockie_zou·2024-01-15 14:17

Java8新特性-使用Stream流递归实现遍历树形结构

流递归实现遍历树形结构–Lcry可能平常会遇到一些需求，比如构建菜单，构建树形结构，数据库一般就使用父id来表示，为了降低数据库的查询压力，我们可以使用Java8中的Stream流一次性把数据查出来，然后通过流式处理
敏姐姐·2024-01-15 14:47

streaming 101

看之前就知道这是两篇能够提升你对流处理理解的文章，不是一般的提升，可以说是一种升华，因为他谈的不是一个具体的工具（sparkstreaming，flink等），而是谈流处理应该是怎么样的，流处理要打败批处理一统天下的话需要有什么特性
Bitson·2024-01-15 12:31

flink双流ioin的大状态如何解决和调优

Flink中的双流ioin操作（双流连接）通常涉及大状态的处理，这可能导致一些性能和状态管理的挑战。
暴走的贼宇·2024-01-15 12:55

Flink常见异常&解决办法

Flink启动报错Causedby:java.lang.NoSuchMethodError:org.apache.flink.api.common.functions.RuntimeContext.getMetricGroup
过悟·2024-01-15 12:24

使用Java将图片转成Base64编码，并压缩至40k

文章目录1.添加依赖包2.代码3.测试1.添加依赖包net.coobirdthumbnailator0.4.82.代码packagecom.xxx.flinksql.udf.utils;importnet.coobird.thumbnailator.Thumbnails
黄土高坡上的独孤前辈·2024-01-15 04:22

2018-03-09周五开会小结

本周工作：与NLP项目的APP对接，完成众多查询API，包括：无条件范围查询有条件范围查询统计查询（求和、计数、求平均）周三开会确定research目标目前在看Flinkstatemanagerment
泽林呗·2024-01-14 23:38
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他