Flink流式

干货 | 携程酒店基于血缘元数据的数据流程优化实践

作者简介九号，携程数据技术专家，关注数据仓库架构、数据湖、流式计算、数据治理。
携程技术·2023-12-15 10:45

Flink CDC--MySQL

FlinkCDC–MySQLFlinkCDCMySQL版本单表CDC目标：利用Flink将MySQL增量数据同步到Doris执行流程第一步：操作数据库构建表，并加入数据mysql-uroot-pupdateusersetHost
清盏涂墨衣·2023-12-15 09:59

源码赏析: 数据结构转换工具 configor （一）

目前作者已经实现了任何自定义数据类型转换为流式数据，并可将流式数
键盘会跳舞·2023-12-15 08:49

全方位解读SeaTunnel MySQL CDC连接器：实现数据高效同步的强大工具

MySQLCDC源连接器支持的引擎SeaTunnelZetaFlink主要特性批量流式
DolphinScheduler社区·2023-12-15 07:41

Kafka-Kafka基本原理与集群快速搭建

它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。
长情知热爱·2023-12-15 06:38

Kafka基础理论与常用命令详解（超详细）

2.5ConsumerGroup（消费者组）3.Kafka特点3.1高吞吐量3.2持久性3.3可扩展性3.4实时性3.5可靠性4.Kafka应用场景4.1实时数据流处理4.2日志收集和聚合4.3消息队列4.4流式处
大数据魔法师·2023-12-15 06:53

物流实时数仓：采集通道搭建

hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问4.ClickHouse安装5.Flink
超哥--·2023-12-15 06:34

工作记录----Lambda表达式和流式操作----小白也能看懂--写代码如何更简洁

Lambda表达式是Java8引入的功能，而流式操作则是基于Lambda表达式的一种编程模式。Lambda表达式匿名函数是什么意思？
什么什么啊啊啊·2023-12-15 03:18

Flink核心概念

在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operatorsubtask），这些子任务在不同的线程、不同的物理机或不同的容
Stephen6Yang·2023-12-15 03:06

Flink基本转换算子map/filter/flatmap

mapmap是大家非常熟悉的大数据操作算子，主要用于将数据流中的数据进行转换，形成新的数据流。简单来说，就是一个“一一映射”，消费一个元素就产出一个元素。我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现；返回值类型还是DataStream，不过泛型（流中的元素类型）可能改变。publicclassTransMap{publ
Stephen6Yang·2023-12-15 03:01

Java中的流式操作和函数式编程的八种使用方式

Java中的流式操作（StreamAPI）和函数式编程（FunctionalProgramming）提供了一种简洁、灵活、可读性强的方式来处理集合数据。
超维Ai编程·2023-12-15 03:57

【Flink系列七】TableAPI和FlinkSQL初体验

ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQLTableAPI是用于Scala和Java语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子
周润发的弟弟·2023-12-15 03:48

【Flink系列六】Flink里面的状态一致性

状态一致性有状态的流处理，内部每个算子任务都可以有自己的状态，对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。再遇到有故障时可以恢复状态，恢复以后的重新计算，结果应该也是可以完全正确的。状态一致性的分类AT-MOST-ONCE（最多一次）当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重复丢失的数据。At-most
周润发的弟弟·2023-12-15 03:18

【Flink名称解释一】什么是cataLog

Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟·2023-12-15 03:18

【Flink系列四】Window及Watermark

3.1、window在Flink中Window可以将无限流切分成有限流，是处理有限流的核心组件，现在Flink中Window可以是时间驱动的（TimeWindow），也可以是数据驱动的（CountWindow
周润发的弟弟·2023-12-15 03:18

Flink Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)

一、什么是增量聚合函数在FlinkWindow中定义了窗口分配器，我们只是知道了数据属于哪个窗口，可以将数据收集起来了；至于收集起来到底要做什么，其实还完全没有头绪，这也就是窗口函数所需要做的事情。
文文鑫·2023-12-15 03:45

kyuubi整合flink yarn application model

目录概述配置flink配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述flink
流月up·2023-12-15 03:14

【Flink系列五】Checkpoint及Barrier原理

保存点Savepoint状态后端（statebackend）本文先设置一个前提，流处理的数据都是可回放的（可以理解成消费的kafka的数据）一致性检查点（checkpoints）图1checkpoint是Flink
周润发的弟弟·2023-12-15 02:11

大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出

大家好，我是微学AI，今天给大家介绍大模型的实践应用13-量化后的通义千问Qwen的18亿参数在CPU上的部署，最小2GB显存可跑，并利用两种文本流式方式输出。
微学AI·2023-12-14 21:01

【java】数组遍历的方式：

文章目录1、for循环遍历：2、forEach循环（增强for循环）：3、while循环或者dowhile循环：4、利用Arrays工具类当中的toString()：5、流式遍历:6、使用Arrays.asList
Sun Peng·2023-12-14 21:12

React 前端实现流式下载数据，压缩成压缩包(zip)，上传解析下载

React前端实现流式下载数据，压缩成压缩包(zip)下载思路解析：React使用XMLHttpRequest进行请求，方便处理，也可以用框架自带的request方式处理，前端接受到后端传输的流式数据，
老虎爱代码·2023-12-14 20:01

Kafka-快速实战

它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。
有梦想的年轻人6174·2023-12-14 20:21

保证消息顺序性：Kafka 的策略与挑战

ID3.3单一消费者4.最佳实践与注意事项4.1合理的分区设计4.2避免重分区4.3监控和测试5.结论ApacheKafka是一个高性能、分布式、可水平扩展的消息传递系统，被广泛应用于构建实时数据管道和流式处理应用程序
达芬奇要当程序员·2023-12-14 20:43

【毕业设计】大数据淘宝用户行为数据分析与可视化 - flink

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
caxiou·2023-12-14 19:08

Spark Structured Streaming使用教程

StructuredStreaming把持续不断的流式数据当做一个不断追加的表，这使得新
penngo·2023-12-14 19:17

css的常见布局及区别、css盒模型

一、css的常见布局：1、流式布局（FlowLayout）（1）定义：元素按照其在文档流中的位置进行自然排列，默认情况下元素会从左到右、从上到下依次排列。
sin...·2023-12-14 19:25

【RabbitMQ高级功能详解以及常用插件实战】

文章目录队列1、Classic经典队列2、Quorum仲裁队列3、Stream流式队列4、如何使用不同类型的队列二、死信队列队列classic经典队列，Quorum仲裁队列，Stream流式队列1、Classic
向前再向前·2023-12-14 18:07

flink源码分析之功能组件(六)-心跳组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-12-14 16:10

Flink-源算子-读取数据的几种方式

Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源（datasource），而读取数据的算子就是源算子（sourceoperator）。
Stephen6Yang·2023-12-14 16:04

Flink之流的转换

ProcessFuncion处理函数功能拥有富函数功能-生命周期方法-状态编程对元素的处理功能processElement,在不同的处理函数中，该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器，删除定时器ontimer():定时器触发后会自动调用该方法，我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream调用key
十七✧ᐦ̤·2023-12-14 16:34

Flink之状态编程

状态的分类托管状态：由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现。算子状态：状态由算子内所
十七✧ᐦ̤·2023-12-14 16:34

Flink之keyby状态

KeyedState值状态：维护一个具体的值ValueState继承自StateTvalue():从状态中获取维护的数据update():更新状态列表状态：可以当成List使用，维护多个值add():添加一个状态addAll()：添加多个状态，不会覆盖原有的状态get()：获取状态update()：将指定集合的数据直接更新到状态中，会覆盖原有的状态clear()：清空状态Map状态：维护一个Map
十七✧ᐦ̤·2023-12-14 16:34

【自定义Source、Sink】Flink自定义Source、Sink对ClickHouse进行读和批量写操作

ClickHouse官网文档Flink读取ClickHouse数据两种驱动ClickHouse官方提供ClickhouseJDBC.
不进大厂不改名二号·2023-12-14 16:03

Flink 项目系列

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战
清风明月一壶酒·2023-12-14 16:22

【Table/SQL Api】Flink Table/SQL Api表转流读取MySQL

引入依赖jdbc依赖flink-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.flinkflink-connector-jdbc_${scala.binary.version
不进大厂不改名二号·2023-12-14 16:44

Flink的容错机制

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤·2023-12-14 16:44

HTML中如何设置音频和视频?

也可以使用MediaStream将这个元素用于流式媒体。
@白天不懂爷的黑·2023-12-14 15:08

54.grpc实现文件上传和下载

helloworld1、定义hello.proto文件2、生成xxx_grpc.pb.go文件3、生成xxx.pb.go结构体文件4、编写服务代码service.go5、编写客户端代码client.go三、服务端流式传输
百里守约学编程·2023-12-14 15:25

使用ffmpeg命令进行视频格式转换

它提供了一系列的工具和库，可以用于录制、转换、流式传输和播放音频和视频。
智慧医疗探索者·2023-12-14 14:18

【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里·2023-12-14 12:20

Flink之DataStream API的转换算子

简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦，使用灵活匿名内部类:编码简单Lambda:编码简洁publicclassFlink02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤·2023-12-07 00:13

Flink基础之DataStream API

合并的两条流的数据类型可以不一致connec后，得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclassFlink09
十七✧ᐦ̤·2023-12-07 00:11

HDFS Architecture 翻译和理解

流式数据读取，数据的访问是顺序的，对数据跳转访问支持不友好。数据集巨大，以TB为单位。数据一致性模型：写仅支持append和truncate，不支持update。
不争_900c·2023-12-06 22:17

flink运行报Exception in thread “main“ java.lang.IllegalStateException

问题描述运行flink程序时报异常，异常信息如下：Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师·2023-12-06 20:20

flink安装与配置-脚本一键安装（超简单）

文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置ApacheFlink单机版的方法。
大数据魔法师·2023-12-06 20:48

flink报错：akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply

通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致，一般有两种原因：一是集群负载比较大或者网络比较拥塞，二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解，需考虑调大akka.ask.timeout参数的值（默认只有10秒）；另外，调用外部服务时尽量异
青云游子·2023-12-06 17:47

试试 MyBatis 流式查询，真心强大！

基本概念流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。
Java方文山·2023-12-06 16:58

Hive的使用技巧

一.Hive常用交互命令[zhangflink@flinkv1hive]$bin/hive-help1.在Hive命令行里创建一个表student，并插入1条数据2.
Appreciate(欣赏)·2023-12-06 16:10

实时流式计算 kafkaStream

文章目录实时流式计算KafkaStreamKafkaStreams的关键概念KStreamKafkaStream入门案例编写SpringBoot集成KafkaStream实时流式计算一般流式计算会与批量计算相比较流式计算就相当于上图的右侧扶梯
sweetheart7-7·2023-12-06 15:18

Apache Paimon流式湖仓学习交流群成立

ApachePaimon是一个流式数据湖平台。致力于构建一个实时、高效的流式数据湖平台。这个项目采用了先进的流式计算技术，使企业能够实时处理和分析大量数据。
大数据流动·2023-12-06 13:25
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他