Flink流处理

flink-1 flink简介

flink简介有界数据和无界数据flink应用场景flink优势flink基本技术栈flink基本架构有界数据和无界数据有界数据通常被称为批处理既定义了数据流的开始，也定义了数据流的结束。
爱吃甜食_·2023-11-25 06:38

Flink简介与部署

1、Flink基本介绍1、Flink介绍Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。
TUJC·2023-11-25 06:08

Flink物理分区

FlinkPhysicalpartitioning（物理分区）Rebalancing(Round-robinpartitioning)默认策略轮询，会将数据轮询发送给下游任务valfsEnv=StreamExecutionEnvironment.getExecutionEnvironmentfsEnv.socketTextStream
深夜的星星·2023-11-25 06:07

Flink-简介与基础

Flink-简介与基础一、Flink起源二、Flink数据处理模式1.批处理2.流处理3.Flink流批一体处理三、Flink架构1.Flink集群2.FlinkProgram3.JobManager4
临江蓑笠翁·2023-11-25 06:06

Flink 常用物理分区算子(Physical Partitioning)

Flink物理分区算子(PhysicalPartitioning)在Flink中，常见的物理分区策略有：随机分配(Random)、轮询分配(Round-Robin)、重缩放(Rescale)和广播(Broadcast
文文鑫·2023-11-25 06:34

45、Flink 的指标体系介绍及验证（1）-指标类型及指标实现示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-25 06:04

Flink中如何实现一个自定义MetricReporter

什么是Metrics在flink任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和cpu使用情况、checkpoint稳定性等等。
另存為·2023-11-25 03:03

flink中Task、SubTask的理解

Flink中也是一个DAG框架，也会划分不同的阶段。Flink中的阶段叫做Task。Flink中具体的工作线程叫做SubTask。
xuning_et·2023-11-25 01:34

37_队列的概念及实现（下）

队列的链式存储实现链式队列的原理图1.链式队列的设计要点类模板，抽象父类Queue的直接子类在内部使用链式结构实现元素的存储只在链表的头部和尾部进行操作链式队列的继承层次结构图LinkQueue.h#ifndefLINKQUEUE_H
编程半岛·2023-11-25 01:59

flink学习之十一-window&EventTime实例

上面试了ProcessingTime，在这里准备看下EventTime，以及必须需要关注的，在ET场景下的Watermarks。EventTime&WatermarkEventtimeprogramsmustspecifyhowtogenerateEventTimeWatermarks,whichisthemechanismthatsignalsprogressineventtime.以event
AlanKim·2023-11-25 00:06

Apache Linkis 修复多个漏洞

编译：代码卫士ApacheLinkis是一款热门的计算中间件，用于弥合上层应用程序和底层引擎之间的差距，从而能够无缝访问多个引擎如MySQL、Spark、Hive、Presto和Flink。
奇安信代码卫士·2023-11-24 23:31

java搭建flink读取数据库 简单Demo实例

jdk1.8、mysql数据库具体idea搭建gradle和项目环境略··········下边直接上代码二、gradle依赖包设置dependencies{implementation'org.apache.flink
大海里的一粒星辰·2023-11-24 17:00

【Flink】如何提交jar包到yarn执行

新手在开发Flink程序后，总是需要把自己写的程序传到linux上，最后提交到yarn上去执行，那怎么去提交到yarn上呢，本篇文章为你详细讲解，并且会把一些常见问题进行总结，如果最后用户编译失败，本次讲解也是基于编译好的
一杯咖啡半杯糖·2023-11-24 17:00

java Flink（十三）Flink底层Process使用Demo以及示例 ---访问时间戳、watermark 以及注册定时事件以及侧输出流

Process:我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStreamAPI提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。ProcessFunction用
小菜菜1223·2023-11-24 17:58

【Flink】入门Demo实现、Flink运行架构之运行时组件，任务提交流程，任务调度原理

文章目录一快速上手1创建maven项目2引入依赖3代码实现（1）从在线数据读取（2）从离线数据读取4将程序提交到单点集群运行二Flink运行架构1Flink运行时组件（1）作业管理器（JobManager
OneTenTwo76·2023-11-24 17:22

Serverless 在数据处理场景下的最佳应用

我们知道传统的数据处理无外乎涉及Kafka、Logstash、FileBeats、Spark、Flink、CLS、COS等组件。
Serverless·2023-11-24 17:49

Doris系列之高级功能-Rollup操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

doris实现数据聚合的三种方式--多明细聚合、物化视图与rollup

doris实现数据聚合的三种方式假设以①ds、hour为维度计算pv②ds为维度计算pv1、三种聚合方式（1）聚合模型+数据源多次写入flink写入kafka代码insertintolog_exp_pvselectdshour
Dylan ZhaoHT·2023-11-24 16:24

kafka常见面试题及答案

Kafka是一个分布式流处理平台，最初由LinkedIn公司开发，现已成为Apache基金会的开源项目。
沉墨的夜·2023-11-24 15:56

面试|Kafka常见面试问题总结

Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。
大数据技术与数仓·2023-11-24 15:54

Kafka常见面试问题

1、Kafka分区设计及主副本如何同步ApacheKafka是一种分布式流处理平台，它使用分布式复制协议来实现高可用性和容错性。
长江七号zzj·2023-11-24 15:17

Flink 使用watermark

自定义一个watermark生成策略watermark生成策略一般有两种，一种是自定义周期性的watermark，另一种是触发式的watermark。WatermarkGenerator接口代码如下：@PublicpublicinterfaceWatermarkGenerator{/***每来一条事件数据调用一次，可以检查或者记录事件的时间戳，或者也可以基于事件数据本身去生成watermark。*
hopyGreat·2023-11-24 15:42

40、Flink 的Apache Kafka connector（kafka source 和sink 说明及使用示例） 完整版

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-24 15:41

Flink-WordCount

本文基于Flink1.14pom.xmlUTF-81.14.32.19.0org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java
hopyGreat·2023-11-24 15:11

Flink自定义Source之读取url

importcom.fasterxml.jackson.databind.ObjectMapper;importcom.telecom.journal.model.Api;importorg.apache.flink.stream
雷神乐乐·2023-11-24 15:08

Flink Table API 读写MySQL

FlinkTableAPI读写MySQLimportorg.apache.flink.connector.jdbc.table.JdbcConnectorOptions;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
hopyGreat·2023-11-24 15:35

Flink运行wordcount——读写hdfs

packagecom.test;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2
雷神乐乐·2023-11-24 15:05

Flink基础系列27-ProcessFunction API(底层API)

概述:我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStreamAPI提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。ProcessFunction用来构建事件
只是甲·2023-11-24 14:55

flink 问题总结（5）如何读取Kerberos认证的hadoop数据

问题：flink1.8如何读取待Kerberos认证的hdfs数据？
ZYvette·2023-11-24 14:39

centos7上用docker部署mysql 5.7，并解决中文乱码问题

1.安装docker查看这篇文章的前半部分即可：虚拟机上安装docker，并安装flink镜像2.安装mysql5.72.1下载mysql镜像可以使用dockersearchmysql命令查看远程镜像仓库中的镜像信息
码上无bug·2023-11-24 13:06

flink的异常concurrent.TimeoutException: Heartbeat of TaskManager with id的解决

背景在使用flink进行集成测试时，我们会使用MiniClusterWithClientResource类，但是当我们断点导致在某个方法执行的时间比较长时，会有错误发生，那么该如何解决这个错误呢？
lixia0417mul2·2023-11-24 11:40

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

背景最近flink的在线应用出现错误java.lang.IllegalStateException:Bufferpoolisdestroyed，本文记录下这个错误的原因错误原因详细的日志堆栈如下:Causedby
lixia0417mul2·2023-11-24 11:40

flink的集成测试

背景日常测试中我们使用flink的TestHarness只能测试单个算子，很多情况下我们需要集成测试来测试真正的问题，所以在flink中进行集成测试还是非常有必要的，本文就来记录下如何在flink中进行集成测试
lixia0417mul2·2023-11-24 11:10

flink和机器学习模型的常用组合方式

背景flink是一个低延迟高吞吐的系统，每秒处理的数据量高达数百万，而机器模型一般比较笨重，虽然功能强大，但是qps一般都比较低，日常工作中，我们一般是如何把flink和机器学习模型组合起来一起使用呢?
lixia0417mul2·2023-11-24 11:05

Flink-Exactly Once(如何保证数据的唯一性和不重复!)

Flink-ExactlyOnce(如何保证数据的唯一性和不重复!)
a-tao必须奥利给·2023-11-24 11:52

Flink SQL深度篇

FlinkSQL深度篇问题导读怎样优化LogicalPlan?怎样优化StreamGraph?TimeWindow,EventTime,ProcessTime和Watermark四者之间的关系是什么?
不爱吃鱼的馋猫·2023-11-24 11:22

思考: 为什么 Flink 要弃用Scala API呢？

1.问题描述最近在学习FlinkAPI的时候，发现官网声明要废弃ScalaAPI，但是为什么呢？
广阔天地大有可为·2023-11-24 11:22

一网打尽Flink中的时间、窗口和流Join

接下来，我们将会使用Flink的windowAPI，它提供了通常使用的各种窗口类型的内置实现。我们将会学到如何进行用户自定义窗口操作符，以及窗口的核心功能：assigners（分配器）
王知无(import_bigdata)·2023-11-24 11:20

大数据之使用Flink消费Kafka中topic为ods_mall_data的数据，根据数据中不同的表将数据分别分发至kafka的DWD层

由于设备问题，代码执行结果以及数据的展示无法给出，可参照我以往的博客其中有相同数据源展示题目：提示：以下是本篇文章正文内容，下面案例可供参考（使用Scala语言编写）一、读题分析涉及组件：Scala，Flink
约定Da于配置·2023-11-24 11:49

Day77_Flink(三）Flink时间语义和水印

课程大纲课程内容学习效果掌握目标时间语义EventTime掌握IngestionTime掌握ProcessingTime掌握水印水印掌握一、时间语义scala的集合分为了两类，一类是可变的集合（集合可以执行增删改查操作），另一类是不可变集合（集合元素在初始化的时候确定，后续只能进行查，有的可以进行修改，有的不可以）。二者可能名称一样，但是在不同的包下面，对应的包为：scala.collection
dogedong·2023-11-24 11:49

Flink 迟到元素的处理

前言前面文章Flink中的时间语义和WaterMark有详细介绍过FlinkWaterMark。WaterMark的出现是用来解决乱序时间的处理也就是处理迟到元素的。
shenjianyu_rex·2023-11-24 11:49

Flink部署安装及其WorldCount执行

Flink启动及其WorldCount执行大家好，是瓜哥，最近几年，大数据处理组件Flink非常火，作为一个从事多年java的老程序员，也得跟上时代的技步伐，不然迟早就会被这个技术千变万化的时代抛弃。
IT瓜哥-杨得朝·2023-11-24 11:18

Flink State and Checkpoint、Scala中获取类对象、通过checkpoint来恢复之前的状态、process...

目录FlinkStateandCheckpointStateValueStateCheckpoint通过checkpoint来恢复之前的状态1、从Flinkweb页面2、通过flink命令StateListStateReducingStateFlinkStateandCheckpointFlink
赤兔胭脂小吕布·2023-11-24 11:18

Flink的状态管理机制

一、前言有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
江畔独步·2023-11-24 11:17

flink从入门到精通-flink简介

文章目录flink简介名称的由来什么是flink为什么需要flink流式计算框架比较模型StreamingModelAPI形式保证机制容错机制状态管理flink基本概念flink架构图JobManagerJobManager
星&海·2023-11-24 11:16

Flink 窗口 Window

官网地址窗口|ApacheFlinkWindowsareattheheartofprocessinginfinitestreams.Windowssplitthestreaminto“buckets”offinitesize
GrassEva·2023-11-24 11:43

为什么 Flink 抛弃了 Scala

可如今，Flink竟然公开宣布弃用Scala在Flink1.18的官方文档里，有一句非常严肃的话：所有的FlinkScalaAPIs已被标记为废弃，且将在未来版本中予以移除。
shengjk1·2023-11-24 10:40

Flink SQL 1.11新功能详解：Hive 数仓实时化 & Flink SQL + CDC 实践

问题导读1.Flink1.11有哪些新功能？2.如何使用flink-cdc-connectors捕获MySQL和Postgres的数据变更?
000X000·2023-11-24 06:18

Flink实战（八十二）：flink-sql使用（九）Flink sql 解析复杂（嵌套）JSON

原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665
王知无(import_bigdata)·2023-11-24 06:44
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他