Flink流处理

flink源码分析之功能组件(一)-metrics

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metric
中间件XL·2023-11-20 23:25

Kafka性能测试初探

Kafka的应用场景非常广泛，例如日志收集、事件流处理、实时监控等。在这些场景中，Kafka可以提供高可靠性和低延迟的数据传输，确保数据的稳定性和实时
潇潇说测试·2023-11-20 21:43

Flink1.17 Scala/Java MySQL CDC案例

文章目录@[toc]数据表及依赖准备创建MySQL测试数据表开启binlog数据库测试语句导入CDCmaven依赖数据变更标识Java版CDCDataStreamAPI测试TableAPI的CDC代码测试Scala版CDCDataStreamAPI测试TableAPI测试数据表及依赖准备创建MySQL测试数据表需要修改MySQL的配置文件，windows为安装目录下的my.ini，linux为/e
小霖大爆屎·2023-11-20 20:27

Flink DataStream API （十三）Flink 输出到 Redis

文章目录输出到Redis输出到RedisRedis是一个开源的内存式的数据存储，提供了像字符串（string）、哈希表（hash）、列表（list）、集合（set）、排序集合（sortedset）、位图（bitmap）、地理索引和流（stream）等一系列常用的数据结构。因为它运行速度快、支持的数据类型丰富，在实际项目中已经成为了架构优化必不可少的一员，一般用作数据库、缓存，也可以作为消息代理。F
Alienware^·2023-11-20 20:26

Flink源码学习二 用户代码逻辑计划生成 1.17分支

1、Streaming环境获取接上节flink调用用户代码的main方法后，用户代码中一般会有如下获取flink环境的代码valenv=StreamExecutionEnvironment.getExecutionEnvironment
大数据动物园·2023-11-20 20:26

Flink的DataStream API的使用------输出算子（Sink）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、Flink的DataStreamAPI的使用------执行环境（ExecutionEnvironment
BrotherXu·2023-11-20 20:25

（八）Flink DataStream API 编程指南 - 3 事件时间

在本节中，你将了解Flink中用于处理事件时间的时间戳和watermark相关的API。有关事件时间，处理时间和摄取时间的介绍，请参阅事件时间概览小节。
京河小蚁·2023-11-20 20:53

Flink1.17学习笔记（自用）

Flink是什么核心目标：数据流上的有状态计算Flink是一个框架和分布式处理引擎，用于对无界和有界数据进行有状态计算Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间
艾卡西亚暴雨o·2023-11-20 20:52

Flink1.17 DataStream API

ExecutionEnvironment）1.1创建执行环境1.2执行模式1.3触发程序执行二.源算子（Source）2.1从集合中读取数据2.2从文件读取数据2.3从RabbitMQ中读取数据2.4从数据生成器读取数据2.5Flink
后端小菜鸡·2023-11-20 20:48

python 有ide吗_python有什么ide吗

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？
Kingston Chang·2023-11-20 18:11

flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序zookeeper->kafka->flink->flink提交的job->flumekafka的快照保存时间的设置log.retention.hours
Nryana0·2023-11-20 18:38

DockerDesktop：使用docker-compose.yml搭建Flink集群

前情提示：利用DockerDesktop搭建flink集群，有手动模式和利用docker-compose.yml等等方式，自己手动搭建很麻烦，因为真的很小白，比如说按照其他帖子搭建好之后，一般一个taskManager
DreamLy1017·2023-11-20 16:44

Flink 最锋利的武器：Flink SQL 入门和实战

[TOC]一、FlinkSQL背景FlinkSQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。
tracy_668·2023-11-20 16:02

flink消费kafka细节

#flink消费kafka细节Apachekafkaconnector提供对Kafka服务的事件流的访问。Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。
ink时光·2023-11-20 16:24

APACHE KAFKA快速入门

kafka快速入门1.获得Kafka2.启动Kafka环境3.创建一个topic并存储你的事件4.写事件到指定topic5.读事件6.用Kafka连接器导入/导出你的数据做为事件流7.用kafka流处理你的事件
大怀特·2023-11-20 15:07

Redis的发布和订阅

的发布和订阅发布订阅命令行实现1.打开一个客户端订阅channel12.打开另一个客户端，给channel1发布消息hello3.打开第一个客户端可以看到发送的消息使用场景构建即时消息系统异步任务处理跨系统消息通知数据流处理实现机制简介普通模式
杨永杰825·2023-11-20 14:25

聊聊flink的NetworkBufferPool

序本文主要研究一下flink的NetworkBufferPoolBufferPoolFactoryflink-release-1.7.2/flink-runtime/src/main/java/org/
go4it·2023-11-20 13:18

【Flink】窗口（Window）

本文的重心将放在Flink如何进行窗口操作以及开发者如何尽可能地利用Flink所提供的功能。
lxtx-0510·2023-11-20 13:29

【Flink】核心概念：任务槽（Task Slots）

这些资源就是用来独立执行一个子任务的任务槽数量的设置flink-conf.yaml可以设
lxtx-0510·2023-11-20 13:29

【Flink】核心概念：并行度与算子链

并行度（Parallelism）当要处理的数据量非常大时，我们可以把一个算子操作，“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子任务就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。一个特定算子的子任务（subtask）的个数被称之为其并行度（parallelism）。这样，包含并行子任务的数据流，就是并行数据流，
lxtx-0510·2023-11-20 13:58

flink入门

1.安装flink，启动flink文档地址：ApacheFlink1.3-SNAPSHOT中文文档:ApacheFlink中文文档代码：GitHub-apache/flink:ApacheFlink2.
java斗罗·2023-11-20 13:26

FlinkCDC数据实时同步Mysql到ES

今天给大家介绍一种实时同步方案，就是是使用flinkcdc来读取数据库日志，并且写入到elasticsearch中。1.什么是flinkcdc?FlinkCDC（Change
yangzheng01·2023-11-20 13:26

35、Flink 的 Formats 之CSV 和 JSON Format

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:18

21、Flink 的table API与DataStream API 集成（完整版）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:47

36、Flink 的 Formats 之Parquet 和 Orc Format

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:40

07-Hive优化---高级部分3

一、Hive优化大数据的学习：1、学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%
YuPangZa·2023-11-20 12:24

大数据流处理框架：Spark Streaming与Storm

大数据计算的第一代框架Hadoop，是致力于解决离线计算的问题而产生的，在离线批处理上性能优异，但是在实时流处理上，一直被诟病。Hadoop之后，Spark和Storm在流处理上成为对手。
成都加米谷大数据·2023-11-20 12:20

使用flink api把数据写到StarRocks存储系统

使用Flink的JDBC连接器将数据写入StarRocks存储系统中。
wuchongyong·2023-11-20 11:43

flink 读取 starrocks 数据

/bin/flinklistrunning新补充一些jar包,需要重启clusterCouldnotacquiretheminimumrequiredresources.提示资源不够,需要更改配置https
weixin_42462308·2023-11-20 11:11

springboot集成starrocks、以及采用flink实现mysql与starrocks亚秒级同步

一、application.yml（因采用dynamic-datasource-spring-boot-starter动态数据源，所以才是以下配置文件的样式，像redis，druid根据自己情况导入依赖）这个配置文件的场景是把starrocks当成slave库在用。某些大数据慢查询就走starrocks就这样配置好后就可把starrocks当mysql用了#spring配置spring:redis
qq_41369135·2023-11-20 11:03

Flink——读取Kafka数据处理后存入StarRocks

授权方式登录登录华为FusionInsightManager下载flinkuser用户的授权文件user.keytab、krb5.conf准备LoginUtil工具类登录代码如下：//loginStringuserPrincipal
^o^Smile^_^·2023-11-20 11:55

FLINK SQL将 数据导入至STARROCKS报错

报错信息："Message":"Thesizeofthisbatchexceedthemaxsize[104857600]ofjsontypedatadata[234201957].解决：'sink.buffer-flush.max-bytes' = '104857600',
朱云婷�·2023-11-20 11:53

flink 数据无法写入elasticsearch5且不报错

#前言其实和flink没啥关系，只是正好场景使用的是flink，问题在于elasticsearch5的参数设置#问题之前代码，数据无法写入，但是也不报错，后来添加了一个参数设置，就可以写入了#参数配置config.put
AinUser·2023-11-20 11:23

flink 查看写入starrocks的数据量 总行数

针对该connector:https://github.com/StarRocks/docs.zh-cn/blob/main/loading/Flink-connector-starrocks.md
Thomas2143·2023-11-20 11:51

【Flink】系统架构

DataStreamAPI将你的应用构建为一个jobgraph，并附加到StreamExecutionEnvironment。当调用env.execute()时此graph就被打包并发送到JobManager上，后者对作业并行处理并将其子任务分发给TaskManager来执行。每个作业的并行子任务将在taskslot中执行。clientClient不是运行时和程序执行的一部分，而是用于准备数据流并
lxtx-0510·2023-11-20 08:36

【Flink 问题集】The generic type parameters of ‘Collector‘ are missing

错误展示：Exceptioninthread"main"org.apache.flink.api.common.functions.InvalidTypesException:Thereturntypeoffunction'main
lxtx-0510·2023-11-20 07:34

大数据学习（22）-spark

它支持多种数据处理模式，包括批处理、迭代算法、交互式查询、流处理等，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。Spark内置了Spar
viperrrrrrr·2023-11-20 07:23

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2023-11-20 06:12

【LeetCode每日一题合集】2023.9.25-2023.10.1（⭐LFU缓存&Java数据流&花期内花的数量）

logn)O(logn)解法2——双哈希表+双向链表O(1)O(1)O(1)（LRU缓存的升级版）2582.递枕头解法——找数学规律1333.餐厅过滤器（简单模拟）写法1——手动模拟写法2——Java数组流处理
小威W·2023-11-20 06:58

flink问题集锦

报错一：CouldnotgetjobjaranddependenciesfromJARfile:JARfiledoesnotexist:-yn原因：flink1.8版本之后已弃用该参数，ResourceManager
drhrht·2023-11-20 03:45

大数据流式处理框架Flink介绍

1、Flink的介绍随着数据的飞速发展，出现了很多热门的开源社区，比如：hadoop、spark、storm社区，他们都有各自专注的适用场景，比如hadoop主要是做数据的存储及批处理计算，spark既可以做批处理也可以做准实时计算
大数据动物园·2023-11-20 01:57

Flink实时计算框架简介

文章目录（一）Flink介绍（二）Flink架构（三）Flink三大核心组件（四）Flink的流出来和批处理（五）大数据实时计算引擎对比（六）计算框架如何选择（一）Flink介绍ApacheFlink是一个开源的分布式
小崔的技术博客·2023-11-20 01:56

Flink吐血总结，学习与面试收藏这一篇就够了！！！

Flink核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。
大数据左右手·2023-11-20 01:55

flink 什么是fink（一）flink架构

文章目录flink架构处理无界流和有界流随处部署应用程序以任何规模运行应用程序利用内存性能flink架构flink是一个框架和分布式处理引擎，它被用于对无界和有界数据流进行有状态计算。
666呀·2023-11-20 01:25

Flink基础介绍-2 架构

Flink基础介绍-1概述二、Flink架构2.1Flink的设计架构2.2Flink的运行架构2.3Flink的系统架构二、Flink架构2.1Flink的设计架构Flink是一个分层的架构系统，每一层所包含的组件都提供了特定的抽象
幸福右手牵·2023-11-20 01:24

Flink SQL 架构及执行逻辑解析

FlinkSQL架构及执行逻辑解析FlinkSQL是ApacheFlink生态系统中的一个关键组件，它提供了一种在Flink上使用SQL查询和处理数据的方式。
心之所向，或千或百·2023-11-20 01:24

大数据和智能数据应用架构系列教程之：大数据流处理与实时分析

作者：禅与计算机程序设计艺术1.背景介绍一、大数据简介随着互联网的发展，人们越来越依赖网络服务、社交媒体等新型的信息技术来获取大量的数据，并将其进行有效整合分析。而“大数据”正逐渐成为一个重要的研究方向，通过对海量数据的采集、存储、处理和分析，可提取价值，从而发现隐藏的商机。二、大数据应用场景（1）广告业务互联网已经成为电子商务的主要模式，其中包括搜索引擎、在线广告平台、社交网络、购物网站、游戏主
禅与计算机程序设计艺术·2023-11-20 01:52

java8流处理器list转map的对比

文章目录前言代码Collectors.toMap()方法有以下几个重载版本:前言写代码的时候，经常会需要处理拿到的数据，比如把list转成map，就有好多种写法，所以写文章理一下区别。代码假设我们有一个实体类User@DatapublicclassUser{privateLongid;privateStringname;privateIntegerage;}然后先列一下不涉及对象的list转map
盖丽男·2023-11-19 23:19

2011-2022年高职大数据竞赛-赛题内容

离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化第一部分竞赛内容赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于Spark、Flink
xlw2003·2023-11-19 21:54

2011-2022年高职大数据竞赛-赛题任务剖析

离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop完全分布式、Spark安装配置、Flink
xlw2003·2023-11-19 21:54
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他