【流处理】

Kafka的分区数设置

Kafka是一个高吞吐量、可持久化、分布式发布订阅消息系统，广泛应用于大规模数据处理和实时流处理场景。在Kafka中，分区是实现消息并行处理和提供高可用性的关键概念之一。
WdzDevops·2023-12-27 07:52

从零开始学大数据框架Hudi，这些学习网站，助你一臂之力！

Hudi的设计使得您可以在Hadoop兼容的存储之上存储大量数据，并且它提供了两种原语，除了经典的批处理之外，还可以在数据湖上进行流处理。
知识分享小能手·2023-12-26 20:39

Flink的waterMark实现解决乱序以及延迟数据

我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。
我还不够强·2023-12-26 15:30

spark和flink对比

先说产品特性：1.spark中批处理使用RDD，流处理使用DStream，flink中批处理使用Dataset，流处理使用DataStreams。目前flink在做Dataset和
smileyboy2009·2023-12-26 10:25

Rockchip Clock

2、时钟树结构可运行LINUX的主流处理器平台，都有非常复杂的时钟树（CLOCKTREE），由CLOCK相关的器件，以及这些器件输出的C
猩猩の點燈·2023-12-26 08:36

Kafka基础—4、Kafka Streams & Kafka Connect

它允许你在应用程序中直接处理和分析Kafka主题中的数据，而无需使用独立的流处理集群。2、流处理的概念流处理是一种处理连续流数据的方式，相对于批处理，它更加实时。
风不归Alkaid·2023-12-26 02:29

第十四章！

第十四章Iambda表达式和流处理14.1：Iambda表达式简介Iambda表达式可以用非常少的代码来实现抽象方法。
还在思考名字·2023-12-25 22:08

第十四章Java博客

流处理
cynur·2023-12-25 19:42

Flink1.17实战教程（第一篇：概念、部署、架构）

1.3FlinkvsSparkStreaming1.4Flink的应用场景1.5Flink分层API2.Flink快速上手2.1创建项目2.1.1创建工程2.1.2添加项目依赖2.2WordCount代码编写2.2.1批处理2.2.2流处理
阿moments·2023-12-25 04:02

解密Flink的状态管理：探索流处理框架的数据保留之道，释放流处理的无限潜能！

水善利万物而不争，处众人之所恶，故几于道文章目录一、什么是状态二、应用场景三、Flink中状态的分类四、算子状态1.列表状态（ListState）2.广播状态（BroadcastState）五、键控状态1.ValueState2.ListState3.ReducingState4.AggregatingState1）类实现累加器-示例代码2）元组实现累加器-示例代码5.MapState一、什么是状
阿年、嗯啊·2023-12-25 00:34

kafka 入门详解

KafkaKafka核心概念什么是KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
janlle·2023-12-24 06:23

【kafka】在linux中安装并简单部署使用

文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台
古枫桐·2023-12-24 05:35

【Kafka架构及应用】

Kafka的架构和运行原理Kafka是一个分布式流处理平台，它由以下几个核心组件组成：Broker：Kafka集群中的一个节点，负责接收、存储和转发消息。
Oo_Amy_oO·2023-12-24 00:25

[Java][IOstream][转化流]以GBK读取数据用UTF-8写出数据的实例分析

我们都知道：Java提供了两种基础的字节流FileInputStream可以让程序读入一个文件的信息FileOutputStream可以让程序写出一个文件的信息但是字节流处理的问题过于宏大，我们有时候需要处理一些微观到字符层面的数据
ASTHENIA·2023-12-23 22:24

[每周一更]-(第38期)：Go常见的操作消息队列

ApacheKafka：ApacheKafka是一个开源的分布式流处理平台，也可以用作消息队列，用于处理高容量的消息流和实时数据。Kafka提供了高
ifanatic·2023-12-23 16:40

awesome-go

awesome-go就是avelino发起维护的Go资源列表，内容包括：音频和音乐库、命令行工具、服务端应用、流处理、持续集成、数据库、机器学习、NLP、物联网、中间件、文本处理、安全、机器人技术等。
古城小栈·2023-12-23 06:26

【Python百宝箱】Python异步通信：构建高效实时系统

本文将深入探讨一系列Python库，从消息传递到异步编程、消息队列、数据流处理，以及实时通信，为你揭示Python异步通信的全貌。欢迎订阅专栏：Python库百宝箱：解锁编程的神奇世界文章目录
friklogff·2023-12-23 05:22

【八股文】JAVA中的IO流

类的一个实例对应着磁盘上的一个文件或者文件目录—>万物皆对象熟悉File的实例化、常用方法File类中只有新建、删除、获取路径等方法，不包含读写文件的方法，此时需要使用IO流2.IO流的概述IO流的分类流向：输入流、输出流处理数据单位
Sudo_Wang·2023-12-22 21:16

视频美颜SDK开发指南：实现高质量实时美颜效果

在开发视频美颜SDK之前，我们需要理解以下几个关键方面：1.视频流处理实时美颜首先需要对视频流进行处理。这包括采集、解码、处理和渲染。
美狐美颜sdk·2023-12-22 21:59

FFmpeg进行rtsp推流

安装FFmpegFFmpeg是一个免费、开源的跨平台视频和音频流处理工具。
p2p音视频开发·2023-12-22 15:37

Kafka基础—1、Kafka基础概念 & Kafka架构 & Kafka安装与配置

Kafka是由ApacheSoftwareFoundation开发的分布式流处理平台，它是一种高吞吐量、可扩展、持久化的消息中间件。
风不归Alkaid·2023-12-22 10:13

kafka与beanstalk的区别

架构和设计目标：Kafka：Kafka是一个分布式流处理平台，设计用于处理大规模的实时数据流。它提供持久性、高吞吐量和容错性。
蹲在角落数蚂蚁·2023-12-22 08:13

基于OpenCV的视频流处理方法

OpenCV提供了VideoCapture类和VideoWriter类来支持各种格式的视频流，支持的格式类型会因系统的不同而有所变化，但基本上都是支持avi格式的，且对于视频文件和摄像头画面的读写所用到的接口基本上都相同，因此，我们把它们放在一起来讲了。1.获取VideoCapture类实例不管是读取视频文件还是捕获摄像头画面，都使用到了VideoCapture类，但不同的是传入的形参不一样，如果
code2035·2023-12-22 07:57

FFmepeg——视频处理工具安装以及简单命令学习。

FFmpeg的主要功能包括解码、编码、转码、流处理、多路复用、分离、合并、过滤等，支持多种音视频格式，包括但不限于MP4、AVI、MKV、MP3、H.264、H.265、AAC等。
编程小菜鸡~~·2023-12-21 11:52

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink累加器、计数器的使用

这就意味着，如果是一个一直不间断执行的流处理程序是无法得到累加器结果的。只有批处理成功，也就是会结束的flink程序才能得到累加器结果。
iFence·2023-12-21 06:07

Flink Table API 与 SQL 编程整理

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。
程序猿进阶·2023-12-21 05:49

复合电吸附装置工作原理讲解介绍？如何选型？安装参数实物图动画

1：复合电吸附装置设备介绍复合电吸附装置是一种水处理技术，通过自建循环对循环水进行旁流处理。
新乡市宇工环保设备有限公司·2023-12-20 23:44

Flink系列之：State Time-To-Live (TTL)

Flink系列之：StateTime-To-LiveTTL一、TTL二、TTL实现代码三、过期状态的清理一、TTLFlink的TTL（Time-To-Live）是一种数据过期策略，用于指定数据在流处理中的存活时间
最笨的羊羊·2023-12-20 21:47

Kafka基本原理及使用

（主题）：2.Partition（分区）：3.Producer（生产者）：4.Consumer（消费者）：5.Broker（代理服务器）：6.Zookeeper：成员关系基本概念Kafka是一个分布式流处理平台
kk_0910·2023-12-20 17:47

浅析java编程优势略举一二

一、java对流处理的封装非常便捷，一般情况一下，因为steam数据都是比较大，或者有规律的数据，这时候利用java便利的接口很容易实现Stream和parallelStream选择在从stream和parallelStream
hongyucai·2023-12-20 16:14

Kafka快速实战以及基本原理详解

Partition和Broker七、Kafka集群的整体结构八、Kraft集群Kraft集群简介配置Kraft集群一、Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台
小超同学卷起来·2023-12-20 16:28

掌握实时数据流：使用Apache Flink消费Kafka数据

不仅非常实用，而且对于理解现代数据架构和流处理技术具有重要意义。
昊昊该干饭了·2023-12-20 08:14

KAFKA

分布式,分区的,多副本的,消息队列功能吞吐量高,伸缩性,容错性好(持久化/好几份),一主多备高可用有流处理的功能概念什么是(topic/ˈtɑːpɪk/)主题?
MapSet·2023-12-19 23:02

大数据时代必备技能：Flink实时处理框架，学习网站助你一臂之力！

介绍：ApacheFlink是一个开源的流处理和批处理框架，其设计目标是用于无边界和有ApacheFlink是一个开源的流处理和批处理框架，其设计目标是用于无边界和有边界的数据流进行有状态的计算。
知识分享小能手·2023-12-19 22:26

从零开始学Hadoop，这些网站助你轻松掌握大数据技能！

Hadoop可以被视为一个大数据操作系统，它能在所有大型数据集上运行不同类型的工作负载，包括脱机批处理、机器学习乃至实时流处理。
知识分享小能手·2023-12-19 22:56

FFA 2023 明日开幕，Flink 智能诊断、小红书流批一体实践精彩来袭

近年来，流批一体的技术思想势头火热，即“将批处理和流处理相结合，实现更好的数据处理能力”，已成功从理论层面走进现实世界。
小红书技术REDtech·2023-12-19 11:31

Apache StreamPark：让数据流处理更简单、更高效

随着数据量的持续增长，我们正面临着前所未有的挑战。在这个充满数据的时代，如何有效、高效地处理这些数据，使其变为有价值的信息，是许多个人和组织所关心的问题。作为一名数据分析师，我深知数据处理的复杂性。过去，我们使用传统的数据处理方法，但随着数据量的增大，这种方法已经无法满足我们的需求。我们急需一种能够实时、高效处理数据的新工具。我相信在这个社会中也会有很多人跟我一样遇到这种问题，也相信肯定会有人针对
什么软件好·2023-12-19 10:17

Spark简介

，兼容HDFS、Hive等分布式存储层，相对于MapReduce其具有以下优点：基于内存计算，避免了大量IO操作，速度快秉持移动计算优于移动数据的理念，大大减少了文件的传输代价更好的容错性提供了实时的流处理功能简单易用强大的社区
Mrsimple_4f84·2023-12-19 09:18

Flink 流处理流程 API详解

流处理API的衍变Storm：TopologyBuilder构建图的工具，然后往图中添加节点，指定节点与节点之间的有向边是什么。构建完成后就可以将这个图提交到远程的集群或者本地的集群运行。
程序猿进阶·2023-12-18 23:38

大数据平台架构（Lambda、Kappa、SMACK）

1、Lambda架构Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是：将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。
高国才·2023-12-18 22:35

【Flink】官宣｜Apache Flink 1.17 发布公告

ApacheFlink是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。得益于我们出色的社区和优秀的贡献者，ApacheFlink在Apache社区中一直保持着快速增长，并且是最活
九师兄·2023-12-18 15:36

大数据Flink电商实时数仓实战项目流程全解(五）

前提概要：之前我们已经实现了动态分流，即通过TableProcessFunction1类把维度数据和事实数据进行了分流处理，接下来就是把数据写入Hbase表和Kafka主题表中：hbaseDS.addSink
大数据YYDS·2023-12-18 14:44

Kafka本地安装⭐️(Windows)并测试生产消息以及消费消息的可用性

nice了日常三连，喂，刷，肝刷会儿博客，看会儿设计模式冷冷冷进被窝刷视频睡觉看看kafka的本地部署》》实践》》成功写会儿博客，45俯卧撑，洗洗睡了，明天上班一、kafka简介Kafka是一个分布式的流处理平台
键盘不能没有CV键·2023-12-18 12:25

flink安装

什么是flinkflink是一个分布式，高性能，随时可用的以及准确的流处理计算框架，flink可以对无界数据（流处理）和有界数据（批处理）进行有状态计算（flink天生支持状态计算）的分布式，高性能的计算框架
千百元·2023-12-17 19:21

物联网的架构

目录物联网的整体结构整体架构网关服务器结构数据采集网关的作用接收数据数据接收服务器的作用HTTP协议WebSocketMQTT数据格式处理数据处理服务器的作用流处理存储数据数据库的作用数据库的种类和特性设备控制发送服务器的作用使用
qq_37515394·2023-12-17 12:25

Flink 运行架构

Flink应用程序结构就是如上图所示：Source:数据源，Flink在流处理和批处理上的source
lz_matlab·2023-12-17 09:06

Flink 源码之数据分区

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Flink流处理作业支持并行操作。每一个并行度可以理解为一个数据管道。上游和下游的并行度也可能是不同的。
AlienPaul·2023-12-17 02:38

flink-1.17.2的单节点部署

flink简介ApacheFlink是一个开源的流处理和批处理框架，用于大数据处理和分析。它旨在以实时和批处理模式高效处理大量数据。Flink支持事件时间处理、精确一次语义、有状态计算等关键功能。
liuyunshengsir·2023-12-16 20:24

Flink处理函数实战之五：CoProcessFunction(双流处理)

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demosFlink处理函数实战系列链接深入了解ProcessFun
程序员欣宸·2023-12-16 20:42
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他