【流处理】

【星环云课堂大数据实验】kafka消息发布与订阅

实验环境三、实验准备四、实验目的五、实验步骤5.1、创建KafkaTopic5.2、Kafka消息发布5.3、Kafka消息订阅六、实验感悟一、Kafka概述Kafka是由Apache软件基金会开发的一个开源流处理平台
生生不息~·2023-12-16 17:12

kafka配置多个消费者groupid kafka多个消费者消费同一个partition（java）

目录1-单播模式，只有一个消费者组2-广播模式，多个消费者组3-Java实践kafka是由Apache软件基金会开发的一个开源流处理平台。
KG大数据·2023-12-16 13:56

处理实时视频流：第三方美颜SDK的实时图像处理策略

本文将深入探讨这些第三方美颜SDK在实时视频流处理中所采用的图像处理策略，揭示其背后的技术原理和创新。一、引言实时视频流处理涉及复杂的图像处理算法和实时性的挑战。
美狐美颜sdk·2023-12-16 09:49

kafka

kafka什么是KafkaKafka是一个分布式流式平台，它有三个关键能力订阅发布记录流，它类似于企业中的消息队列或企业消息传递系统以容错的方式存储记录流实时记录流Kafka的应用作为消息系统作为存储系统作为流处理器
李昊哲小课·2023-12-16 07:46

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
weixin_39699121·2023-12-15 19:27

抖音违规一次会限流多长时间？违规行为是什么？

抖音作为中国最大的短视频平台之一，为了维护平台秩序和用户体验，对于违反平台规则的用户会采取限流处理。那么，抖音违规一次限流的时长到底是多久呢?
氧惠导师·2023-12-15 15:57

Kafka-Kafka基本原理与集群快速搭建

一、Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。
长情知热爱·2023-12-15 06:38

Kafka基础理论与常用命令详解（超详细）

生产者）2.4Consumer（消费者）2.5ConsumerGroup（消费者组）3.Kafka特点3.1高吞吐量3.2持久性3.3可扩展性3.4实时性3.5可靠性4.Kafka应用场景4.1实时数据流处理
大数据魔法师·2023-12-15 06:53

06 数仓平台MaxWell

Maxwell输出数据格式Maxwell原理Maxwell工作原理是实时读取MySQL数据库的二进制日志（Binlog），从而获取变更数据，再将变更数据以JSON格式发送给Kafka等流处理平台。
kk_io·2023-12-15 06:02

【Flink系列六】Flink里面的状态一致性

状态一致性有状态的流处理，内部每个算子任务都可以有自己的状态，对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。一条数据不应该丢失，也不应该重复计算。
周润发的弟弟·2023-12-15 03:18

【Flink系列五】Checkpoint及Barrier原理

本章内容一致性检查点从检查点恢复状态检查点实现算法-barrier保存点Savepoint状态后端（statebackend）本文先设置一个前提，流处理的数据都是可回放的（可以理解成消费的kafka的数据
周润发的弟弟·2023-12-15 02:11

java读取txt文件及乱码处理

目录一、java如何读取txt文件方式1、文件流处理（FileInputStream）方式2、JDK11及以上版本方式3、JDK8jdk8方式4、jdk8JDK8jdk8一次性全部读取二、java读取文件的乱码问题场景
Crhy、Y·2023-12-15 00:14

Kafka-快速实战

Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。
有梦想的年轻人6174·2023-12-14 20:21

开源的数据流技术，该选择Redpanda还是Apache Kafka？

目前，ApacheKafka不但成为了数据流处理领域事实上的标准，而且带动了同类产品的出现。Redpanda就是其中之一。它是一种轻量级的且兼容C++的Kafka实现。
c++服务器开发·2023-12-14 20:56

Spark Structured Streaming使用教程

输入数据源2、输出模式3、sink输出结果4、时间窗口4.1、时间窗口4.2、时间水印（Watermarking）5、使用例子StructuredStreaming是一个基于SparkSQL引擎的可扩展和容错流处理引擎
penngo·2023-12-14 19:17

Kafka Streams：深度探索实时流处理应用程序

ApacheKafkaStreams是一款强大的实时流处理库，为构建实时数据处理应用提供了灵活且高性能的解决方案。
晓之以理的喵~~·2023-12-14 12:41

Kafka 最佳实践：构建可靠、高性能的分布式消息系统

ApacheKafka是一个强大的分布式消息系统，被广泛应用于实时数据流处理和事件驱动架构。为了充分发挥Kafka的优势，需要遵循一些最佳实践，确保系统在高负载下稳定运行，数据可靠传递。
晓之以理的喵~~·2023-12-14 12:41

kafka 详细介绍

目录前言分布式架构：消息发布-订阅模型：持久性存储：分区和副本：水平扩展：高性能：生态系统：我的其他博客前言Kafka是由Apache软件基金会开发的一种开源流处理平台，最初是由LinkedIn公司开发的
不想步入秃头的年龄·2023-12-14 12:37

玩转大数据7：数据湖与数据仓库的比较与选择

2.处理层：进行多种数据处理，包括批处理、流处理、
沛沛老爹·2023-12-06 06:42

使用 Apache Kafka 进行实时流处理

ApacheKafka是一个开源分布式流处理平台，最初由LinkedIn开发，后来于2011年捐赠给Apache。我们可以将Kafka描述为一个文件集合，其中充满了分布在多台机器上的消息。
wouderw·2023-12-06 05:37

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop
WaiSaa·2023-12-05 21:30

Flink从入门到精通系列（三）

4、Flink运行时架构4.1、系统架构Flink就是一个分布式的并行流处理系统，简单来说，它会由多个进程构成，这些进程一般会分布运行在不同的机器上。
后端技术那点事·2023-12-05 21:00

在AWS Lambda上部署标准FFmpeg工具——自定义层的方案

1.2.1Python1.2.2Java2打包FFmpeg3创建Lambda的Layer4测试4.1创建Lambda函数4.2附加FFmpeg层4.3添加测试代码4.4运行测试参考文献FFmpeg被广泛应用于音/视频流处理领域
spcof·2023-12-05 14:11

MQ - KAFKA 高级篇

kafak是一个分布式流处理平台,提供消息持久化,基于发布-订阅的方式的消息中间件，同时通过消费端配置相同的groupId支持点对点通信。
ApacheCrazyFan·2023-12-05 11:50

Apache Spark

Spark提供了统一的大数据处理引擎，支持各种类型的数据处理，包括批处理、流处理、机器学习和图形处理等。
m0_64180190·2023-12-05 10:24

Flink-状态编程和容错机制 | 算子状态和键控状态的介绍及数据结构 | 状态的定义及使用

例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。所有类型的窗口。例如，计算过去一小时的平均温
SmallScorpion·2023-12-05 05:49

flink进阶篇-09-状态编程和容错机制

例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。2）有状态的计算则会基于多个事件输出结果。以下是一些例子。⚫所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。
先锋成员5A·2023-12-05 05:19

大数据--Flink--流处理(一)

官网：https://flink.apache.org/源码：https://github.com/apache/flinkFlink特点：流处理特性（1）支持高吞吐、低延迟、高性能的流处理（2）支持带有事件时间的窗
bzxb1188·2023-12-05 05:48

kafka的详细安装部署

introduceKafka是一个分布式流处理平台，主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发，现在由ApacheSoftwareFoundation维护和开发。
我的麦子熟了。·2023-12-04 12:34

基于hadoop下的Kafka分布式安装

简介Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性、可靠性、实时性和灵活性等优点。它能够支持每秒数百万条消息的传输，并且可以通过增加节点来增加吞吐量和存储容量。
necessary653·2023-12-04 08:37

Kafka 的起源和背景

ApacheKafka是一个分布式流处理平台，被广泛用于构建实时数据流应用程序和大数据处理系统。本文将深入探讨Kafka的起源、设计原则以及它在大数据领域中的重要作用。
晓之以理的喵~~·2023-12-04 07:54

深入理解 Kafka 集群搭建与管理

ApacheKafka作为分布式流处理平台的核心，其集群搭建与管理是确保高可用性和高性能的关键。
晓之以理的喵~~·2023-12-04 07:42

Kafka 的特点和优势

ApacheKafka作为一款分布式流处理平台，以其独特的特点和卓越的优势成为实时数据处理领域的瑰宝。本文将深入研究Kafka的各项特点和优势，并通过详实的示例代码展示其在不同场景下的强大应用。
晓之以理的喵~~·2023-12-04 07:12

Kafka 架构深度解析：生产者（Producer）和消费者（Consumer）

ApacheKafka作为分布式流处理平台，其架构中的生产者和消费者是核心组件，负责实现高效的消息生产和消费。本文将深入剖析Kafka架构中生产者和消费者的工作原理、核心概念以及高级功能。
晓之以理的喵~~·2023-12-04 07:12

Java 8 Stream 流处理详解

Java8Stream流处理详解引言Java8引入了StreamAPI，这是一个强大的工具，用于处理集合数据和进行数据操作。
红颜彡·2023-12-03 12:42

Flink系列：使用Debezium将MySQL数据库表数据采集到Kafka Topic，并将Kafka Topic数据同步到StarRocks数据库

数据库表数据采集到KafkaTopic，并将KafkaTopic数据同步到StarRocks数据库在本篇文章中，我们将介绍如何使用ApacheFlink、Debezium和StarRocks来构建一个数据流处理系统
代码指四方·2023-12-02 18:36

c# 文件流处理 常用功能记录

流类函数举例字符流StreamReader文本方式读取和写入文件内容的流构造StreamReaderstringfilePath="C:\\path\\to\\file.txt";StreamReaderreader=newStreamReader(filePath);逐行读取WriteLinestringline;while((line=reader.ReadLine())!=null){Con
科学的发展-只不过是读大自然写的代码·2023-12-02 14:09

支持Upsert、Kafka Connector、集成Airbyte，Milvus助力高效数据流处理

，我们已经透露过Milvus（ZillizCloud）为提高数据流处理效率，先后支持了Upsert、KafkaConnector、Airbyte，而这些功能的作用都是简化数据处理和集成流程，为开发人员提供更高效的工具来管理复杂的数据
Zilliz Planet·2023-12-02 12:12

【防抖和节流】Vue和React当中的防抖和节流处理

1防抖和节流函数/***防抖原理：一定时间内，只有最后一次操作，再过wait毫秒后才执行函数*防抖又分为立即执行和延迟执行*-立即执行：点击第一次就会执行，后续指定时间内的点击不会生效*-延迟执行：指定时间内不再进行点击，也就是过了这个指定时间，才会执行一次函数，前面的n次点击不会生效**@param{Function}func要执行的回调函数*@param{Number}wait延时的时间*@p
@二十六·2023-12-02 07:43

LangChain的函数，工具和代理(二)：LangChain的表达式语言(LCEL)

LCEL允许用户采用声明式方法来组合链，便于进行流处理、批处理和异步任务。其模块化架构还允许轻松定制和修改链组件。LCEL的优势之一是它使用户更容易个性化链的不同部分。
-派神-·2023-12-02 01:21

流批一体历史背景及基础介绍

流批一体与数据架构的关系数据分析型应用数据管道型应用三、流与批的桥梁Dataflow模型四、Dataflow模型的本质一个基本点两个时间域三个子模型1.窗口模型2.触发器模型3.增量计算模型四个分析维度五、举例固定窗口，批处理固定窗口，流处理
jialun0116·2023-12-02 00:47

VTK boolean operation 使用方法

这个类不同于其他的类，可以直接使用filter的流处理模式来进行，即通过SetInputConnection()和GetOutputPort()来获得。
menjiawan·2023-12-02 00:45

Kakfa官方设计文档解读

1.Motivationkafka被设计成一个通用的数据流处理平台。（早已超出2011年出版的日志收集器和消息队列）。
Caucher·2023-12-01 19:07

Flink学习笔记(2)——Flink快速上手

目录一、Flink快速上手1.1、环境准备1.2创建项目1.3编写代码1.3.1批处理1.3.2流处理1.4本章总结一、Flink快速上手对Flink有了基本的了解后，接下来就要理论联系实际，真正上手写代码了
默萧756·2023-12-01 17:54

Flink快速上手 完整使用 (第二章)

在这里插入图片描述](https://img-blog.csdnimg.cn/71aad19e918b49329c6a825886edba1c.png)2、添加项目依赖3、配置日志管理4、编写代码5)批处理6、流处理
小坏讲微服务·2023-12-01 17:24

Flink（八）【窗口】

在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处理。所以聚合计算其实只能针对当前已有的数据——之后再有数据到来，就
让线程再跑一会·2023-12-01 16:21

【Flink】Flink 消费 kafka 实现 限流处理 RateLimiter

文章目录1.概述2.案例2.1案例13.源码纪念一波，九师兄博客热门订阅专栏时常名列前茅，我飘了，哈哈哈哈，得意的笑1.概述首先看看【java】高并发之限流RateLimiter使用这个去看看限流怎么使用。然后看看扩展的kafka是如何限流的，
九师兄·2023-11-30 22:30

Flink如何保证数据的一致性

##一致性级别在流处理中，一致性可以分为3个级别：-at-most-once:这其实是没
kk_io·2023-11-30 13:38

简述InputStreamReader类与OutputStreamWriter类的作用

InputStreamReader类和OutputStreamWriter类都是JavaI/O类库中的字符流处理类，用于处理字节流和字符流之间的转换。
哦豁哇哦哦哦·2023-11-30 08:44

golang—kafka架构原理快速入门以及自测环境搭建（docker单节点部署）

kafkaApacheKafka是一个分布式的流处理平台。
咚伢·2023-11-30 06:38
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他