【流处理】

大数据架构简述流处理、批处理、交互式查询

我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术
叫我老村长·2024-02-01 01:09

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时5折使用SQL实现流处理的核心技术在了解了
zhisheng_blog·2024-01-31 15:29

Flink实战四_TableAPI&SQL

FlinkAPI最底层的抽象就是有状态实时流处理StatefulStreamProcessing，是最底层的Low-LevelAPI。实际上就是基于ProcessFunction提供的一整套
core512·2024-01-31 11:18

Apache Flink 文件上传漏洞 CVE-2020-17518 漏洞复现

ApacheFlink文件上传漏洞CVE-2020-17518漏洞复现一、漏洞描述二、漏洞影响三、漏洞复现1、环境搭建2、漏洞复现四、漏洞POC五、参考链接一、漏洞描述ApacheFlink是一个开源的流处理框架
Senimo_·2024-01-31 10:24

Apache Flink jobmanager/logs 目录穿越漏洞 CVE-2020-17519 漏洞复现

ApacheFlinkjobmanager/logs目录穿越漏洞CVE-2020-17519漏洞复现一、漏洞描述二、漏洞影响三、漏洞复现1、环境搭建2、漏洞复现四、漏洞POC五、参考链接一、漏洞描述ApacheFlink是一个开源的流处理框架
Senimo_·2024-01-31 10:24

CVE-2020-17518 flink任意文件上传漏洞复现

漏洞描述ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。
亚瑞塔斯·D·紫耀·2024-01-31 10:53

Apache Flink -任意文件写入漏洞复现（CVE-2020-17518）

1、产品简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）
OidBoy_G·2024-01-31 10:52

Apache Flink路径遍历 (CVE-2020-17519)

前言说明：ApacheFlink是一个开源流处理框架，具有强大的流处理和批处理能力。
白安全组·2024-01-31 10:51

Ignite数据流处理

数据流处理#1.概述Ignite提供了一个数据流API，可用于将大量连续的数据流注入Ignite集群，数据流API支持容错和线性扩展，并为注入Ignite的数据提供了至少一次保证，这意味着每个条目至少会被处理一次
don't_know·2024-01-31 09:19

RabbitMQ和Kafka对比

Kafka:最初为日志聚合系统设计，后发展为分布式流处理平台。基于发布-订阅模型，消息被存储在主题中，可以由多个消费者订阅。专注于高吞吐
薛定谔的zhu·2024-01-31 07:21

从io到netty

io与线程池优化io：0、io同步、阻塞1、io的客户端与线程数的比是1:1；线程池优化后的io是m：n2、io是面向stream编程，因此一个线程只能等待流处理，因此阻塞nio：0、nio同步、非阻塞
shuimuhanchen·2024-01-30 08:05

Kafka建立生产者消费者

Kafka是一个分布式流处理平台，可以用于构建高效的消息系统。在Kafka中，消息的产生和消费分别由生产者（Producer）和消费者（Consumer）来完成。
爱编程的小白L·2024-01-29 23:51

第七章：NodeJs的文件处理

Node的文件处理涉及到前面说的ptah模块,以及fs文件系统、stream流处理、Buffer缓冲器等模块。
中v中·2024-01-29 16:44

数据处理中的数据流处理与事件驱动架构

数据流处理和事件驱动架构是数据处理中的两个重要概念，它们在处理实时数据和复杂事件中具有重要的作用。在本文中，我们将深入探讨数据流处理和事件驱动架构的核心概念、算法原理、实例代码和未来发展趋势。
OpenChat·2024-01-29 11:04

Flink容错机制

在流处理中，我们采用存档和读档的策略，将之前的计算结果进行保存。这样，在系统重启后，我们可以继续处理新数据，而无需重新计算。更重要的是，在有状态的流处理中，任务需要保
佛系爱学习·2024-01-29 09:06

[AIGC 大数据基础] 大数据流处理 Kafka

在大数据处理的过程中，流处理变得越来越重要，因为我们需要实时地处理和分析数据，以便做出及时的决策。
程序员三木·2024-01-29 05:32

事件驱动架构的性能优化技巧：提高系统性能与响应速度

1.背景介绍事件驱动架构是一种异步、高度可扩展的架构模式，它在各种应用场景中得到了广泛应用，如微服务架构、大数据处理、实时数据流处理等。
OpenChat·2024-01-28 21:58

Flink 的 API

最低级别的抽象只是提供有状态和及时的流处理。是的通过流程嵌入到DataStreamAPI中功能。它允许用户可以自由地处理来自一个或多个流的事件，并提供一致的容错状态。
m0_66520412·2024-01-28 20:00

关于情绪的奇思妙想

个人琢磨整个过程应该就像污水处理那个样子，将最活跃那个股浊气直接排出，剩余浊气进行分流处理。最后分析情绪从中找到方向！
初夏槐花香·2024-01-28 09:54

【大数据】详解 Flink 中的 WaterMark

详解Flink中的WaterMark1.基础概念1.1流处理1.2乱序1.3窗口及其生命周期1.4KeyedvsNon-Keyed1.5Flink中的时间2.Watermark2.1案例一2.2案例二2.3
G皮T·2024-01-28 06:13

郑琳连载日记第16篇《垃圾分类有什么好处》

分类的目的就是为了将废弃物分流处理，利用现有生产制造能力，回收利用回收品，包括物质利用和能量利用，填埋处置暂时无法利用的无用垃圾。生活垃圾中有些物质不易降解，使土地受到严重侵蚀。
琳_1ee2·2024-01-27 19:49

GBASE南大通用分享：MPP与SMP对比

由大量通用微处理器构成的多处理机系统，适合多指令流多数据流处理。计算机体系结构中,MPP指大规模并行处理机.MPP在20世纪90年代盛行。如今,世界上排名靠前的大型机,都是MPP。
GBASE数据库·2024-01-27 10:02

[AIGC大数据基础] Flink: 大数据流处理的未来

Flink是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由Apache软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。
程序员三木·2024-01-27 07:28

【大数据】Flink 中的事件时间处理

Flink中的事件时间处理1.时间戳2.水位线3.水位线传播和事件时间4.时间戳分配和水位线生成在之前的博客中，我们强调了时间语义对于流处理应用的重要性并解释了处理时间和事件时间的差异。
G皮T·2024-01-27 07:57

Flink1.13 容错机制

一致性级别在流处理中，一致性可以分为3个级别:at-most-once(最多
万事万物·2024-01-27 07:39

远程设备运维Node-RED 5G遥测终端支持python3编程

它的可视化编程界面简化了复杂的数据流处理和设备控制逻辑，使得不同行业的智能监控与自动化解决方案得以迅速部署和迭代。
钡铼技术物联网关·2024-01-26 21:54

Flink基础系列24-Flink的Window

Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。举例子：假设按照时间段划分桶
只是甲·2024-01-25 22:53

Flink1.17总结

SparkStreaming区别2.Flink分层API3.WordCount案例需求：写一个文本，统计出单词的个数1.使用flink批处理查看WordCountBatchDemo类2.使用flink流处理查看
asxyyjh·2024-01-25 14:29

【Flink-1.17-教程】-【五】Flink 中的时间和窗口（2）时间语义

）时间语义的分类2.1.处理时间（processtime）2.2.摄取时间（ingestiontime）2.3.事件时间（eventtime）3）哪种时间语义更重要4）总结1）Flink中的时间语义在流处理中
bmyyyyyy·2024-01-25 14:52

轻松学会消息队列之kafka基础篇

Kafka定位就是一个分布式流处理平台。作为一个流式处理平台，必须具备以下3个关键特性。•能够允许发布和订阅流数据。从这个角度来讲，
Friends of the wind·2024-01-25 10:29

【大数据】Flink 系统架构

1.1JobManager1.2ResourceManager1.3TaskManager1.4Dispatcher2.应用部署2.1框架模式2.2库模式3.任务执行4.高可用设置4.1TaskManager故障4.2JobManager故障Flink是一个用于状态化并行流处理的分布式系统
G皮T·2024-01-25 02:56

【大数据】流处理基础概念（一）：Dataflow 编程基础、并行流处理

流处理基础概念（一）：Dataflow编程基础、并行流处理流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）如果您觉得这篇文章有用✔️
G皮T·2024-01-25 02:25

【大数据】流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）

流处理基础概念（一）：Dataflow编程基础、并行流处理流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）如果您觉得这篇文章有用✔️
G皮T·2024-01-25 02:25

【大数据】流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）

流处理基础概念（一）：Dataflow编程基础、并行流处理流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）如果您觉得这篇文章有用✔️
G皮T·2024-01-25 02:55

【大数据】流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）

流处理基础概念（一）：Dataflow编程基础、并行流处理流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）如果您觉得这篇文章有用✔️
G皮T·2024-01-25 02:54

【大数据】流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）

流处理基础概念（一）：Dataflow编程基础、并行流处理流处理基础概念（二）：时间语义（处理时间、事件时间、水位线）流处理基础概念（三）：状态和一致性模型（任务故障、结果保障）如果您觉得这篇文章有用✔️
G皮T·2024-01-25 02:24

【软件测试】为bug而生

原因明确，误报就会降低多个系统交互，可以明确指出是哪个系统的缺陷，防止“踢皮球”，提高问题解决的效率增强开发对测试的信任度，沟通更有效，配合的更好，开发修改bug时效增强更有效的了解系统的内部逻辑、数据流处理流程
程序员油条·2024-01-24 20:56

基于FFmpeg进行rtsp推流及拉流（详细教程）

FFmpeg推流3.1UDP推流3.2TCP推流3.3循环推流4拉流4.1ffplay/VLC拉流显示4.2FFmpeg拉流保存成视频1.安装FFmpegFFmpeg是一个免费、开源的跨平台视频和音频流处理工具
大渔歌_·2024-01-24 18:58

Python中日志模块 logging 的使用，模块处理流程和相关类及常用方法

日志相关概念logging模块logging模块级别的日志longging模块的处理流程logging日志模块相关类及其常用方法Logger类Handler类Formater类Filter类logging日志流处理流程
Chains-X ♔·2024-01-24 03:53

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01

玩转rk3588（二）：rknn模型转换、部署及性能测试，解决视频流处理高延时问题（二）

目录1、环境准备2、模型转换虚拟机环境准备生成onnx模型生成rknn模型3、rk3588部署4、解决opencv读取RTSP进行图像处理时，高延迟5、相关错误1、xxx.onnx模型转xxx.rknn模型时报错：Ebuild:ImportError:/lib/x86_64-linux-gnu/libm.so.6:version`GLIBC_2.29'notfound6、参考1、环境准备开发板环境
八级玄仙·2024-01-23 16:29

DataStream API(源算子)

Kafka读取数据5，自定义源算子6，Flink支持的数据类型6.1Flink支持多种数据类型，包括但不限于：6.2对于POJO类型，Flink有以下要求：转换算子输出算子源算子Flink是一个强大的流处理框架
佛系爱学习·2024-01-23 16:17

大数据系列——Flink理论

概述Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由Java实现，部分代码由
mql007007·2024-01-23 16:11

ASP.NET Core图片上传

.NETFramework或.NETCore中实现图片上传功能的代码示例通常涉及前端HTML表单与后端C#控制器之间的交互，以及文件流处理和可能的存储逻辑。
布·丁·2024-01-23 14:54

网络通信(17)-C#TcpClient 和 TcpListener的详解

目录一、概述二、TcpClient三、NetworkStream流处理技术四、TcpListener一、概述支持Http、Tcp和Udp的类组成了TCP/IP三层模型(请求响应层、应用协议层、传输层)的中间层
未来无限·2024-01-23 13:26

【Delphi 基础知识 23】处理流（stream）的详细用法

以下是一些常用的流处理类：TFileStream:单元：System.Classes用途：用于读写文件流的类。可以进行文件的读取和写入操作。
南通DXZ·2024-01-23 10:31

Flink中的容错机制

1.1检查点（Checkpoint）在流处理中，我们可以用存档读档的思路，将之前某个时间点的所有状态保存下来，这份存档就被称为“检查点（CkeckPoint）”。
- Hola -·2024-01-23 09:08

Sqoop与Kafka的集成：实时数据导入

将Sqoop与Kafka集成是实现实时数据导入和流处理的关键步骤之一。Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。
晓之以理的喵~~·2024-01-23 08:01

大数据--Flink--流处理(一)

官网：https://flink.apache.org/源码：https://github.com/apache/flinkFlink特点：流处理特性（1）支持高吞吐、低延迟、高性能的流处理（2）支持带有事件时间的窗
无剑_君·2024-01-22 20:26

大数据计算引擎之Flink简介

原文地址：大数据计算引擎之Flink简介Flink简介1.1Flink的初步认识ApacheFlink是为分布式、高性能、随时可用以即准确的流处理应用程序打造的开源处理框架ApacheFlink是一个框架和分布式处理引擎
开发实习生·2024-01-22 19:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他