【流处理】

AntDB“超融合+流式实时数仓”——颠覆50年未变的数据库内核

典型的流处理框架，如ApacheStorm、SparkStrea
亚信安慧AntDB数据库·2023-11-30 03:01

The Log: What every software engineer should know about real-time data's unifying abstraction

LinkIn2013年的日志与流处理架构，bolg中涉及到了大量的参考资料，与我的架构类似，但是基于JAVAHadoop生态，并用Kafka作为日志底层文章地址：https://engineering.linkedin.com
doubeye·2023-11-30 00:23

Structured Streaming: Apache Spark的流处理引擎

作为一个可扩展且容错的流处理引擎，StructuredStreaming使得处理实时数据流变得更加高效和简便。什么是StructuredStreaming？
俺会hello我的·2023-11-29 21:07

flink任务编程-java版-基础环境准备

flink是目前流处理方面快速发展的计算平台，在针对该平台的编程介绍不少，但是有很多坑并没有完全搞清，这里将以往的使用经验与大家分享，希望能够加速大家掌握和使用。
李征兵·2023-11-29 18:35

Spring 对Apache Kafka的支持与集成

1.引言ApacheKafka是一个分布式的、容错的流处理系统。在本文中，我们将介绍Spring对ApacheKafka的支持，以及原生KafkaJava客户端Api所提供的抽象级别。
liululee·2023-11-29 10:46

基于Spark Streaming 的流数据处理和分析

文章目录一.流介绍1.流是什么2.为什么需要流处理3.流处理应用场景4.如何进行流处理二.SparkStreaming1.SparkStreaming流数据处理架构2.SparkStreaming内部工作流程
sun_0128·2023-11-29 07:03

Spark Streaming【数据流处理原理分析】

SparkStreaming流处理框架SparkStreaming原理首先SparkStreaming前面也说到了是对数据流的处理。数据流是指：数据的流入、数据的处理、数据的流出。
Smile to everyday·2023-11-29 07:29

Flink-执行拓扑图与作业调度

拓扑图生成过程三、拓扑生成和优化1.应用程序2.逻辑视图3.算子链4.TaskSlots四、作业调度1.调度2.拓扑图数据结构3.Job状态转化4.Task状态转化总结参考链接一、Flink执行模式Flink对流处理和批处理采用统一的处理方式
临江蓑笠翁·2023-11-29 06:38

Kafka事务机制：原理和实践

Kafka事务机制：原理和实践ApacheKafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。
来自宇宙的曹先生·2023-11-29 05:26

Docker 安装kafka 并创建topic 进行消息通信

ApacheKafka是一个分布式流处理平台，用于构建高性能、可扩展的实时数据流应用程序。本文将介绍如何使用Docker容器化技术来安装和配置ApacheKafka。
阳仔的屁仔·2023-11-29 05:50

kafka的详细安装部署

简介：Kafka是一个分布式流处理平台，主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发，现在由ApacheSoftwareFoundation维护和开发。
小李不怕黑·2023-11-29 01:10

Nginx常用概念讲解

安装及部署安装修改端口启动热部署配置及部署基本配置locat路径映射讲解格式解释优先级和示例正向代理反向代理负载均衡(upstream)轮询权重ip_hashfair(第三方)url_hash(第三方)热备HTTP服务器动静分离页面缓存跨域处理限流处理漏桶算法令牌桶算法
定栓·2023-11-28 20:05

RTSP转WebRTC视频协议解决方案

简单起见，可将视频数据分为以下四层如下表1-1所示，可结合图1-1了解其数据流在各阶段的处理流程表1-1音视频各层级协议封装格式表图1-1音视频数据流处理层级图音视频流各协议层处理作用分别如下所述:解协议将流媒体协议的数据解析
p2p音视频开发·2023-11-28 18:51

【软件测试】盘一盘工作中遇到的 MQ 异常测试

被广泛的应用在订单、交易、充值、流计算、消息推送、日志流处理等场
静姐说测试·2023-11-28 15:34

部署kafka

kafka简介：Kafka是一种分布式流处理平台，也是一种高吞吐量、低延迟的分布式发布订阅消息系统，由Apache软件基金会开发。它被设计成可扩展的、高容错的，具有高吞吐量的、低延迟的数据处理管道。
.Sea of flowers·2023-11-28 12:31

kafka 精准一次性

kafka精准一次性kafka精准一次性重要性在很多的流处理框架的介绍中,都会说kafka是一个可靠的数据源,并且推荐使用kafka当作数据源来进行使用.这是因为与其他消息引擎系统相比,kafka提供了可靠的数据保存及备份机制
不爱吃鱼的馋猫·2023-11-28 11:42

kotlin 基础 20 数据流处理

kotlin.jpegdataclassTut(vartitle:String,varcourses:Int,varauthor:String,varcategory:String)定义数据类Tut来描述课程对象，包含一些课程的特性。vartuts=listOf(Tut("angularbase",10,"zidea","web"),Tut("vuebase",10,"rob","web"),Tu
zidea·2023-11-28 07:37

Structured Streaming基本使用

StructuredStreaming定义结构化流处理是Spark中用于处理实时流数据的API。它提供了类似于对静态数据集进行操作的高级抽象，允许你以类似的方式处理实时数据流。
linbokang·2023-11-27 19:46

离谱！面试为啥都问Kafka？赶紧补一下

1.2以下是Kafka的关键概念：二、为什么需要批处理和流处理？
哪 吒·2023-11-27 07:42

Spark分布式机器学习源码分析：线性模型

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
大数据之眸·2023-11-27 06:55

WCF分布式开发步步为赢(11):WCF流处理（Streaming）机制

Postedon2009-05-1300:49FrankXuLei阅读(2287)评论(27)编辑收藏网摘所属分类:WCF分布式开发步步为赢,SOAandEAIWSE3.0框架提供了数据优化传输机制，WSE3.0构建Web服务安全(4):MTOM消息传输优化和文件上传、下载疑问里进行了介绍。WCF同样也提供了流操作来支持大数据对象的传输和处理优化机制，今天我们WCF分布式开发步步为赢系列的(4):
老徐FrankXuLei·2023-11-27 06:52

操作手册 : Stream 流处理手册 (赶紧收藏)

一.前言Java流这个特性已经出来很久了,可以大大的减少我们的代码,而且并行处理可以在某些场景下使用多个处理器核心可以大大的提高性能.不过Stream语法新手使用起来还是会有一定的难度,这一篇文档由浅到深看一下这个特性.这是开篇,只记录之前梳理的用法,下一篇来看源码,记得收藏!!!Stream的特点Stream不是集合,也不是数据结构,不可以保存数据Stream有点类似于高级的Iterator,可
Python炭烧·2023-11-26 18:34

java kafka client_一、kafka 介绍 && kafka-client

一、kafka介绍1.1、kafka介绍Kafka是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。
香浓拉码·2023-11-26 12:59

使用Spark进行结构化流处理并将结果输出到终端或指定位置

使用Spark进行结构化流处理并将结果输出到终端或指定位置Spark是一个强大的大数据处理框架，提供了许多功能强大的组件，其中包括StructuredStreaming，它是Spark的流处理引擎。
心之所向，或千或百·2023-11-26 09:24

kafka详细讲解与安装

Kafka是一种分布式流处理平台，具有高吞吐量、可扩展性和容错性。它最初由LinkedIn开发，现已成为Apache软件基金会的顶级项目。Kafka广泛应用于实时数据流处理、日志收集、消息队列等场景。
不爱敲代码吖·2023-11-26 08:31

springboot+vue EasyExcel 后端返回文件流，前端浏览器下载【导出为例】

需求：后端返回文件流格式，前端进行下载，这边以导出数据为例如图文件流：前端处理：请求路由上加上responseType:‘blob’文件流处理res为请求后端接口返回文件流结果constblob=newBlob
从零开始··2023-11-26 05:11

Flink 原理与实现：Window 机制

Flink认为Batch是Streaming的一个特例，所以Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从Streaming到Batch的一个桥梁。
pengjunlee·2023-11-26 05:10

彻底搞清Flink中的Window（Flink版本1.8）

flink-window窗口在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。
create17·2023-11-26 05:09

Java视频流处理技术分享

引言在现代互联网时代，视频流处理成为了许多应用的重要组成部分。无论是实时视频聊天、在线直播还是视频会议，都需要高效的视频流处理技术来保证用户体验。
一只会写程序的猫·2023-11-25 17:18

《十堂课学习 Flink SQL》第二章：Flink 基础

主要包括ApacheFlink框架概述；Flink数据流处理和批处理的基本概念；Flink编程模型；Table以及SQL的简单介绍。
smile-yan·2023-11-25 09:28

大数据-计算框架选型与对比

计算框架选型与对比一、大数据平台二、计算框架分类1.批处理架构2.实时流处理架构3.流批一体处理架构三、计算框架关键指标1.处理模式2.可伸缩性3.消息传递3.1至少一次（atleastonce）3.2
临江蓑笠翁·2023-11-25 06:54

有状态流处理简介

FabianHueskeandVasilikiKalavri翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究校对|gongyouliu编辑|auroral-LApacheFlink是一个开源的分布式流处理引擎
数据与智能·2023-11-25 06:49

Flink简介与部署

ApacheFlink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streamingexecutionmodel），能够支持流处理和批处理两种应用类型
TUJC·2023-11-25 06:08

Flink-简介与基础

Flink-简介与基础一、Flink起源二、Flink数据处理模式1.批处理2.流处理3.Flink流批一体处理三、Flink架构1.Flink集群2.FlinkProgram3.JobManager4
临江蓑笠翁·2023-11-25 06:06

kafka常见面试题及答案

Kafka是一个分布式流处理平台，最初由LinkedIn公司开发，现已成为Apache基金会的开源项目。
沉墨的夜·2023-11-24 15:56

面试|Kafka常见面试问题总结

Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。
大数据技术与数仓·2023-11-24 15:54

Kafka常见面试问题

1、Kafka分区设计及主副本如何同步ApacheKafka是一种分布式流处理平台，它使用分布式复制协议来实现高可用性和容错性。
长江七号zzj·2023-11-24 15:17

Flink的状态管理机制

一、前言有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
江畔独步·2023-11-24 11:17

《十堂课学习 Flink SQL》第一章：引言和背景

这一章旨在概述有关大数据处理、流处理以及FlinkSQL的基础知识，以便接下来能够更好地结合上下文进行学习。
smile-yan·2023-11-24 06:05

逸学java【初级菜鸟篇】9.3 Stream流

流处理我们首先理解什么是流处理，它类似于sql语句，可以执行非常复杂的过滤，映射，查找，收集等功能，且代码很少，但是可读性不高。字如其名，它的处理如同流淌的水一样，或者可以理解为流水线一样。
逸尘666·2023-11-24 02:05

HDFS分布式原理---概念篇

分布式系统2018年10月9日11:50什么是大数据：短时间内快速的产生海量的多种多样的有价值的数据大数据的技术：分布式存储分布式计算分布式批处理数据积攒一段时间，在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算
hjy1821·2023-11-23 14:16

软考-系统架构设计师-大数据架构设计理论与实践-练习题2

（1）A．批处理层B.流处理层C.加速层D.存储层（2）A．批处理层B.服务层C.加速层D.视图层（3）A．视图层B.流处理层C.服务层D.存储层答案ACC关键词-概念Lambda架
shumeizwb·2023-11-23 06:04

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web
十七✧ᐦ̤·2023-11-22 04:36

4 Flink 运行架构

4Flink运行架构Flink运行时的组件Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager
一直奔跑的马·2023-11-21 19:13

【小爱学大数据】FlinkKafkaConsumer

ApacheFlink是一个流处理和批处理的开源框架，它提供了数据流程序设计模型，以及运行环境和分布式执行引擎。
爱开发V·2023-11-21 14:16

这一年多来，阿里Blink测试体系如何从0走向成熟？

阿里妹导读：Blink是面向数据流处理和批处理的分布式开源计算框架，它支撑了阿里集团上千个业务的大数据实时处理，为了保障Blink的可靠性，2017年，搜索事业部的质量团队成立了Blink测试小组，从无到有
测试小柚子·2023-11-21 10:42

Flink SQL Query 语法（二）

/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-agg/操作符WindowAggregation只有流处理支持
Alex90·2023-11-21 07:15

Kafka性能测试初探

Kafka的应用场景非常广泛，例如日志收集、事件流处理、实时监控等。在这些场景中，Kafka可以提供高可靠性和低延迟的数据传输，确保数据的稳定性和实时
潇潇说测试·2023-11-20 21:43

Flink1.17学习笔记（自用）

Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活状态有无流式SQL有无Dataset批处理已过时，使用Datastream流处理
艾卡西亚暴雨o·2023-11-20 20:52

APACHE KAFKA快速入门

kafka快速入门1.获得Kafka2.启动Kafka环境3.创建一个topic并存储你的事件4.写事件到指定topic5.读事件6.用Kafka连接器导入/导出你的数据做为事件流7.用kafka流处理你的事件
大怀特·2023-11-20 15:07
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他