流式处理

Apache Kafka技术与架构-1

1.1流式事件理论上，事件流式处理等同于人类身体的中央神经系统的数字化，使用持续不
uesowys·2022-10-08 08:56

大数据技术Flink详解

一、有状态的流式处理ApacheFlink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。
wespten·2022-10-04 14:28

大数据——粗谈Apache Spark（计算引擎）

Spark产生的原因：1、MapReduce具有很多的局限性，仅支持Map和Reduce两种操作，还有迭代效率比较低，不适合交互式的处理，不擅长流式处理。2、现有的各种计算框架各自为战。
Xa_L·2022-09-28 06:19

Kafka核心原理的秘密，藏在这19张图里！

在活动追踪、消息传递、度量指标、日志记录和流式处理等场景中非常适合使用kafka。这篇文
·2022-09-27 17:21

不得不服，阿里大佬手写“kafka笔记”，啃完面试直通阿里

的外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：首先，kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩其次，kafka可以按照要求存储数据，保存多久都可以第三，流式处理将数据处理的层次提示到了新高度
·2022-09-23 17:03

Groq：从头设计一个张量流式处理器架构

来源｜Groq翻译｜贾川、程浩源、胡燕君作为一家由多位前GoogleTPU开发者组建的芯片公司，Groq一经成立便备受关注。2016年底，曾领导研发Google张量处理单元（TPU，用于加速机器学习而定制的芯片）的JonathonRoss离职创办了Groq，他们希望能为AI和HPC工作负载提供毫不妥协的低延迟和高性能。不同于传统的CPU和GPU架构，Groq从头设计了一个张量流处理器(TSP)架构
OneFlow深度学习框架·2022-09-15 07:10

Groq：从头设计一个张量流式处理器架构

来源｜Groq翻译｜贾川、程浩源、胡燕君作为一家由多位前GoogleTPU开发者组建的芯片公司，Groq一经成立便备受关注。2016年底，曾领导研发Google张量处理单元（TPU，用于加速机器学习而定制的芯片）的JonathonRoss离职创办了Groq，他们希望能为AI和HPC工作负载提供毫不妥协的低延迟和高性能。不同于传统的CPU和GPU架构，Groq从头设计了一个张量流处理器(TSP)架构
·2022-09-13 18:38

Kafka快速入门------kafka的基础知识

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎
Peihj2021·2022-09-12 10:03

第十三章 大数据Hadoop原理应用

批转流计算(批量积攒一段时间数据，然后流式处理)内存寻址(纳秒级)比IO寻址(磁盘毫秒级)快10万倍，差6个0固态硬盘IO一般500mb/s,机械硬盘几百mb/s.IO是瓶颈问题：1T文件如何在内存50mb
我爱肉肉·2022-09-09 07:22

什么是kafka、kafka的应用场景、Kafka基本知识

目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
CodingAnHour·2022-09-08 10:21

【Azure Spring Cloud】Azure Spring Cloud服务，如何获取应用程序日志文件呢？

日志流式处理可以通过以下命令在AzureCLI中使用日志流式处理。azspring-cloudapplogs-nhello
路边两盏灯·2022-09-02 17:00

使用 Arrays.asList 把数据转换为 List 的三个坑

Java8中Stream流式处理的各种功能，大大减少了集合类各种操作（投影、过滤、转换）的代码量。所以，在业务开发中，我们常常会把原始的数组转换为List类数据结构，来继续展开各种Stream操作。
xiaohei_e853·2022-08-30 14:11

Kafka原理入门到精通详解

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
卢子墨·2022-08-26 21:37

Flink分布式流式处理框架

架构安装配置示例演示单词统计示例创建Flink工程示例代码基本概念DataStream和DataSet数据类型元组POJOs基础数据类型常规类值HadoopWritables数据的操作窗口的含义有状态的流式处理
荞澳·2022-08-02 09:35

Flink：实时数据处理（1.Flink概述）

2.数据处理的演变2.1传统数据处理架构2.1.1事务处理2.1.2分析处理（Hive）：MySQL->Sqoop->Hive2.2有状态的流式处理2.3流处理的演变2.3.1lambda架构
卖女孩的小火柴Jaffe·2022-08-02 09:03

如何搭建实时数据仓库(详解)

在技术篇里，我们则会推荐整体技术组件选型；对每个技术组件做出简单介绍，尤其对我们抽象并实现的四个技术平台（统一数据采集平台、统一流式处理平台、统一计算服务平台、统一数据可视化平台）着重介绍设计思路；对Pipeline
Jmayday·2022-07-16 15:25

用Flink SQL流化市场数据2：盘中风险价值

事件驱动和流式处理体系结构可在事件发生时对事件进行复
·2022-07-15 21:00

Neuron 2.1.0 发布：支持 Sparkplug B 规范，更完善的工业协议支持

此外Neuron2.1.0还完成了与边缘流式处理引擎eKuiper的集成，实现了一站式的边缘数据采集与处理。
EMQX·2022-07-15 10:29

Neuron 2.1.0 发布：支持 Sparkplug B 规范，更完善的工业协议支持

此外Neuron2.1.0还完成了与边缘流式处理引擎eKuiper的集成，实现了一站式的边缘数据采集与处理。
·2022-07-14 10:51

kafka快速实战与基本原理详解

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎
bijian-bijian·2022-07-13 08:47

微软外服工作札记③——窗口函数的介绍

微软外服工作札记③——窗口函数的介绍在大数据流式处理和分析应用中，窗口（开窗）函数是个很重要的概念，用于对一段时间内的事件数量进行统计和分析。
thanks·2022-06-17 06:00

Go1.18新特性使用Generics泛型进行流式处理

前言Stream是一个基于Go1.18+泛型的流式处理库,它支持并行处理流中的数据.并行流会将元素平均划分多个的分区,并创建相同数量的goroutine执行,并且会保证处理完成后流中元素保持原始顺序.GitHub-xyctruth
·2022-06-15 12:57

程序员必看！我的阿里春招之路分享，已拿offer

的外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：首先，kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩其次，kafka可以按照要求存储数据，保存多久都可以第三，流式处理将数据处理的层次提示到了新高度
普通网友·2022-06-12 05:08

大数据之Kafka介绍

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
仔细是个好习惯·2022-06-05 11:31

kafka看完这篇就够了

削峰填谷；kafka还提供了其他消息中间件难以实现的消息顺序性保障及回溯消费；kafka可以把消息持久化到磁盘；kafka的消息持久化功能和多副本机制，可以使它作为长期的数据存储系统来使用；kafka为各个流式处理框架提供了可靠的数据来源和流式处理类库
Never妥协·2022-05-20 08:57

如何使用Delta Lake构建批流一体数据仓库

DeltaLake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与ApacheSparkAPI完全兼容。
·2022-05-13 14:14

大数据Hadoop之——Spark Streaming原理

一、概述SparkStreaming是对核心SparkAPI的一个扩展，它能够实现对实时数据流的流式处理，并具有很好的可扩展性、高吞吐量和容错性。
大数据老司机·2022-05-02 11:53

Kafka ETL 的应用及架构解析｜告别 Kafka Streams，让轻量级流处理更加简单

随着Kafka越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka可靠的传递能力让它成为流式处理系统
·2022-04-22 11:42

Java如何使用实时流式计算处理？

这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。
归于人海中的宇·2022-03-30 08:23

入门Flink，很简单

这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什
·2022-03-29 09:29

Java如何使用实时流式计算处理？

这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧01、为什
Java3y·2022-03-29 08:00

别再写一堆的 for 循环了！Java 8 中的 Stream 轻松遍历树形结构，是真的牛逼！

可能平常会遇到一些需求，比如构建菜单，构建树形结构，数据库一般就使用父id来表示，为了降低数据库的查询压力，我们可以使用Java8中的Stream流一次性把数据查出来，然后通过流式处理。
·2022-03-24 08:56

Spark Streaming（二）Spark Streaming整合Kafka

现在工作中正在使用flink，避免对Spark流式处理的遗忘，在此进行总结。
Yuan_CSDF·2022-03-18 04:51

Spark Streaming（一）简介与架构

现在工作中正在使用flink，避免对Spark流式处理的遗忘，在此进行总结。
Yuan_CSDF·2022-03-18 04:50

Java的Stream流式处理

在公司，看到大神写的代码优美而高效，其中之一就是对集合等数据结构大量使用了Stream流式操作，极大的提高编程效率和程序可读性。下面学习一下流式操作，在这里用博客记录一下。##为什么需要StreamStream作为Java8的一大亮点，它与java.io包里的InputStream和OutputStream是完全不同的概念。它也不同于StAX对XML解析的Stream，也不是AmazonKines
32224047_yw·2022-03-14 11:06

kafka（上）：基本结构和消息存储

与传统的mq（如rabbitmq）不同，kafka以文件形式存储和传输消息，官方将其定义为事件流式处理平台，它天然具备分布式属性。
·2022-03-11 17:35

数据湖三剑客，大数据时代的新范式？

随着互联网高速发展，大数据技术快速发展和迅速迭代，降低了用户处理海量数据的门槛，越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化，逐渐呈现出数据仓库往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势
疯码牛Pro·2022-03-03 20:00

云计算情报局预告｜告别 Kafka Streams，让轻量级流处理更加简单

随着Kafka越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka可靠的传递能力让它成为流式处理系统完美的数据来源。
·2022-02-24 19:40

一次哔哩哔哩面试经历

的外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：首先，kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩其次，kafka可以按照要求存储数据，保存多久都可以第三，流式处理将数据处理的层次提示到了新高度
胖嘟嘟的程序员·2022-02-20 07:09

Kafka ETL 的应用及架构解析｜告别 Kafka Streams，让轻量级流处理更加简单

随着Kafka越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka可靠的传递能力让它成为流式处理系统可靠的数据来源。在大数据工程领域，Kafka在承接上下游、串联数
·2022-02-18 19:47

大数据系统的多种处理技术

仅需流式处理的工作负载，Starm可支持更广泛的语言并实现极地延迟的处理。但默认配置可能产生重复结果并且无法保证顺序。
黑道皇后红红火火·2022-02-16 00:21

2020-01-18-kafka

Kafka是一个广受欢迎的流式处理平台。你可以认为它是一个专门用于将信息从一个地方放置到另一个地方的服务。
edgar_chan·2022-02-14 04:14

Linux sed 使用大全

sed流式处理过程分成读取，执行，展示三个阶段；1.sed读取是从输入流（文件，管道，标准输入）读取一行并存储到它叫模式空间patternbuffer中。
zhusitao·2022-02-13 06:54

浅谈-实时计算框架

以图为例，批量和流式处理数据粒度不
差不多先生_简书·2022-02-13 04:00

Druid-Druid中task详解

对批处理，通常通过Task的api进行提交，对于流式处理，task由supervisor提交。
李小李的路·2022-02-11 16:59

kafka简介

它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。简介特性高吞吐量、低延迟：kafk
Kuco_Shen·2022-02-11 09:37

第一章 Streaming101

主要以下几点原因：1.业务极度渴望获取更及时的数据洞察力，而切换到流式处理是一个达成低延迟的一个很好的方法。2.在现代商业中，更庞大地、无界的数据集愈发普遍。
哲学家之死·2022-02-07 12:41

探讨一下，如何用开源替代Oracle Goldengate - 墨天轮

debezium比较有名的就是debezium，它是一个开源项目，为捕获数据更改(changedatacapture,CDC)提供了一个低延迟的流式处理平台。
·2022-01-23 21:00

极客星球 | Flink在数据智能公司的探索实践与优化

Flink凭借其极致的流式处理性能和优秀的框架设计吸引了众多开发者加入，各大厂也都纷纷引入Flink作为其主要的流式开发引擎。
·2021-12-08 10:59

Kafka知识点总结

目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
·2021-11-16 15:06
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他