Samza

Apache Calcite原理极简入门

ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。
longLiveData·2024-01-25 00:14

Spark Streaming

随着大数据技术的不断发展，人们对于大数据的实时性处理要求也在不断提高，传统的MapReduce等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求，因此诞生了一批如S3、Samza
奋斗的蛐蛐·2024-01-13 06:13

【Spark分布式内存计算框架——Spark Streaming】2. Streaming 概述（下）Streaming 计算模式、SparkStreaming 计算思想

流式处理框架，是由NathanMarz等人于2010年最先开发，之后将Storm开源，成为Apache的顶级项目，Trident对Storm进行了一个更高层次的抽象；另外由LinkedIn贡献给社区的Samza
csdnGuoYuying·2023-10-09 21:33

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

本文转自infoq：http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称
quiterr·2023-10-04 17:38

Flink与storm的主要区别译文。

Qestion:Flink被用来和Spark相比，但是我认为这样的比较不太合适，把Flink窗口事件和Spark微批处理进行比较，同样的Flink与Samza对比也是，这两种情况下的比较都是实时流计算与批量处理事件策略的比较
眠三沐·2023-08-25 10:04

分布式系统

JayKreps是前Linkedin的PrincipalStaffEngineer，现任Confluent公司的联合创始人和CEO，Kafka和Samza的主要作
曹元_·2023-04-01 05:42

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架

image根据最新的统计显示，仅在过去的两年中，当今世界上90％的数据都是在新产生的，每天创建2.5万亿字节的数据，并且随着新设备，传感器和技术的出现，数据增长速度可能会进一步加快。从技术上讲，这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且，许多用例（例如，移动应用广告，欺诈检测，出租车预订，病人监护等）都需要在数据到达时进行实时数据处理，以便做出快速可行的决策。这就是为什么分布式流处理
大数据流动·2023-01-26 05:05

samza实时处理数据案例一

samza是新兴的流式处理框架，相比storm，samza是基于hadoop，使用自家的kafka实现分布式消息系统，任务提交到yarn集群进行调度，粒度更细。
皮蛋嘚孤独·2021-05-19 21:23

[tips]实时方案选型Flink/Storm/Samza/Spark streaming

【一点资讯】Spark在GrowingIO数据无埋点全量采集场景下的实践www.yidianzixun.comhttp://www.yidianzixun.com/home?page=article&id=0EXq2NT4&up=234Paste_Image.png我们的实时计算目前采用的是分钟级别的实时，没有精确到秒级，离线计算需要计算速度非常快，这两部分我们当初在考虑的时候就选用了Spark，
葡萄喃喃呓语·2021-05-19 01:01

SparkStreaming（1）入门

目前有三种比较常用的流式计算框架，分别是storm,sparkStreaming和Samza，,sparkS
joli_1034498274·2020-08-24 17:37

LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza

最近LinkedIn开源其专用于实时数据的处理分布式流处理框架Samza——Samza，非常像Twitter的流处理系统Storm。
思否编辑部·2020-08-24 12:52

大数据框架--hadoop、spark、storm、flink、Samza介绍

2）仅流处理框架：Samza与YARN和Kafka紧密集成的流处理，Storm常用于在线的实时的大数据处理。
戰士·2020-08-21 04:25

4.流式计算 - spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]

2、Samzakafka上接了MR，使用yarn来管理集群，Topic取下来，samza处理（MR），输出放入to
feloxx·2020-08-21 03:00

Samza/Kafka机理解析

ApacheSamzaisadistributedstreamprocessingframework.ItusesApacheKafkaformessaging,andApacheHadoopYARNtoprovidefaulttolerance,processorisolation,security,andresourcemanagement.Yarn是下一代的mapreduce框架，重构根本的
he_wolf·2020-08-18 17:21

Hello Samza编译出错的解决办法

最近在看samza，它是一个分布式的流式数据处理框架，基于Kafka消息队列来实现类实时的流式数据处理。具体我就不多说了，大家可以去看它的官网：http://samza.apache.org。
不负春光不负卿·2020-08-16 07:19

hello samza不容易

为什么说不那么容易说hello呢，因为在整个过程中，你不仅要等待将近一个小时下载yarn、kafka、zookeeper，还且你还会遇到2个让你无法顺利执行的状况。借助原文，我会进行说明。HelloSamzaThehello-samzaprojectisastand-aloneprojectdesignedtohelpyourunyourfirstSamzajob.GettheCodeYou'll
fbfsber008·2020-08-16 04:15

初探“大数据分析”

数据产出2.1哪些行为要打log2.2log携带哪些信息三、数据传输四、数据存储4.1数据仓库设计逻辑4.2HDFS/AFS4.3Mysql五、数据计算5.1Hadoop框架5.2Storm框架5.3Samza
vic6329063·2020-08-07 19:28

2020.7.2复盘

正文端午节后好像就没有怎么写前端页面了，这一周我主要做了两件事情：1、思考项目；2、尝试搭samza的一个demo。
Olliverzhang·2020-08-03 13:51

学习笔记：The Log（我所读过的最好的一篇分布式技术文章）

JayKreps是前Linkedin的PrincipalStaffEngineer，现任Confluent公司的联合创始人和CEO，Kafka和Samza的主要作者。
foreach_break·2020-07-27 22:07

python跨库检查数据一致性

因为最近上线了samza实时流平台，实时从源数据端实时传输数据到数据仓库，于是就需要检查samza数据传输的准确性，则通过下面的python脚本定时检查两个数据端表的行数，以简单的检测下数据一致性。
ckqq46580·2020-07-13 03:06

Samza与Strom

原文地址：http://samza.apache.org/learn/documentation/latest/comparisons/storm.htmlStorm人们通常希望知道类似的系统之间的比较
zs808·2020-07-12 20:40

流式大数据处理的三种框架：Storm,Spark和Samza

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。ApacheStorm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑(topology)。这个拓扑将会被提交给集群，由集群中的主控节点(masternode)分发代码，将任务分配给工作节点(workernode)执行。一个拓扑中包括spout和bol
weixin_33806509·2020-07-05 23:11

Calcite 原理解析

ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。
群演_·2020-06-29 07:24

阿里P8架构师，深入解析新一代Flink计算引擎，Flink将成为主流

新一代Flink计算引擎，大数据研习社（1）Flink概述目前开源大数据计算引擎有很多的选择，比如流处理有Storm、Samza、Flink、Spark等，批处理有Spark、Hive、Pig、Flink
互联网全栈工程师·2020-06-25 00:26

大数据技术：阿里、百度、腾讯都选择 Flink，它到底有什么魔力？

可用于实时计算的开源大数据计算引擎有多种选择，比如Storm、Samza、Flink等，而支持流批一体的只有Spark和Flink。
别盲目追风·2020-06-23 16:07

最火爆的开源流式系统Storm vs 新星Samza

data-flow主要是以数据块为数据源来处理数据，代表有：MR、Spark等，我称作它们为大数据，而streaming主要是处理单位内得到的数据，这种方式，更注重于实时性，主要包括Strom、JStorm和Samza
hljlzc2007·2020-06-23 14:27

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失
机器学习和人工智能·2020-06-23 04:35

Samza框架-----学习笔记

分区：Samza的流数据单位既不是Storm中的元组，也不是SparkStreaming中的DStream，而是一条条消息；Samza中的每个流都被分割成一个或多个分区，对于流里的每一个分区而言，都是一个有序的消息序列
PeixinYe·2020-06-22 03:26

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架

根据最新的统计显示，仅在过去的两年中，当今世界上90％的数据都是在新产生的，每天创建2.5万亿字节的数据，并且随着新设备，传感器和技术的出现，数据增长速度可能会进一步加快。从技术上讲，这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且，许多用例（例如，移动应用广告，欺诈检测，出租车预订，病人监护等）都需要在数据到达时进行实时数据处理，以便做出快速可行的决策。这就是为什么分布式流处理在大数据世
独孤风·2020-06-10 08:00

2016年度大数据精华文章集锦

Samza的应用场景、优势、新特性与未来规划ApacheKylin发布新版流处理引擎实时流实时计算和数据转换，为何Yelp弃用S
司小幽·2020-04-03 01:43

流式大数据处理的三种框架：Storm，Spark和Samza

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。ApacheStorm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（masternode）分发代码，将任务分配给工作节点（workernode）执行。一个拓扑中包括spout和bol
Albert陈凯·2020-02-10 13:59

五种大数据处理架构Hadoop、Storm、Samza、Spark、Flink

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
Alukar·2020-01-07 12:30

Hadoop、Spark、Samza等5种大数据框架对比

大家可以进群学习交流，一起分享更多的面试题和精彩的构架使用技巧QQ：2673218363QQ群：597811267本文将介绍并对比5种主流大数据框架，助你更深层次了解这些框架，从而在项目中更好地使用它们。ApacheHadoopApacheStormApacheSamzaApacheFlinkApacheSpark这五种框架分别适合于什么项目？大数据是收集、整理、处理大容量数据集，并从中获得见解所
大数据挖掘与大数据分析·2019-12-29 10:27

LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza

最近LinkedIn开源其专用于实时数据的处理分布式流处理框架Samza——Samza，非常像Twitter的流处理系统Storm。
高阳Sunny·2019-12-19 21:23

[list]Apache数据流项目Kafka/Storm/Samza/Beam/Spark/Flume/NiFi

Apache数据流项目：一个都不少｜「云头条」http://mp.weixin.qq.com/s?src=3×tamp=1480572229&ver=1&signature=z5tskWVYLQ5zeoVG6ormP0yrjSDSY7RnTfqIpt3JinbmQ-uUGEqDjrjsu0Q3-prqDsFXW80h-OZSFEgzh2ZmVmPDDeOw7BjxFd*dWanBRLI9
葡萄喃喃呓语·2019-12-01 14:34

Hadoop、Spark等5种大数据框架对比，你的项目该用哪种？

一篇文章帮你快速分辨Hadoop、Spark、Storm、Samza和Flink这五种大数据框架的优势和局限大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。
木迪_2a4e·2019-11-30 23:55

Calcite 原理解析

www.jianshu.com/p/a6134865adf6ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza
少年阿峣_从零单排·2019-09-29 19:07

Apache Calcite：独立于存储与执行的SQL解析、优化引擎

Calcite原理解析ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。
chenxuanhanhao·2019-08-25 22:55

Flink基础教程(简约笔记)

人民邮电出版社第一章为何选择Flink竞品：SparkStreaming/Storm/Samza/ApexLambda架构(不懂为何叫Lambda)https://ask.hellobi.com/blog
gregocean·2019-07-14 20:23

My understanding of WIKI samza example

TheWikipediaFeedTaskApplicationdemonstrateshowtoconsumemultipleWikipediaeventstreamsandmergethemtoanApacheKafkatopic.//defineinputdescriberWikipediaInputDescriptorwikipediaInputDescriptor;//definesyst
dgh1996·2019-06-22 01:44

Samza relevant concept

Forkafka:topicsarepartitionedintopartitionsbykey;partitionsareonbrokers;eachbrokercanholdpartitionsfromdifferenttopicseachconsumersgroupholddifferentconsumers,eachconsumerreceivesdatafrommultipleparti
dgh1996·2019-06-19 07:34

Flink学习笔记-新一代Flink计算引擎

这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz新一代Flink计算引擎（1）Flink概述目前开源大数据计算引擎有很多的选择，比如流处理有Storm、Samza
大数据研习社·2019-03-25 15:00

SparkStreaming, StructedStreaming, KafkaStream,Storm,Flink 几大常见实时流计算引擎的对比

NativeStreaming):这类引擎中所有的data在到来的时候就会被立即处理，一条接着一条（HINT：狭隘的来说是一条接着一条，但流引擎有时会为提高性能缓存一小部分data然后一次性处理），其中的代表就是Storm,Samza
写Scala的老刘·2018-12-29 17:08

滴滴是如何从零构建集中式实时计算平台的？

其中用到的引擎有Storm、JStorm、SparkStreaming、Samza等。业务方自建小
本兮言·2018-12-24 00:54

阿卡姆大数据科普报告——Calcite

前言ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。
麒财说·2018-12-02 20:49

大数据生态圈之 流式数据处理框架选择(Storm VS Kafka Streams VS Spark Streaming VS Flink VS Samza)

随着新设备，传感器和技术的出现，数据增长率在不断加速，根据IBM最近的一份报告（https://www.mediapost.com/publications/article/291358/90-of-todays-data-created-in-two-years.html），当今全球90％的数据仅在过去两年内创建，每天创建2.5亿个字节的数据。从技术上讲，这意味着我们的大数据处理世界将变得更加复
Jonathan丶Wei·2018-11-12 16:11

实时流Streaming大数据：Storm,Spark和Samza

当前有许多分布式计算系统能够实时处理大数据，这篇文章是对Apache的三个框架进行比较，试图提供一个快速的高屋建瓴地异同性总结。ApacheStorm在Storm中，你设计的实时计算图称为toplogy，将其以集群方式运行，其主节点会在工作节点之间分发代码并执行，在一个topology中，数据是在spout之间传递，它发射数据流作为不可变的key-value匹配集合，这种key-value配对值称
周雄伟·2018-08-05 15:13

Hadoop vs Storm vs Samza vs Spark vs Flink

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提
x_no_one·2018-07-03 10:33

《Kafka Stream》调研：一种轻量级流计算模式

摘要：流计算，已经有Storm、Spark，Samza，包括最近新起的Flink，Kafka为什么再自己做一套流计算呢？KafkaStream与这些框架比有什么优势？
chenyulancn·2018-03-07 14:01

大数据处理模式 hadoop storm spark

Samza与YARN和Kafka紧密集成可提供更大灵活性，更易用的多团队使用，以及更简单的复制和状态管理。对于混合型工作负载，Spark可提供高速批处理和微批处理模式的流处理
burpee·2017-12-11 15:54
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他