流式计算

spark stream和storm的对比

这种方式大大提供了sparkstreamming流式计算处理的吞吐量。容错比较。由于storm用于传统关系型数据库类得的以数据记录为单位容错
snail_knight·2017-05-26 09:17

论文学习：在线学习算法综述

TitleContent原文在线学习算法综述作者潘志松摘要在线学习：通过流式计算框架，在内存中直接对数据实时运算，为大数据的学习提供了有力的工具引言流式数据特点：动态性无序性无限性突发性体积大传统学习方法归根结底是对某一静态数据分布的学习
iyangdi·2017-05-10 16:17

Flink流计算编程--看看别人怎么用Session Window

1、简介流处理在实际生产中体现的价值越来越大，ApacheFlink这个纯流式计算框架也正在被越来越多的公司所关注并尝试使用其流上的功能。
lmalds李麦迪·2017-04-05 18:54

spark点点滴滴 —— spark streaming+kafka流式计算实战

不同于storm等流式计算框架的设计，sparkstreaming的流式计算框架本质上还是spark的批处理框架，只是将流式数据按时间维度切分为细粒度的批处理框架，因此了解spark的话sparkstreaming
简牧·2017-03-29 11:18

jstorm消息处理的容错语意

jstorm消息处理的容错语意分布式流式计算的容错问题分布式计算不仅带来了系统的横向扩展能力，同时也带来了网络通信的复杂性和更大的故障概率等问题。
san_yun·2017-03-21 10:31

StreamingPro支持Flink的流式计算了

前言有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上
祝威廉·2017-03-21 10:03

Spark streaming & storm流式计算框架对比

原文链接：http://blog.csdn.net/yangbutao/article/details/44538637，致谢Sparkstreaming和Storm作为当今流行的实时流式计算框架，已经在实时计算方案应用的非常广泛了
江畔独步·2017-03-15 17:50

（第8篇）实时可靠的开源分布式实时计算系统——Storm

流式计算解决方案-Storm在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。
I加加·2017-03-14 10:14

探秘Hadoop生态10：Spark架构解析以及流式计算原理

原文链接：https://www.csdn.net/导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。本文依次从spark生态，原理，基本概念，sparkstreaming原理及实践，还有sp
黄小斜·2017-03-08 09:54

PostgreSQL的一个流式计算数据库

//流计算风云再起-PostgreSQL携PipelineDB力挺IoT__Pipelinedb是基于PostgreSQL的一个流式计算数据库，纯C代码，效率极高(32c机器,单机日处理流水达到了250.56
葡萄喃喃呓语·2017-03-06 16:12

精通Apache Flink读书笔记--1、2

因为Flink是一个纯流式计算引擎，而类似于Spark这种微批的引擎，只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。
lmalds李麦迪·2017-03-06 14:45

Kafka开源消息系统分布式集群搭建

Kafka开源消息系统分布式集群搭建1、KafKa是什么在流式计算中，KafKa一般用来缓存数据，Storm通过消费KafKa的数据进行计算KafKa+Storm+Redisa.ApacheKafKa是一个开源消息系统
MatrixSparse·2017-01-29 03:51

Zabbix分布式集群监控

Zabbix分布式集群监控1.监控对象1、分布式文件系统HDFS2、分布式离线计算框架MapReduce3、分布式流式计算框架Storm4、分布式消息队列KafKa5、分布式内存计算框架Spark6、分布式列式数据库
MatrixSparse·2017-01-12 00:38

Spark Streaming如何使用checkpoint容错

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
h254532699·2017-01-11 13:39

Spark Streaming如何使用checkpoint容错

阅读更多在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
qindongliang1922·2017-01-06 21:00

Spark Streaming如何使用checkpoint容错

阅读更多在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
qindongliang1922·2017-01-06 21:00

如何在spark-streaming中获取通过kafka传递的flume信息header

flume+kafka+spark-streaming，应该说这一套架构已经成为流式计算的标配了。如何整合我这里就不赘述了。
a95473004·2016-12-27 16:57

高性能高并发系统的稳定性保障

作者：肖飞，于2011年8月份加入京东，曾亲身参与到京东的应用性能监控、统一日志、流式计算、内存缓存、四层防攻击等一些基础技术平台的研发和搭建工作，经历了京东的技术系统从简单粗放向复杂精细化的演变过程。
天府云创·2016-12-21 15:02

如何基于日志，同步实现数据的一致性和实时抽取?

作者：王东宜信技术研发中心架构师目前就职于宜信技术研发中心，任架构师，负责流式计算和大数据业务产品解决方案。
小码哥·2016-12-19 03:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
bitcarmanlee·2016-11-05 21:05

spark streaming

SparkStreaming是将流式计算分解成一系列短小的批处理作业。
lmem·2016-11-05 21:18

【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型

2.MapReduce的特色—不擅长的方面实时计算spark像MySQL一样，在毫秒级或者秒级内返回结果流式计算stormMapR
shengmingqijiquan·2016-10-24 15:00

Spark学习笔记--Spark基础知识

SparkStreaming是Spark提供的对实时数据进行流式计算的组件Spark是一个用于集群计算的通用计算框架，因此被应用于各种各样的应用程序2、从上层来看，每个saprk应用都有一个驱动器程序（
夜晓楼·2016-09-08 22:56

Strom学习（二）----Storm计算模型

阅读更多Storm计算模型是一个DAG的计算模型，而且Storm是把DAG和流式计算结合起来。
雨落千木·2016-08-28 22:00

Storm部署

Storm的部署管理非常简单，而且，在同类的流式计算工具，S
大兔齐齐·2016-08-26 13:17

Spark2.0 Structured Streaming

你可以像在使用静态RDD数据一样来编写你的流式计算过程。当流数据连续不断的产生时，SparkSQL将会增量的，持续不断的处理这些数据并将结果更新到结果集中。
董云龙·2016-08-07 23:45

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

阅读更多流星实时数据开发平台一个实时地干离线的活的流式计算平台！基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。
ForNebula·2016-07-14 19:00

封仲淹：如何优雅地使用Disruptor

个人简介封仲淹（纪君祥），阿里巴巴中间件平台技术部高级技术专家，花名纪君祥，阿里巴巴JStorm核心作者之一，ApacheStormPMC，流式计算权威人士之一，从事分布式计算，分布式存储多年，目前专注于实时计算和流式计算
InfoQ·2016-07-06 00:00

Hadoop周刊—第 172 期

Hadoop周刊—第172期 Hadoop周刊第172期  启明星辰平台和大数据总体组编译  2016年5月22日 本周主要关注流式计算——Twitter和Cloudera介绍了他们新的流式计算框架，有文章介绍了
成都心情·2016-06-09 00:00

Spark学习——Spark Streaming：大规模流式数据处理

http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业
sbq63683210·2016-06-07 23:00

解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)

SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代，而SparkStreaming是SparkCode之上的一个流式计算子框架
xiaojun220·2016-05-03 18:00

MapReduce\Tez\Storm\Spark四个框架的异同

3）Storm:MapReduce也不适合进行流式计算、实时分析，比如广告
zly9923218·2016-04-28 16:00

spark streaming原理与实践

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。Spark streaming使用离散化流（discretized  stream）作为抽象
jim_cainiaoxiaolang·2016-04-15 09:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
AlbertFly·2016-04-14 20:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
poisions·2016-04-11 11:00

Storm入门学习随记

Storm是开源的、分布式、流式计算系统什么是分布式呢？就是将一个任务拆解给多个计算机去执行，让许多机器共通完成同一个任
weixin_30249203·2016-04-08 22:00

Twitter Heron:流式计算Storm的升级版

会议上发表了一篇名为TwitterHeron:StreamProcessingatScale的论文，该文列出了Storm系统的几点不足之处，并重点介绍了Twitter公司最近开发并已经内部使用的的大数据流式计算系统
Glory_Z·2016-04-04 17:59

大数据工程师技能图谱

原文链接：http://toutiao.com/a6267290210372747522/一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3
tterminator·2016-03-31 13:00

大数据

hadoop、Stormhttp://www.aboutyun.com/thread-6858-1-1.html可以带着下面问题来阅读本文章：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统
kevin.wang·2016-03-30 10:00

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010022051·2016-03-25 09:00

hadoop面试记录（三）

数据加工前置条件如何控制3介绍对半结构化数据和非结构化数据的处理经验4对流式计算storm的认识，项目中应用到storm的应用场景简介5,6,7,8,9原谅
等待救赎·2016-03-23 23:00

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：
libing13810124573·2016-03-22 17:00

Storm集群组件和编程模型

Storm工作原理：Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
钟艾伶·2016-03-22 10:34

Storm集群组件和编程模型

Storm工作原理：Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
钟艾伶·2016-03-22 10:34

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010926964·2016-03-22 10:00

Storm集群组件和编程模型

Storm工作原理：    Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。
u010850027·2016-03-22 10:00

storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：
bitcarmanlee·2016-03-18 23:00

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布式系统：可横向拓展,
老樊Lu码·2016-03-18 11:27
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他