流式计算Heron

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。
KIKI王·2015-10-20 10:24

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。
KIKI王·2015-10-20 10:24

我关注的一周技术动态 2015.10.18

从Storm和Spark学习流式实时分布式计算的设计http://www.csdn.net/article/2014-08-04/2821018/1要点: 流式计算并不是什么新鲜的东西,相信很多同学也都用过
zhengran_baidu·2015-10-18 09:00

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。原理Spark1.4特
jiangshouzhuang·2015-10-17 20:00

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
u010022051·2015-10-15 10:00

MapReduce分布式计算框架

MapReduce适合离线计算Storm适合流式计算，实时计算MapReduce——移动计算不移动数据移动计算：把写好的计算程序分别拷贝一份到不同的机器上HDFS上存储的数据，作为MapReduce的输入每一个片段
aliuxiaohuaxixi·2015-08-25 13:15

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
xuguokun1986·2015-08-20 08:00

JStorm/Strom配置executors和tasks（线程和实例）

不过Twitter对外宣讲了他们的Heron系统,JStorm作者的博文分析：深度分析TwitterHeron[http://www.longda.us/?
doctor_who2004·2015-08-16 23:00

Jstorm简介（参考storm的实时流式计算框架）

  Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
xinklabi·2015-08-02 13:00

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析
天下杰论·2015-07-27 19:00

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。 原理 Spark1.
m635674608·2015-07-20 17:00

搜索广告与广告网络Demand技术-流式计算平台

  流式计算平台-Storm         我们以Storm为例来看流式计算的功能是什么。下面内容引用自大圆的博客。
·2015-07-01 10:00

Storm 如何分发第三方依赖jar

Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如
m635674608·2015-06-22 02:00

Heron（二）—-系统架构

Heron的总体架构如图1所示，用户开发的代码通过aurorascheduler的命令行进行提交，auroraschedule是一个跑在mesos上的框架。 
xqy1522·2015-06-19 13:00

Heron(一)—-storm的一些短板

twitter在使用storm过程中发现了一些storm的弊端，开发Herons相对storm需要提升的几个特性：1）更好的扩展性，2）更容易调试3）更高的性能 4）更好管理–可以和其他系统复用资源        storm的短板：1）storm的worker调度策略非常复杂，一台机器上的多个worker由操作系统调度，worker中的每个executor会映射两个线程，这些线程的调度就使用jvm
xqy1522·2015-06-18 18:00

搜狗商业广告流式计算实践

概要搜狗商业广告平台为打造一站式营销服务提供基础架构支撑，满足广告主精准投放、精细化管理以及快速决策的需求。随着搜狗业务的飞速发展，广告数据量成几何级数增长。海量数据下，如何向互联网用户实时投放精准广告，如何向广告商提供实时广告状态和投放建议，如何对流量进行实时监控和分析，同时保证系统的健壮性，高性能和高可用性，是商业广告平台必须面对和解决的问题。本次分享结合商业广告平台的特点，介绍搜狗商业广告平
么刚·2015-06-18 00:00

Twitter已经用Heron替换了Storm

Twitter已经用Heron替换了Storm。此举将吞吐量最高提升了14倍，单词计数拓扑时间延迟最低降到了原来的1/10，所需的硬件减少了2/3。
Abel Avram·2015-06-16 00:00

Twitter已经用Heron替换了Storm

Twitter已经用Heron替换了Storm。此举将吞吐量最高提升了14倍，单词计数拓扑时间延迟最低降到了原来的1/10，所需的硬件减少了2/3。
Abel Avram·2015-06-16 00:00

Twitter推出新的流处理器系统Heron

为了解决该问题，Twitter公司近期开发了一套全新的流处理系统——Heron。近日，Twitter公司在SIGMOD2015会议上对Heron进行了介绍。据Twitter公司的技术经理Kart
张天雷·2015-06-16 00:00

好.酷狗音乐的大数据实践（纯干货）spark

11年的IT从业经验，2年分布式应用开发，3年大数据技术实践经验，主要研究方向流式计算、大数据存储计算、分布式存储系统、NoSQL、搜
北京起航·2015-06-05 20:00

Twitter 新一代流处理利器——Heron 论文笔记之Heron架构

Twitter新一代流处理利器——Heron论文笔记之Heron架构标签（空格分隔）：Streaming-processrealtime-processHeronArchitectureHeron架构如下图
wzhg0508·2015-06-05 17:00

Twitter 新一代流处理利器——Heron 论文笔记之Storm Limitations

Twitter新一代流处理利器——Heron论文笔记之StormLimitations标签（空格分隔）：Streaming-ProcessingStormProblemsscalability,debug-ability
wzhg0508·2015-06-03 18:00

大数据处理之-DAG计算

DAG在分布式计算中是非常常见的一种结构，在各个细分领域都可以看见它，比如Dryad,Flumejava和Tez，都是明确构建DAG计算模型的典型，再如流式计算的Storm等系统或机器
lesorb·2015-05-19 18:00

大数据处理之-DAG计算

DAG在分布式计算中是非常常见的一种结构，在各个细分领域都可以看见它，比如Dryad,Flumejava和Tez，都是明确构建DAG计算模型的典型，再如流式计算的Storm等系统或机器
lesorb·2015-05-19 18:00

从批处理到流式计算的罪与罚 ——storm实践总结

近期是对storm做了不少的研究与分享，包括我的前一篇文章的《数据处理神器storm的理解与思考——让你的数据化作行云流水》，无论是看官方的文档，还是看其他第三方文献介绍推荐，总会让你觉得各种高端先进，毕竟它代表了一种比较新潮的设计思想，刚开始接触了解的人更会跃跃欲试。然而storm是否真如看上去那么美？还是说，storm只是另一个喜好新鲜事物的开发者把玩的玩物？这些都需要亲自尝试过才会得知。归根
quentinXXZ·2015-04-27 23:00

从批处理到流式计算的罪与罚 ——storm实践总结

阅读更多近期是对storm做了不少的研究与分享，包括我的前一篇文章的《数据处理神器storm的理解与思考——让你的数据化作行云流水》，无论是看官方的文档，还是看其他第三方文献介绍推荐，总会让你觉得各种高端先进，毕竟它代表了一种比较新潮的设计思想，刚开始接触了解的人更会跃跃欲试。然而storm是否真如看上去那么美？还是说，storm只是另一个喜好新鲜事物的开发者把玩的玩物？这些都需要亲自尝试过才会得
quentinXXZ·2015-04-27 23:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

[置顶] 【Apache Samza 系列】实时流数据处理框架Samza中文教程 （二）-- 背景

背景本章介绍了关于流式计算的一些背景，描述了什么是samza，以及samza为什么会被构建出来。什么是消息？消息系统是实现近实时的异步计算的流行方式。
WeiJonathan·2015-02-10 17:00

Twitter Storm流式计算（实时计算）框架简介一

转自：http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/Storm是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解TwitterStorm、它的架构，以及批处理和流式处理解决方案的发展形势。Hadoop（大数据分析领域无可争辩的王者）专注于批处理。这种模型对许多情形（比如为网页建立
xinklabi·2015-01-13 23:00

分布式流式计算平台-S4

关于yahoos4有官方网站：http://s4.io/，也可以查看英文paper:S4:DistributedStreamComputingPlatform,中文翻译：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html，不过看完paper以后再看一下这篇文章能够让你对s4理解的更好些。下面内容来源于：http://www.progr
西门仙忍·2015-01-03 14:54

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制什么是StormStorm用于流式计算和实时计算,简称实时流计算。
axxbc123·2014-12-26 14:47

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

jstorm

 Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
luoshi0801·2014-12-20 18:00

Spark应用案例分析

概要ApacheSpark作为新一代大数据分析平台，以全能分析闻名，可以在单个软件栈内混合批处理、流式计算、以机器学习为代表的迭代型计算、关系查询、交互式查询、图计算等多种分析范式，是搭建一体化大数据流水线的极佳选择
田毅·2014-12-17 00:00

Feed消息队列架构分析

2、流式计算，图中左边的流程，主要进行大数据相关实时处理。3、多机房处理，将数据分发到多个机房
Tim·2014-12-11 15:00

基于Storm利用空闲资源构建实时计算平台

概要Storm是一个分布式实时流式计算系统，与Hadoop相比在实时、流式数据的处理方面具有天然的优势，在很多互联网公司有成功的应用。
肖康·2014-12-10 00:00

ARM Linux 的TLB miss和page fault的异常处理

ARMLinux的TLBmiss处理过程——Heron（2012.11.23）在ARM架构下，TLBmiss后的工作绝大多数情况是由hardwarepagetablewalk完成，特殊情况下hardwarepagetablewalk
哭你吃完·2014-11-14 09:00

使用simple_flow实现实时系统的监控

监控系统简介通过拉取在线服务日志(比如apache的accesslog),将日志信息(pv数据)保存到redis,并通过曲线图展示使用组件(1)simple_flow--流式计算(2)simple_server
finallygo·2014-11-06 14:00

Spark学习笔记-Streaming-1<转>

 SparkStreaming是将流式计算分解成一系列短小的批处理作业。
yongjian_luo·2014-11-06 11:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
yanchao520mmmm·2014-11-03 15:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
yanchao520mmmm·2014-11-03 15:00

simple_flow一个简单的流式计算框架

simple_flow simple realtime flow computation 简介 simple_flow 是一个简单的实时流计算框架,由两部分组成,一个是agent,一个是flow_server, agent负责将数据实时传输给flow_server,flow_server负责对实时流的处理 特点 linux only 继承simple系列的传统,简洁实用
finallygo·2014-10-29 11:00

【Samza系列】实时计算Samza中文教程（二）——概念

  希望上一篇背景篇让大家对流式计算有了宏观的认识，本篇根据官网是介绍概念，先让我们看看有哪些东西呢？  概念一：Streams  Samza是处理流的。流则是由一系列不可变的一种相似类型的消息组成。
yangchao228·2014-10-27 21:00

【samza系列】实时计算框架Samza学习指南-前言

我目前就职于百度，负责电商数据平台架构和开发的工作，大数据离线和在线计算平台都需要投入精力搭建、使用和维护，特别对实时计算这一块的技术感兴趣，也使用过storm等流式计算框架；运用了一段时间后，我想逐步深入了解实时计算框架底层的实现
yangchao228·2014-10-27 21:00

大数据日知录：架构与算法 笔记

当谈论大数据时我们在谈论什么2数据分片与路由3数据复制与一致性4大数据常用算法与数据结构5集群资源管理与调度6分布式协调系统7分布式通信8数据通道9分布式文件系统10内存KV11列式数据库12大规模批处理13流式计算
cteng·2014-10-27 19:00
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他