流式计算Heron 第24页

对流式计算技术的一些简单理解

在大数据出现的早期，当时企业或者开发者所注重的都是批量计算，当时对于开发者来说，对于一定量数据的处理，利用普通的程序就可以解决，然而当数据量或者计算量到达一定数量之后，应用程序的计算需要的时间也和数据量一样飞速增长，这个时候仅仅依靠传统的应用程序就遇到的很大的瓶颈，这个时候，一方面通过优化程序内部算法和一些机制等各种底层优化来提高系统性能和处理效率，另一方面是提高硬件的质量，也就是提高服务器的配置

自由的web·2016-03-03 17:00

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

目前平台使用Kafka+Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由SparkStreaming进行流式计算；另一部分数据则经由Flume存储至HDFS，用于数据挖掘或机器学习

yurun·2016-02-17 16:00

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

目前平台使用Kafka+Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由SparkStreaming进行流式计算；另一部分数据则经由Flume存储至HDFS，用于数据挖掘或机器学习

demigelemiao·2016-02-17 16:00

流式计算-Jstorm提交Topology过程(上)

Topology是Jstorm对有向无环图的抽象，内部封装了数据来源spout和数据处理单元bolt，以及spout和bolt、bolt和bolt之间的关系。它能够被提交到Jstorm集群。本文以Jstorm自带的SequenceTopology简介一下Jstorm提交topology的过程，本文主要介绍提交过程，不涉及详细业务，1、 SequenceTopology核心方法com.alipay.

mengfanrong·2016-02-07 16:00

Spark Streaming实践和优化

链接：http://geek.csdn.net/news/detail/54500作者：徐鑫，董西成在流式计算领域，SparkStreaming和Storm时下应用最广泛的两个计算引擎。

徐软件·2016-02-04 21:00

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。

蘑菇先生·2016-02-02 19:58

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。

蘑菇先生·2016-02-02 19:56

Spark Streaming流式计算的WordCount入门

SparkStreaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于

qindongliang1922·2016-01-31 13:45

Heron，Hybrid App极限优化解决方案

概要在移动Hybrid开发日渐兴盛的今天，如何高效的进行优化，精准的针对不同场景进行不同优化，提升优化的效率值（性价值）更为关键。通过工具化，生态体系，完成移动端性能要求下的基础框架，再拓展边缘生态系统，使移动基于HybridApp开发更得心应手。个人简介刘恒兵,10年加入腾讯，IMWEB团队核心成员。先后负责IMQQ、QQ圈子、QQ群等业务。目前负责腾讯课堂业务以及团队的基础建设。对新的技术有浓

刘恒兵·2016-01-29 00:00

Heron，Hybrid App极限优化解决方案

概要在移动Hybrid开发日渐兴盛的今天，如何高效的进行优化，精准的针对不同场景进行不同优化，提升优化的效率值（性价值）更为关键。通过工具化，生态体系，完成移动端性能要求下的基础框架，再拓展边缘生态系统，使移动基于HybridApp开发更得心应手。个人简介刘恒兵,10年加入腾讯，IMWEB团队核心成员。先后负责IMQQ、QQ圈子、QQ群等业务。目前负责腾讯课堂业务以及团队的基础建设。对新的技术有浓

刘恒兵·2016-01-29 00:00

Hadoop确实是处理海量离线数据的利器

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架

weitao1026·2016-01-23 21:00

Twitter Heron: Streaming at Scale

我会着重分析Twitter的两代实时分析框架，Storm和Heron。作为TwitterHeron的作者之一，我从无到有地对实时分析框架进行了分析，设计和实现。

符茂松·2016-01-21 00:00

Linux曲径通幽：入门

MapReduce：离线计算框架Storm：流式计算框架（实时）Spark：快速计算框架（快速）通过www.netcraft.com获取网站的服务器信息通过www.top500.org获取世界上最快的500

xxssyyyyssxx·2016-01-20 12:00

hadoop、Storm该选哪一个？

1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时

chong023·2016-01-20 10:51

hadoop、Storm该选哪一个？

1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时

chong023·2016-01-20 10:51

Storm入门（Storm程序）

Storm简介Storm是一个分布式实时流式框架，大多应用于以下场景：实时分析、在线机器学习、流式计算、分布式RPCETL（BL分析）等等。同类型的框架有hadoop和spark。

Shen_Smile·2016-01-19 22:00

大数据(四) - MapReduce

MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么实时计算像MySQL一样，在毫秒级或者秒级内返回结果 流式计算 MapReduce

matthewei6·2016-01-15 21:00

Storm实时计算框架的编程模式

storm分布式流式计算框架。

gstsyyb·2016-01-03 21:00

基于zookeeper和storm的车载流式计算框架

【下载地址】https://yunpan.cn/cukC2fSufAXDF 访问密码4eed图1图2图3----------------------------------------------------------------------1）更多、更精彩信息尽在：http://www.hellojob.org2）热烈欢迎互联网从业者、求职者及HR加入~！大家共同探讨技术、内部招聘推荐、分享趣

hellojob·2016-01-03 20:00

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成userName/year/month/day/hh/normaluserName/year/month/day/hh/delay路径,存储到HDFS中。如果我们发现日志产生的时间和

祝威廉·2016-01-02 10:01

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成userName/year/month/day/hh/normaluserName/year/month/day/hh/delay路径,存储到HDFS中。如果我们发现日志产生的时间和

allwefantasy·2016-01-02 10:00

【译】使用Apache Kafka构建流式数据平台（1）

前言：前段时间接触过一个流式计算的任务，使用了阿里巴巴集团的JStorm，发现这个领域值得探索，就发现了这篇文章——PuttingApacheKafkaToUse:APracticalGuidetoBuildingaStreamDataPlatform

javaadu·2015-12-29 21:59

程序性能优化

1.故事背景：线上流式计算，某个关键模块Mario一个大业务版本（带来输入数据double）升级上线注：流式计算的典型范式之一是不确定数据速率的事件流流入系统，系统处理能力必须与事件流量匹配

尧山少侠·2015-12-23 13:00

storm读书笔记---storm运行流程

一、storm是一个用于实时流式计算的分布式计算引擎，弥补了Hadoop在实时计算方面的不足（Hadoop在本质上是一个批处理系统）。

tterminator·2015-11-29 00:00

Storm开发过程中的问题与建议

（一）topology层级建议设不要设置过多storm讲究是流式计算，spout发送数据，下游的bolt处理数据，数据的处理计算就像流水线作业一样，每一个节点完成特定的工序；但是这种流水作业的深度不易过长

Kevin.Yang·2015-11-26 21:32

jstorm

Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍

wwwxxdddx·2015-11-22 14:00

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介

zhouzhihubeyond·2015-11-21 22:46

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介

lovehuangjiaju·2015-11-21 22:00

浅谈分布式计算的开发与实现（2）

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。

buaa_shang·2015-11-19 00:00

漫谈流式计算的一致性

参考，http://data-artisans.com/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink/http://www.confluent.io/blog/real-time-stream-processing-the-next-step-for-apache-flink/ 对于

fxjwind·2015-11-18 17:00

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。

蘑菇先生·2015-11-16 08:00

实时流式计算框架Storm 0.9.0发布通知(中文版)

实时流式计算框架Storm 0.9.0发布通知(中文版) Storm0.9.0发布通知中文翻译版(2013/12/10 by 富士通邵贤军有错误一定告诉我 [email protected]

·2015-11-13 21:44

Node填坑教程——常用库

安装 E:\project\heron-lesson\demo4>npm install lodash --save 1 var data1 = [1, 2

·2015-11-13 17:52

Node填坑教程——简易http服务器

通过命令行工具，在项目路径下输入： E:\project\heron-lesson>npm install express --save 通过npm命令安装最新版的express。

·2015-11-13 17:51

Spark Streaming 结合FlumeNG使用实例

Spark Streaming流式处理系统特点有：将流式计算分解成一系列短小的批处理

·2015-11-12 22:30

流式计算之Storm简介

Storm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。主要商业应用及案例：TwitterStorm的优点1

·2015-11-09 14:01

大数据学习路径（尚学堂版）

solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算

xxssyyyyssxx·2015-11-09 10:00

大数据处理工具汇总（没有最全，只有更全^_^）

开源大数据处理工具：查询引擎：phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive 流式计算

·2015-11-02 18:31

[zz]流式计算之Storm简介

转载自：http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.html Storm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群

·2015-10-30 18:48

【Spark】概述

但，不适合交互式和流式计算！

·2015-10-27 15:19

UBUNTU下安装 APACHE+PHP+MYSQL WEB服务器！

here’s my updated simple installation of Apache, PHP and MySQL in Ubuntu 8.04 LTS (Hardy Heron

·2015-10-27 14:45

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。原理 Spark 1

·2015-10-27 11:15

海伦公式

关于海伦公式（Heron's formula或Hero's formula）的历史海伦公式亦称“海伦-秦九韶公式”。

·2015-10-27 11:55

实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图

文章来源：http://blog.csdn.net/yangbutao/article/details/8445630 hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中

buster2014·2015-10-25 15:00

libpng causes error concerning pngconf.h

Gibbon 7.10 - libpng 1.2.15~beta5-2ubuntu0.1 (bug probably concerned with libpng-dev) Ubuntu Hardy Heron

·2015-10-21 12:01

Storm

　　1、一些概念　　1）流式计算（参考http://laokaddk.blog.51cto.com/368606/826889）　　（1）背景：虽然非实时计算几乎都基于MR，但MR很难应付实时性要求较高的应用

·2015-10-21 12:31

大数据处理之流式计算 storm安装

KIKI王·2015-10-20 11:51

大数据处理之流式计算 storm安装

KIKI王·2015-10-20 11:51

大数据处理之流式计算 storm安装

KIKI王·2015-10-20 11:51

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。

KIKI王·2015-10-20 10:24

推荐频道

流式计算Heron

对流式计算技术的一些简单理解

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

流式计算-Jstorm提交Topology过程(上)

Spark Streaming实践和优化

浅谈分布式计算的开发与实现(二)

浅谈分布式计算的开发与实现(二)

Spark Streaming流式计算的WordCount入门

Heron，Hybrid App极限优化解决方案

Heron，Hybrid App极限优化解决方案

Hadoop确实是处理海量离线数据的利器

Twitter Heron: Streaming at Scale

Linux曲径通幽：入门

hadoop、Storm该选哪一个？

hadoop、Storm该选哪一个？

Storm入门（Storm程序）

大数据(四) - MapReduce

Storm实时计算框架的编程模式

基于zookeeper和storm的车载流式计算框架

Spark Streaming 流式计算实战

Spark Streaming 流式计算实战

【译】使用Apache Kafka构建流式数据平台（1）

程序性能优化

storm读书笔记---storm运行流程

Storm开发过程中的问题与建议

jstorm

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

浅谈分布式计算的开发与实现（2）

漫谈流式计算的一致性

浅谈分布式计算的开发与实现(二)

实时流式计算框架Storm 0.9.0发布通知(中文版)

Node填坑教程——常用库

Node填坑教程——简易http服务器

Spark Streaming 结合FlumeNG使用实例

流式计算之Storm简介

大数据学习路径（尚学堂版）

大数据处理工具汇总（没有最全，只有更全^_^）

[zz]流式计算之Storm简介

【Spark】概述

UBUNTU下安装 APACHE+PHP+MYSQL WEB服务器！

Spark与Flink：对比与分析

海伦公式

实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图

libpng causes error concerning pngconf.h

Storm

大数据处理之流式计算 storm安装

大数据处理之流式计算 storm安装

大数据处理之流式计算 storm安装

大数据处理之流式计算简介