流式计算

浅谈Storm流式处理框架

Storm带着流式计算的标签华丽丽滴出场了，看看它的一些卖点：分布
fanyun_01·2016-03-18 11:00

msup 蚂蚁开放日游记之 全链路监控

topic1:全链路监控示意图，参考oneapm作者介绍第一个是，测试领域工作了7年的，刘扬，从事的领域是系统级的监控，要点：实时监控实时监控系统涵盖了，界面展示层，流式计算层，索引层，日志api抓取其中对日志分析中有一个名词叫日志类聚
titer1·2016-03-13 08:00

对流式计算技术的一些简单理解

在大数据出现的早期，当时企业或者开发者所注重的都是批量计算，当时对于开发者来说，对于一定量数据的处理，利用普通的程序就可以解决，然而当数据量或者计算量到达一定数量之后，应用程序的计算需要的时间也和数据量一样飞速增长，这个时候仅仅依靠传统的应用程序就遇到的很大的瓶颈，这个时候，一方面通过优化程序内部算法和一些机制等各种底层优化来提高系统性能和处理效率，另一方面是提高硬件的质量，也就是提高服务器的配置
自由的web·2016-03-03 17:00

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

目前平台使用Kafka+Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由SparkStreaming进行流式计算；另一部分数据则经由Flume存储至HDFS，用于数据挖掘或机器学习
yurun·2016-02-17 16:00

Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

目前平台使用Kafka+Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由SparkStreaming进行流式计算；另一部分数据则经由Flume存储至HDFS，用于数据挖掘或机器学习
demigelemiao·2016-02-17 16:00

流式计算-Jstorm提交Topology过程(上)

Topology是Jstorm对有向无环图的抽象，内部封装了数据来源spout和数据处理单元bolt，以及spout和bolt、bolt和bolt之间的关系。它能够被提交到Jstorm集群。本文以Jstorm自带的SequenceTopology简介一下Jstorm提交topology的过程，本文主要介绍提交过程，不涉及详细业务，1、 SequenceTopology核心方法com.alipay.
mengfanrong·2016-02-07 16:00

Spark Streaming实践和优化

链接：http://geek.csdn.net/news/detail/54500作者：徐鑫，董西成在流式计算领域，SparkStreaming和Storm时下应用最广泛的两个计算引擎。
徐软件·2016-02-04 21:00

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
蘑菇先生·2016-02-02 19:58

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
蘑菇先生·2016-02-02 19:56

Spark Streaming流式计算的WordCount入门

SparkStreaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于
qindongliang1922·2016-01-31 13:45

Hadoop确实是处理海量离线数据的利器

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
weitao1026·2016-01-23 21:00

Linux曲径通幽：入门

MapReduce：离线计算框架Storm：流式计算框架（实时）Spark：快速计算框架（快速）通过www.netcraft.com获取网站的服务器信息通过www.top500.org获取世界上最快的500
xxssyyyyssxx·2016-01-20 12:00

hadoop、Storm该选哪一个？

1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时
chong023·2016-01-20 10:51

hadoop、Storm该选哪一个？

1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量 首先整体认识：Hadoop是磁盘级计算，进行计算时
chong023·2016-01-20 10:51

Storm入门（Storm程序）

Storm简介Storm是一个分布式实时流式框架，大多应用于以下场景：实时分析、在线机器学习、流式计算、分布式RPCETL（BL分析）等等。同类型的框架有hadoop和spark。
Shen_Smile·2016-01-19 22:00

大数据(四) - MapReduce

MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么    实时计算        像MySQL一样，在毫秒级或者秒级内返回结果    流式计算        MapReduce
matthewei6·2016-01-15 21:00

Storm实时计算框架的编程模式

storm分布式流式计算框架。
gstsyyb·2016-01-03 21:00

基于zookeeper和storm的车载流式计算框架

【下载地址】https://yunpan.cn/cukC2fSufAXDF 访问密码4eed图1图2图3----------------------------------------------------------------------1）更多、更精彩信息尽在：http://www.hellojob.org2）热烈欢迎互联网从业者、求职者及HR加入~！大家共同探讨技术、内部招聘推荐、分享趣
hellojob·2016-01-03 20:00

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成userName/year/month/day/hh/normaluserName/year/month/day/hh/delay路径,存储到HDFS中。如果我们发现日志产生的时间和
祝威廉·2016-01-02 10:01

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成userName/year/month/day/hh/normaluserName/year/month/day/hh/delay路径,存储到HDFS中。如果我们发现日志产生的时间和
allwefantasy·2016-01-02 10:00

【译】使用Apache Kafka构建流式数据平台（1）

前言：前段时间接触过一个流式计算的任务，使用了阿里巴巴集团的JStorm，发现这个领域值得探索，就发现了这篇文章——PuttingApacheKafkaToUse:APracticalGuidetoBuildingaStreamDataPlatform
javaadu·2015-12-29 21:59

程序性能优化

1.故事   背景：线上流式计算，某个关键模块Mario一个大业务版本（带来输入数据double）升级上线   注：流式计算的典型范式之一是不确定数据速率的事件流流入系统，系统处理能力必须与事件流量匹配
尧山少侠·2015-12-23 13:00

storm读书笔记---storm运行流程

一、storm是一个用于实时流式计算的分布式计算引擎，弥补了Hadoop在实时计算方面的不足（Hadoop在本质上是一个批处理系统）。
tterminator·2015-11-29 00:00

Storm开发过程中的问题与建议

（一）topology层级建议设不要设置过多storm讲究是流式计算，spout发送数据，下游的bolt处理数据，数据的处理计算就像流水线作业一样，每一个节点完成特定的工序；但是这种流水作业的深度不易过长
Kevin.Yang·2015-11-26 21:32

jstorm

Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
wwwxxdddx·2015-11-22 14:00

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介
zhouzhihubeyond·2015-11-21 22:46

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介
lovehuangjiaju·2015-11-21 22:00

浅谈分布式计算的开发与实现（2）

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
buaa_shang·2015-11-19 00:00

漫谈流式计算的一致性

参考，http://data-artisans.com/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink/http://www.confluent.io/blog/real-time-stream-processing-the-next-step-for-apache-flink/ 对于
fxjwind·2015-11-18 17:00

浅谈分布式计算的开发与实现(二)

阅读目录:实时计算storm简介流式计算归纳总结高容错性实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。
蘑菇先生·2015-11-16 08:00

实时流式计算框架Storm 0.9.0发布通知(中文版)

实时流式计算框架Storm 0.9.0发布通知(中文版) Storm0.9.0发布通知中文翻译版(2013/12/10 by 富士通邵贤军 有错误一定告诉我 [email protected]
·2015-11-13 21:44

Spark Streaming 结合FlumeNG使用实例

Spark Streaming流式处理系统特点有：  将流式计算分解成一系列短小的批处理
·2015-11-12 22:30

流式计算之Storm简介

Storm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。主要商业应用及案例：TwitterStorm的优点1
·2015-11-09 14:01

大数据学习路径（尚学堂版）

solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算
xxssyyyyssxx·2015-11-09 10:00

大数据处理工具汇总（没有最全，只有更全^_^）

开源大数据处理工具： 查询引擎：phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive 流式计算
·2015-11-02 18:31

[zz]流式计算之Storm简介

转载自：http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.html Storm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoop之于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群
·2015-10-30 18:48

【Spark】概述

但，不适合交互式和流式计算！
·2015-10-27 15:19

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。 原理 Spark 1
·2015-10-27 11:15

实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图

文章来源：http://blog.csdn.net/yangbutao/article/details/8445630 hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中
buster2014·2015-10-25 15:00

Storm

　　1、一些概念 　　1）流式计算（参考http://laokaddk.blog.51cto.com/368606/826889） 　　（1）背景：虽然非实时计算几乎都基于MR，但MR很难应付实时性要求较高的应用
·2015-10-21 12:31

大数据处理之流式计算 storm安装

安装包准备官网下载最新稳定版本，题主下载的是apache-storm-0.9.5.tar.gz角色分配主机名IP角色hadoop001192.168.0.1Nimbushadoop002192.168.0.2Supervisorhadoop003192.168.0.2Supervisor3.安装步骤  3.1安装Strom集群首先要搭建ZooKeeper集群，由于Zookeeper搭建相对简单，不
KIKI王·2015-10-20 11:51

大数据处理之流式计算 storm安装

安装包准备官网下载最新稳定版本，题主下载的是apache-storm-0.9.5.tar.gz角色分配主机名IP角色hadoop001192.168.0.1Nimbushadoop002192.168.0.2Supervisorhadoop003192.168.0.2Supervisor3.安装步骤3.1安装Strom集群首先要搭建ZooKeeper集群，由于Zookeeper搭建相对简单，不再介
KIKI王·2015-10-20 11:51

大数据处理之流式计算 storm安装

安装包准备官网下载最新稳定版本，题主下载的是apache-storm-0.9.5.tar.gz角色分配主机名IP角色hadoop001192.168.0.1Nimbushadoop002192.168.0.2Supervisorhadoop003192.168.0.2Supervisor3.安装步骤  3.1安装Strom集群首先要搭建ZooKeeper集群，由于Zookeeper搭建相对简单，不
KIKI王·2015-10-20 11:51

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。
KIKI王·2015-10-20 10:24

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。
KIKI王·2015-10-20 10:24

大数据处理之流式计算简介

简介Strom是一个开源的分布式流式计算系统，用来处理流式的数据，被称作为流式的hadoop，在电信行业，可以用来做大流量预警、终端营销、访问竞争对手产品从而做挽留等业务。
KIKI王·2015-10-20 10:24

我关注的一周技术动态 2015.10.18

从Storm和Spark学习流式实时分布式计算的设计http://www.csdn.net/article/2014-08-04/2821018/1要点: 流式计算并不是什么新鲜的东西,相信很多同学也都用过
zhengran_baidu·2015-10-18 09:00

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。原理Spark1.4特
jiangshouzhuang·2015-10-17 20:00

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
u010022051·2015-10-15 10:00

MapReduce分布式计算框架

MapReduce适合离线计算Storm适合流式计算，实时计算MapReduce——移动计算不移动数据移动计算：把写好的计算程序分别拷贝一份到不同的机器上HDFS上存储的数据，作为MapReduce的输入每一个片段
aliuxiaohuaxixi·2015-08-25 13:15
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他