流式计算

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
xuguokun1986·2015-08-20 08:00

Jstorm简介（参考storm的实时流式计算框架）

  Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
xinklabi·2015-08-02 13:00

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析
天下杰论·2015-07-27 19:00

Spark与Flink：对比与分析

Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。 原理 Spark1.
m635674608·2015-07-20 17:00

搜索广告与广告网络Demand技术-流式计算平台

  流式计算平台-Storm         我们以Storm为例来看流式计算的功能是什么。下面内容引用自大圆的博客。
·2015-07-01 10:00

Storm 如何分发第三方依赖jar

Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如
m635674608·2015-06-22 02:00

搜狗商业广告流式计算实践

概要搜狗商业广告平台为打造一站式营销服务提供基础架构支撑，满足广告主精准投放、精细化管理以及快速决策的需求。随着搜狗业务的飞速发展，广告数据量成几何级数增长。海量数据下，如何向互联网用户实时投放精准广告，如何向广告商提供实时广告状态和投放建议，如何对流量进行实时监控和分析，同时保证系统的健壮性，高性能和高可用性，是商业广告平台必须面对和解决的问题。本次分享结合商业广告平台的特点，介绍搜狗商业广告平
么刚·2015-06-18 00:00

好.酷狗音乐的大数据实践（纯干货）spark

11年的IT从业经验，2年分布式应用开发，3年大数据技术实践经验，主要研究方向流式计算、大数据存储计算、分布式存储系统、NoSQL、搜
北京起航·2015-06-05 20:00

大数据处理之-DAG计算

DAG在分布式计算中是非常常见的一种结构，在各个细分领域都可以看见它，比如Dryad,Flumejava和Tez，都是明确构建DAG计算模型的典型，再如流式计算的Storm等系统或机器
lesorb·2015-05-19 18:00

大数据处理之-DAG计算

DAG在分布式计算中是非常常见的一种结构，在各个细分领域都可以看见它，比如Dryad,Flumejava和Tez，都是明确构建DAG计算模型的典型，再如流式计算的Storm等系统或机器
lesorb·2015-05-19 18:00

从批处理到流式计算的罪与罚 ——storm实践总结

近期是对storm做了不少的研究与分享，包括我的前一篇文章的《数据处理神器storm的理解与思考——让你的数据化作行云流水》，无论是看官方的文档，还是看其他第三方文献介绍推荐，总会让你觉得各种高端先进，毕竟它代表了一种比较新潮的设计思想，刚开始接触了解的人更会跃跃欲试。然而storm是否真如看上去那么美？还是说，storm只是另一个喜好新鲜事物的开发者把玩的玩物？这些都需要亲自尝试过才会得知。归根
quentinXXZ·2015-04-27 23:00

从批处理到流式计算的罪与罚 ——storm实践总结

阅读更多近期是对storm做了不少的研究与分享，包括我的前一篇文章的《数据处理神器storm的理解与思考——让你的数据化作行云流水》，无论是看官方的文档，还是看其他第三方文献介绍推荐，总会让你觉得各种高端先进，毕竟它代表了一种比较新潮的设计思想，刚开始接触了解的人更会跃跃欲试。然而storm是否真如看上去那么美？还是说，storm只是另一个喜好新鲜事物的开发者把玩的玩物？这些都需要亲自尝试过才会得
quentinXXZ·2015-04-27 23:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

两者代表的对大数据处理的两种不同方式与态度，即hadoop代表的批处理方式,与storm为代表的流式计算。先不扯流式计算是个什么鬼。如果说到大数据分析，大家首先直观就会想到hadoop的批处理方式。
quentinXXZ·2015-04-05 22:00

[置顶] 【Apache Samza 系列】实时流数据处理框架Samza中文教程 （二）-- 背景

背景本章介绍了关于流式计算的一些背景，描述了什么是samza，以及samza为什么会被构建出来。什么是消息？消息系统是实现近实时的异步计算的流行方式。
WeiJonathan·2015-02-10 17:00

Twitter Storm流式计算（实时计算）框架简介一

转自：http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/Storm是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解TwitterStorm、它的架构，以及批处理和流式处理解决方案的发展形势。Hadoop（大数据分析领域无可争辩的王者）专注于批处理。这种模型对许多情形（比如为网页建立
xinklabi·2015-01-13 23:00

分布式流式计算平台-S4

关于yahoos4有官方网站：http://s4.io/，也可以查看英文paper:S4:DistributedStreamComputingPlatform,中文翻译：http://wenku.baidu.com/view/fdfa4ef7f61fb7360b4c653a.html，不过看完paper以后再看一下这篇文章能够让你对s4理解的更好些。下面内容来源于：http://www.progr
西门仙忍·2015-01-03 14:54

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制什么是StormStorm用于流式计算和实时计算,简称实时流计算。
axxbc123·2014-12-26 14:47

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

jstorm

 Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用 作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍
luoshi0801·2014-12-20 18:00

Spark应用案例分析

概要ApacheSpark作为新一代大数据分析平台，以全能分析闻名，可以在单个软件栈内混合批处理、流式计算、以机器学习为代表的迭代型计算、关系查询、交互式查询、图计算等多种分析范式，是搭建一体化大数据流水线的极佳选择
田毅·2014-12-17 00:00

Feed消息队列架构分析

2、流式计算，图中左边的流程，主要进行大数据相关实时处理。3、多机房处理，将数据分发到多个机房
Tim·2014-12-11 15:00

基于Storm利用空闲资源构建实时计算平台

概要Storm是一个分布式实时流式计算系统，与Hadoop相比在实时、流式数据的处理方面具有天然的优势，在很多互联网公司有成功的应用。
肖康·2014-12-10 00:00

使用simple_flow实现实时系统的监控

监控系统简介通过拉取在线服务日志(比如apache的accesslog),将日志信息(pv数据)保存到redis,并通过曲线图展示使用组件(1)simple_flow--流式计算(2)simple_server
finallygo·2014-11-06 14:00

Spark学习笔记-Streaming-1<转>

 SparkStreaming是将流式计算分解成一系列短小的批处理作业。
yongjian_luo·2014-11-06 11:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
yanchao520mmmm·2014-11-03 15:00

hadoop、storm和spark的区别、比较

为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识
yanchao520mmmm·2014-11-03 15:00

simple_flow一个简单的流式计算框架

simple_flow simple realtime flow computation 简介 simple_flow 是一个简单的实时流计算框架,由两部分组成,一个是agent,一个是flow_server, agent负责将数据实时传输给flow_server,flow_server负责对实时流的处理 特点 linux only 继承simple系列的传统,简洁实用
finallygo·2014-10-29 11:00

【Samza系列】实时计算Samza中文教程（二）——概念

  希望上一篇背景篇让大家对流式计算有了宏观的认识，本篇根据官网是介绍概念，先让我们看看有哪些东西呢？  概念一：Streams  Samza是处理流的。流则是由一系列不可变的一种相似类型的消息组成。
yangchao228·2014-10-27 21:00

【samza系列】实时计算框架Samza学习指南-前言

我目前就职于百度，负责电商数据平台架构和开发的工作，大数据离线和在线计算平台都需要投入精力搭建、使用和维护，特别对实时计算这一块的技术感兴趣，也使用过storm等流式计算框架；运用了一段时间后，我想逐步深入了解实时计算框架底层的实现
yangchao228·2014-10-27 21:00

大数据日知录：架构与算法 笔记

当谈论大数据时我们在谈论什么2数据分片与路由3数据复制与一致性4大数据常用算法与数据结构5集群资源管理与调度6分布式协调系统7分布式通信8数据通道9分布式文件系统10内存KV11列式数据库12大规模批处理13流式计算
cteng·2014-10-27 19:00

肖康-基于Storm利用空闲资源构建实时计算平台

肖康-基于Storm利用空闲资源构建实时计算平台Storm是一个分布式实时流式计算系统，与Hadoop相比在实时、流式数据的处理方面具有天然的优势，在很多互联网公司有成功的应用。
李航421·2014-10-20 11:00

Spark学习笔记-Streaming-1

    SparkStreaming是将流式计算分解成一系列短小的批处理作业。
wulinshishen·2014-09-28 18:00

Storm介绍

Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。
莫问viva·2014-09-23 11:00

阿里搜索离线技术团队负责人谈Hadoop：阿里离线平台、YARN和iStream

有了正式的OperationSystem—YARN，从此Hadoop不再只是MapReduce的代名词，Storm、Spark、Graph，MPI等越来越多的计算模型可以运行在YARN上，批处理计算、实时流式计算
张天雷·2014-09-21 11:00

实时计算storm流程架构总结

原文：http://blog.csdn.net/yangbutao/article/details/8445630hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中
u010064842·2014-09-10 19:00

实时修改方案

 1.BasicState流式计算如果修改为并行计算，最后结果要做整合的。这也没啥。创建4个参数对象传递，线程之后根据参数整合成一个。        
马知常·2014-08-14 16:00

《Netty权威指南》 试读

netty适用于用户前后台分离、服务水平拆分之后各节点之间的分布式高性能调用Netty的应用现状和未来趋势随着大规模分布式系统、大数据和流式计算框架的兴起，基于Java来构建这些系统已经成为主流，NIO
empireghost·2014-08-12 18:00

《Netty权威指南》 试读

netty适用于用户前后台分离、服务水平拆分之后各节点之间的分布式高性能调用Netty的应用现状和未来趋势随着大规模分布式系统、大数据和流式计算框架的兴起，基于Java来构建这些系统已经成为主流，NIO
empireghost·2014-08-12 18:00

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
lantian0802·2014-08-11 12:00

Spark学习体系

的源码编译SparkStandalone安装SparkStandaloneHA安装Spark应用程序部署工具spark-submitSpark生态Spark（内存计算框架）SparkSteaming（流式计算框架
John00000001·2014-07-21 09:06

看如何利用mina等实现一个分布式流式计算系统

写在前面，这个系统是同事开发的，我只不过check代码过来研究研究，在此记录下，喔，纵观我所撰写的文章，大抵标题党，一部分源于没有系统的时间去深入研究，一部分只是把一些知识面或者技术点记录下，如陶式不求甚解始终不大好，后面希望慢慢提高撰写博客的质量，望各位见谅。 组建这个流失框架的网络通信层是采用了mina，但由于mina太过于底层，不带有语义（业务无关性，或者说基本的request-respon
xylong·2014-07-11 17:00

flume-ng+Kafka+Storm+HDFS 实时系统组合

数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka3）.流式计算对采集到的数据进行实时分析
liyonghui160com·2014-07-10 14:00

Spark Streaming：大规模流式数据处理

http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业
lskyne·2014-07-08 10:00

hadoop2学习URl

hadoop2学习URlhttp://blog.csdn.net/wind5shy/article/category/1261200/2解析Hadoop2.3.0版本的新特性 流式计算框架Storm，内存计算框架
nysyxxg·2014-07-03 18:00

【译】流式计算框架-Storm简介

目前本土公司对这些流式计算框架的应用也比较广泛，但苦于相关文档英文居多，缺少成系列且与官方相对应的中文手册。本系列试图从官方文档翻译入手，给大家呈现较为完备的中文资料，同时也是对自身知识的总结沉淀。
朱春来·2014-06-26 12:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他