流式计算

hadoop2之YARN

难以支持MR以外的计算     2.多种计算框架各自为战，难以数据共享       MR离线计算框架、Storm实时/流式计算
侯上校·2014-06-17 16:00

hadoop2之YARN

难以支持MR以外的计算     2.多种计算框架各自为战，难以数据共享       MR离线计算框架、Storm实时/流式计算
侯上校·2014-06-17 16:00

流式计算介绍 流式计算介绍

流式计算介绍MapReduceHold不住？本文系统地介绍和分析比较了业界主流的Yahoo!
haydenwang8287·2014-06-17 10:00

Spark Streaming初探

SparkStreaming初探SparkStreaming是一个基于Spark核心的流式计算的扩展。
u014388509·2014-04-14 18:00

Pora2应用中HBase高并发读写性能优化

淘宝搜索的个性化离线实时分析系统Pora已升级至Pora2，Pora2是在基于Yarn的流式计算框架IStream基础上开发的，同时为保证数据和消息的实时处理系统中较多地使用了HBase，是一个典型的高并发读写
毅行·2014-03-21 09:00

大数据之使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
Flood_Dragon·2014-02-13 14:00

Spark Streaming：大规模流式数据处理的新贵

摘要：SparkStreaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。
it_man·2014-02-07 13:00

MapReduce\Tez\Storm\Spark四个框架的异同

3）Storm:MapReduce也不适合进行流式计算、实时分析，比如广告
cloudeagle_bupt·2014-01-20 10:00

流式计算在容错方面的考虑

流式计算，在容错方面手段有几种：1、 流数据重放(streamreplay)流数据在处理过程中，可能会出现错误，这时需要支持数据的重放，比如从出现错误的点重新执行一遍等等，因此对于这些流数据需要在系统中保存一段时间
yangbutao·2014-01-04 06:00

实时流式计算框架Storm 0.9.0发布通知(中文版)

Storm0.9.0发布通知中文翻译版(2013/12/10 by 富士通邵贤军 有错误一定告诉我 [email protected]^_^）   我们很高兴宣布Storm 0.9.0已经成功发布，你可以从the downloads page下载. 本次发布对茁壮成长的Storm来说是一次巨大的进步。   我们追加了一些新特性，你会在下面看到详细的介绍, 此外这
·2013-12-10 16:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
qindongliang1922·2013-11-13 17:00

如何使用hadoop对海量数据进行统计并排序

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架
·2013-11-13 09:00

YARN/MR2编程模型介绍

Hadoop0.23.0是一个通用的资源分配框架，它不仅支持MapReduce计算框架，同时也支持流式计算框架，迭代计算框架，MPI等。
caodaoxi·2013-10-23 14:00

"大数据产品中的异构数据源整合"分享总结

概述：此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝 挑战：计算 •离线计算：灵活性低，但性能可控，数据产品的主流模式 •实时计算：灵活性高，技术挑战较大 •流式计算：数据时效性高
小网客·2013-08-31 12:00

"大数据产品中的异构数据源整合"分享总结

概述：此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝 挑战：计算 •离线计算：灵活性低，但性能可控，数据产品的主流模式 •实时计算：灵活性高，技术挑战较大 •流式计算：数据时效性高
小网客·2013-08-31 12:00

云计算的三种服务形式

  PaaS： 云计算平台如Hadoop 流式计算平台如S4,Storm 其他开发平台如SAE(新浪的) 此平台主要是利用
小网客·2013-08-15 16:00

云计算的三种服务形式

  PaaS： 云计算平台如Hadoop 流式计算平台如S4,Storm 其他开发平台如SAE(新浪的) 此平台主要是利用
小网客·2013-08-15 16:00

Hadoop Yarn解决多类应用兼容方法

Yarn应用兼容 Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架，在它上面可以跑多类应用，不仅能够跑经典MR计算，还能在该框架上实现实时计算，交互式计算，流式计算等等。
zhan8610189·2013-07-01 23:00

storm实时流式计算框架集群搭建过程

http://blog.csdn.net/comaple/article/details/7896167这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm
cnbird2008·2013-04-12 11:00

hbase使用、运维、改进(不断更新)

从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性接口
kirayuan·2013-03-07 15:00

流式计算之Storm简介

原文地址：流式计算之Storm简介作者：YOFEEStorm是一个分布式的、容错的实时计算系统，遵循EclipsePublicLicense1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算
nuoline·2013-02-25 18:00

流式计算系统

S4、StreamBase和Borealis三种流式计算系统，希望读者能从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。
guoery·2013-01-15 09:00

实时计算storm流程架构总结

hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如
杨步涛的博客·2013-01-13 13:28

实时计算storm流程架构总结

   hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如
yangbutao·2013-01-13 13:00

三种流式计算系统--MapReduce Hold不住？

S4、StreamBase和Borealis三种流式计算系统，希望读者能从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。
guoery·2013-01-06 16:00

分布式研发工程师

年薪范围在30w-50w 岗位描述：1、参与实时分布式风险控制系统底层技术的研发工作；2、整合、研发以及测试评估海量数据处理和管理，快速流式计算，高级数据挖掘，智能数据展现，科学智能评估等技术。
caroline_ma·2012-12-31 00:00

三十三期百度技术沙龙笔记整理

陈天健的主要话题是百度推荐引擎计算平台架构中的流式计算架构。中间有一种因为几个短信有点错过，等视频出来再听一遍，这个笔记基本没啥整理，主要是个备档，感兴趣的同学可以直接去InfoQ看视频。
dipolar·2012-12-23 09:00

在线广告

竞价广告系统(包括搜索广告)***广告交易市场*在线广告中的数据处理与挖掘***海量数据处理框架***受众定向***用户反馈预测*在线广告中的重要技术***广告投放引擎***广告索引技术***实时竞价***流式计算技术这个课程涵盖了计算广告的十分完整的市场和产
sun_168·2012-12-06 12:00

如何构建高效的storm计算模型

计算机制简介      Storm采用流式计算的模型，和shell类似让数据在一个个“管道”中进行处理。Spout负责从数据源拉取数据，相当于整个系统的生产者。
z_l_l_m·2012-12-03 18:00

流式计算系统分析

2011年度的HadoopChina大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，StreamProcessing将会是下一个研究热点，无论是在工业界还是学术界。本文从深层次对各种典型的数据流计算系统架构及其基于的设计理念进行剖析。背景与动机背景随着当今社会数据量的日益膨胀，普通服务器组成的计算集群用于处理各种数据应用。在工业领域，像网页检索、机
z_l_l_m·2012-11-29 00:00

storm实时流式计算框架集群搭建过程

  这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm集群的安装配置过程。以作备忘之用。
hewei0241·2012-10-13 16:00

【流式计算】Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/ 我们知道，storm集群里面工作机器分为两种一种是nimbus,一种是supervisor,他们通过zookeeper来进行交互，nimbus通过zooke
sunxinhere·2012-09-10 23:00

【流式计算】Twitter Storm源代码分析之Tuple是如何发送的

作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/727/twitter-storm-code-analysis-tuple-send-proc/ 这篇文章里面我们来看一下Storm里面的tuple到底是如何从一个tuple是怎么从一个bolt到另一个bolt上去的。首先Bolt在发射一个t
sunxinhere·2012-09-10 23:00

【流式计算】Twitter Storm源代码分析之Topology的执行过程

作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/647/twitter-storm-code-analysis-topology-execution/ 我们通过前面的文章(TwitterStorm源代码分析之ZooKeeper中的目录结构)知道了storm集群里面nimbus是通过zook
sunxinhere·2012-09-10 23:00

【流式计算】Twitter Storm源代码分析之ZooKeeper中的目录结构

作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明转自网址:http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/ 我们知道TwitterStorm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务
sunxinhere·2012-09-10 23:00

【流式计算】Twitter Storm: 搭建storm集群

转自网址:http://xumingming.sinaapp.com/179/twitter-storm-搭建storm集群/本文翻译自： https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。这篇文章介绍搭建storm集群并运行的步骤。如果你使用AWS,那么你可以看一下storm-deploy项目，storm-de
sunxinhere·2012-09-10 22:00

storm实时流式计算框架集群搭建过程

 storm实时流式计算框架集群搭建过程分类： storm bigdata 大数据2012-08-2216:03 78人阅读 评论(0) 收藏 举报                                             
foreverdengwei·2012-08-26 08:00

storm实时流式计算框架集群搭建过程

Storm集群安装配置过程——bycomaple.zhang这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm集群的安装配置过程。以作备忘之用。
康派尔·2012-08-22 16:07

storm实时流式计算框架集群搭建过程

                                             Storm集群安装配置过程                                                                                                                                              
comaple·2012-08-22 16:00

MapReduce Hold不住？

S4、StreamBase和Borealis三种流式计算系统，希望读者能从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。背景杨栋百度分布式高级研发工程师，从事Hypertabl
foreverdengwei·2012-08-14 12:00

【流式计算】twitter storm Tutorial [2]

转自:http://xumingming.sinaapp.com/138/twitter-storm入门/ 本文翻译自：https://github.com/nathanmarz/storm/wiki/Tutorial在这个教程里面我们将学习如何创建Topologies,并且把topologies部署到storm的集群里面去。Java将是我们主要的示范语言，个别例子会使用python以演示stor
sunxinhere·2012-04-15 10:00

【流式计算】twitter storm Rationale[1]

源：https://github.com/nathanmarz/storm/wiki/Rationale2012-04014译Rationale基本原理 Thepastdecadehasseenarevolutionindataprocessing.MapReduce,Hadoop,andrelatedtechnologieshavemadeitpossibletostoreandprocessd
sunxinhere·2012-04-14 20:00

流式计算之Storm简介

流式计算之Storm简介(2011-11-0414:51:39)转载▼标签：杂谈分类：数据库Storm是一个分布式的、容错的实时计算系统，遵循EclipsePublicLicense1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算
changtao381·2012-04-10 23:00

流式计算介绍

 流式计算介绍MapReduceHold不住？  本文系统地介绍和分析比较了业界主流的Yahoo!
laokaddk·2012-04-05 15:14

Storm 流计算

流式计算之Storm(zz)  2011-11-2022:20:57|  分类：搜索与分布式|字号 订阅zzfrom：http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.htmlStorm
zl198751·2012-03-31 20:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他