E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
流式计算Heron
大数据日知录:架构与算法 笔记
当谈论大数据时我们在谈论什么2数据分片与路由3数据复制与一致性4大数据常用算法与数据结构5集群资源管理与调度6分布式协调系统7分布式通信8数据通道9分布式文件系统10内存KV11列式数据库12大规模批处理13
流式计算
cteng
·
2014-10-27 19:00
算法
大数据
机器学习
分布式计算
系统架构
肖康-基于Storm利用空闲资源构建实时计算平台
肖康-基于Storm利用空闲资源构建实时计算平台Storm是一个分布式实时
流式计算
系统,与Hadoop相比在实时、流式数据的处理方面具有天然的优势,在很多互联网公司有成功的应用。
李航421
·
2014-10-20 11:00
storm
计算平台
空闲资源
肖康
构建实时
Spark学习笔记-Streaming-1
SparkStreaming是将
流式计算
分解成一系列短小的批处理作业。
wulinshishen
·
2014-09-28 18:00
spark
Streaming
Storm介绍
Storm是一个分布式的、可靠的、容错的数据流处理系统(
流式计算
框架,可以和mapreduce的离线计算框架对比理解)。整个任务被委派给不同的组件,每个组件负责一个简单的特定的处理任务。
莫问viva
·
2014-09-23 11:00
阿里搜索离线技术团队负责人谈Hadoop:阿里离线平台、YARN和iStream
有了正式的OperationSystem—YARN,从此Hadoop不再只是MapReduce的代名词,Storm、Spark、Graph,MPI等越来越多的计算模型可以运行在YARN上,批处理计算、实时
流式计算
张天雷
·
2014-09-21 11:00
实时计算storm流程架构总结
原文:http://blog.csdn.net/yangbutao/article/details/8445630hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的
流式计算
中
u010064842
·
2014-09-10 19:00
实时修改方案
1.BasicState
流式计算
如果修改为并行计算,最后结果要做整合的。这也没啥。创建4个参数对象传递,线程之后根据参数整合成一个。
马知常
·
2014-08-14 16:00
《Netty权威指南》 试读
netty适用于用户前后台分离、服务水平拆分之后各节点之间的分布式高性能调用Netty的应用现状和未来趋势随着大规模分布式系统、大数据和
流式计算
框架的兴起,基于Java来构建这些系统已经成为主流,NIO
empireghost
·
2014-08-12 18:00
框架
网络应用
互联网
《Netty权威指南》 试读
netty适用于用户前后台分离、服务水平拆分之后各节点之间的分布式高性能调用Netty的应用现状和未来趋势随着大规模分布式系统、大数据和
流式计算
框架的兴起,基于Java来构建这些系统已经成为主流,NIO
empireghost
·
2014-08-12 18:00
框架
网络应用
互联网
Spark Streaming:大规模流式数据处理的新贵
摘要:SparkStreaming是大规模流式数据处理的新贵,将
流式计算
分解成一系列短小的批处理作业。
lantian0802
·
2014-08-11 12:00
spark
Spark学习体系
的源码编译SparkStandalone安装SparkStandaloneHA安装Spark应用程序部署工具spark-submitSpark生态Spark(内存计算框架)SparkSteaming(
流式计算
框架
John00000001
·
2014-07-21 09:06
Cloud
Spark
Scala
看如何利用mina等实现一个分布式
流式计算
系统
写在前面,这个系统是同事开发的,我只不过check代码过来研究研究,在此记录下,喔,纵观我所撰写的文章,大抵标题党,一部分源于没有系统的时间去深入研究,一部分只是把一些知识面或者技术点记录下,如陶式不求甚解始终不大好,后面希望慢慢提高撰写博客的质量,望各位见谅。 组建这个流失框架的网络通信层是采用了mina,但由于mina太过于底层,不带有语义(业务无关性,或者说基本的request-respon
xylong
·
2014-07-11 17:00
大数据
Mina
流式计算
flume-ng+Kafka+Storm+HDFS 实时系统组合
数据采集负责从各节点上实时采集数据,选用cloudera的flume来实现2).数据接入由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用apache的kafka3).
流式计算
对采集到的数据进行实时分析
liyonghui160com
·
2014-07-10 14:00
实时系统组合
Spark Streaming:大规模流式数据处理
http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data摘要:SparkStreaming是大规模流式数据处理的新贵,将
流式计算
分解成一系列短小的批处理作业
lskyne
·
2014-07-08 10:00
hadoop2学习URl
hadoop2学习URlhttp://blog.csdn.net/wind5shy/article/category/1261200/2解析Hadoop2.3.0版本的新特性
流式计算
框架Storm,内存计算框架
nysyxxg
·
2014-07-03 18:00
【译】
流式计算
框架-Storm简介
目前本土公司对这些
流式计算
框架的应用也比较广泛,但苦于相关文档英文居多,缺少成系列且与官方相对应的中文手册。本系列试图从官方文档翻译入手,给大家呈现较为完备的中文资料,同时也是对自身知识的总结沉淀。
朱春来
·
2014-06-26 12:00
storm
大数据
实时计算
流式计算
hadoop2之YARN
难以支持MR以外的计算 2.多种计算框架各自为战,难以数据共享 MR离线计算框架、Storm实时/
流式计算
侯上校
·
2014-06-17 16:00
hadoop2
hadoop2之YARN
难以支持MR以外的计算 2.多种计算框架各自为战,难以数据共享 MR离线计算框架、Storm实时/
流式计算
侯上校
·
2014-06-17 16:00
hadoop2
流式计算
介绍
流式计算
介绍
流式计算
介绍MapReduceHold不住?本文系统地介绍和分析比较了业界主流的Yahoo!
haydenwang8287
·
2014-06-17 10:00
计算
Spark Streaming初探
SparkStreaming初探SparkStreaming是一个基于Spark核心的
流式计算
的扩展。
u014388509
·
2014-04-14 18:00
scala
spark
分布式
机器学习
流式计算
Pora2应用中HBase高并发读写性能优化
淘宝搜索的个性化离线实时分析系统Pora已升级至Pora2,Pora2是在基于Yarn的
流式计算
框架IStream基础上开发的,同时为保证数据和消息的实时处理系统中较多地使用了HBase,是一个典型的高并发读写
毅行
·
2014-03-21 09:00
性能优化
分布式技术
大数据之使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
Flood_Dragon
·
2014-02-13 14:00
Spark Streaming:大规模流式数据处理的新贵
摘要:SparkStreaming是大规模流式数据处理的新贵,将
流式计算
分解成一系列短小的批处理作业。
it_man
·
2014-02-07 13:00
MapReduce\Tez\Storm\Spark四个框架的异同
3)Storm:MapReduce也不适合进行
流式计算
、实时分析,比如广告
cloudeagle_bupt
·
2014-01-20 10:00
流式计算
在容错方面的考虑
流式计算
,在容错方面手段有几种:1、 流数据重放(streamreplay)流数据在处理过程中,可能会出现错误,这时需要支持数据的重放,比如从出现错误的点重新执行一遍等等,因此对于这些流数据需要在系统中保存一段时间
yangbutao
·
2014-01-04 06:00
spark
storm
流式计算
配Boom Band智能手环 TCL idol X+评测全面介绍(图文)
今年更是凭借idolX(东东枪)和
HeroN
3受到了不少用户的好评,而TCL也在年底继续迈步,推出了新一代idolX+,首次使用了主频为2.0GHz的联发科MT6592八核处理器,并创新性的搭载了BoomBand
佚名
·
2013-12-31 15:37
实时
流式计算
框架Storm 0.9.0发布通知(中文版)
Storm0.9.0发布通知中文翻译版(2013/12/10 by 富士通邵贤军 有错误一定告诉我
[email protected]
^_^) 我们很高兴宣布Storm 0.9.0已经成功发布,你可以从the downloads page下载. 本次发布对茁壮成长的Storm来说是一次巨大的进步。 我们追加了一些新特性,你会在下面看到详细的介绍, 此外这
·
2013-12-10 16:00
storm
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
qindongliang1922
·
2013-11-13 17:00
mapreduce
hadoop
排序
统计数据
分析数据
如何使用hadoop对海量数据进行统计并排序
不得不说,Hadoop确实是处理海量离线数据的利器,当然,凡是一个东西有优点必定也有缺点,hadoop的缺点也很多,比如对
流式计算
,实时计算,DAG具有依赖关系的计算,支持都不友好,所以,由此诞生了很多新的分布式计算框架
·
2013-11-13 09:00
hadoop
统计
量数
YARN/MR2编程模型介绍
Hadoop0.23.0是一个通用的资源分配框架,它不仅支持MapReduce计算框架,同时也支持
流式计算
框架,迭代计算框架,MPI等。
caodaoxi
·
2013-10-23 14:00
yarn
"大数据产品中的异构数据源整合"分享总结
概述:此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝 挑战:计算 •离线计算:灵活性低,但性能可控,数据产品的主流模式 •实时计算:灵活性高,技术挑战较大 •
流式计算
:数据时效性高
小网客
·
2013-08-31 12:00
大数据
"大数据产品中的异构数据源整合"分享总结
概述:此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝 挑战:计算 •离线计算:灵活性低,但性能可控,数据产品的主流模式 •实时计算:灵活性高,技术挑战较大 •
流式计算
:数据时效性高
小网客
·
2013-08-31 12:00
大数据
(海伦公式)已知三角形三条边长,求面积
~~~~以下转自百度百科~~~~~~~~~~~~~~~~~~~~~~~~~~~~~海伦公式海又译作希伦公式、海龙公式、希罗公式、海伦-秦九韶公式,传说是古代的叙拉古国王希伦(
Heron
,也称海龙)二世发现的公式
KinneV
·
2013-08-29 15:05
云计算的三种服务形式
PaaS: 云计算平台如Hadoop
流式计算
平台如S4,Storm 其他开发平台如SAE(新浪的) 此平台主要是利用
小网客
·
2013-08-15 16:00
云计算
云计算的三种服务形式
PaaS: 云计算平台如Hadoop
流式计算
平台如S4,Storm 其他开发平台如SAE(新浪的) 此平台主要是利用
小网客
·
2013-08-15 16:00
云计算
谈求面积的Pick 公式
谈求面积的Pick公式蔡聪明问题的起源一维的特例:植树问题推广到二维平面Pick定理的证明Pick定理的推广其他的求面积公式 Pick公式、
Heron
公式与测量师公式,是数学里求面积的三个重要公式
i_fuqiang
·
2013-08-07 15:00
Hadoop Yarn解决多类应用兼容方法
Yarn应用兼容 Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架,在它上面可以跑多类应用,不仅能够跑经典MR计算,还能在该框架上实现实时计算,交互式计算,
流式计算
等等。
zhan8610189
·
2013-07-01 23:00
hadoop
storm实时
流式计算
框架集群搭建过程
http://blog.csdn.net/comaple/article/details/7896167这几天在其他同事的帮助下,调研了twitter的开源
流式计算
框架storm的使用,下面分享一下storm
cnbird2008
·
2013-04-12 11:00
hbase使用、运维、改进(不断更新)
从传统的离线计算(hadoop、hive),到实时
流式计算
系统(storm、s4),创新应用性接口
kirayuan
·
2013-03-07 15:00
流式计算
之Storm简介
原文地址:
流式计算
之Storm简介作者:YOFEEStorm是一个分布式的、容错的实时计算系统,遵循EclipsePublicLicense1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算
nuoline
·
2013-02-25 18:00
流式计算
系统
S4、StreamBase和Borealis三种
流式计算
系统,希望读者能从这些系统的设计中领悟到不同场景下
流式计算
所要解决的关键问题。
guoery
·
2013-01-15 09:00
实时计算storm流程架构总结
hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的
流式计算
中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如
杨步涛的博客
·
2013-01-13 13:28
storm
实时计算storm流程架构总结
hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的
流式计算
中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如
yangbutao
·
2013-01-13 13:00
storm
storm
架构
三种
流式计算
系统--MapReduce Hold不住?
S4、StreamBase和Borealis三种
流式计算
系统,希望读者能从这些系统的设计中领悟到不同场景下
流式计算
所要解决的关键问题。
guoery
·
2013-01-06 16:00
分布式研发工程师
年薪范围在30w-50w 岗位描述:1、参与实时分布式风险控制系统底层技术的研发工作;2、整合、研发以及测试评估海量数据处理和管理,快速
流式计算
,高级数据挖掘,智能数据展现,科学智能评估等技术。
caroline_ma
·
2012-12-31 00:00
java
C++
linux
mysql
上一页
21
22
23
24
25
26
27
28
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他