E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spout
storm源码分析---Transactional spouts
不同
spout
的特性不同,一个transactionalspout会有如下这些特性:1、有着同样txid的batch一定是一样的。
超人学院66
·
2015-05-28 16:09
hadoop
storm
超人学院
storm源码分析---Transactional spouts
不同
spout
的特性不同,一个transactionalspout会有如下这些特性:1、有着同样txid的batch一定是一样的。
超人学院
·
2015-05-28 16:00
hadoop
storm
超人学院
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、
spout
、bolt、topology而成的一种模式(pattern)。本来应
超人学院
·
2015-05-27 17:00
hadoop
storm
超人学院
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、
spout
、bolt、topology而成的一种模式(pattern)。本来应
超人学院66
·
2015-05-27 17:42
storm
Hadoop
超人学院
Storm高级原语(二) -- DRPC详解
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语stream、
spout
、bolt、topology而成的一种模式(pattern)。本来应
超人学院66
·
2015-05-27 17:42
hadoop
storm
超人学院
Storm的并行度详解
supervisor运行的是topology中的
spout
/bolttasktask 是storm中进行计算的最小的运行单位,表示是
spout
或者bolt的运行实例。
超人学院
·
2015-05-22 14:00
hadoop
storm
超人学院
Storm的并行度详解
supervisor运行的是topology中的
spout
/bolttasktask 是storm中进行计算的最小的运行单位,表示是
spout
或者bolt的运行实例。
超人学院66
·
2015-05-22 14:12
hadoop
storm
超人学院
Strom简介
Task:worker中每一个
spout
/bolt的线程称为一个task.Topology:Storm中运行的实时应用进
u011984824
·
2015-05-22 11:00
storm之DRPC
其实即使不通过DRPC,而是通过在Topoloye中的
spout
中建立一个TCP/HTTP监听来接收数据,在最后一个Bolt中将数据发送到指定位
lixiyuan
·
2015-05-09 11:00
Storm实验 -- 单词计数3
在上一次单词计数的基础上做如下改动:使用 DirectGrouping分组策略,将首字母相同的单词发送给同一个task计数数据源spoutpackagecom.zhch.v3; importbacktype.storm.
spout
.SpoutOutputCollector
张超
·
2015-05-03 21:00
Storm实验 -- 单词计数2
1.使用可靠的消息处理机制2.配置 worker、executor、task数量3.使用集群模式提交数据源spoutpackagecom.zhch.v2; importbacktype.storm.
spout
.SpoutOutputCollector
张超
·
2015-05-03 18:00
二,使用Storm实现实时大数据分析实例:用storm来监测车辆速度是否超过80km/h
Bolt的实现
Spout
的输出结果将给予Bolt进行更深一步的处理。经过对用例的思考,我们的topology中需要如Figure3中的两个Bolt。Figure3:
Spout
到Bolt的数据流程。
ajan
·
2015-04-22 12:43
Storm中Trident流合并的例子demo
流的合并操作,是指根据两个流的关联条件将两个流合并成一个流,然后在进行后面的处理操作,如果使用
Spout
和Bolt这种编程模型的话写起来会比较困难和繁琐,因为要设置缓冲区来保存第一次过来的数据
liyantianmin
·
2015-04-16 18:00
Storm之
spout
,bolt编写
Spout
的主要方法: op
·
2015-04-12 13:00
storm
Storm中文官方文档翻译计划(2) ——消息处理保证
阅读更多Storm中文官方文档翻译计划(2)——消息处理保证通Strom保证来自
spout
的每一个消息都会被完全处理。
powersoft
·
2015-04-08 11:00
storm
大数据
腾讯
实时计算
Hadoop
Storm中文官方文档翻译计划(2) ——消息处理保证
Storm中文官方文档翻译计划(2)——消息处理保证通 Strom保证来自
spout
的每一个消息都会被完全处理。
powersoft
·
2015-04-08 11:00
hadoop
storm
大数据
腾讯
实时计算
Storm中文官方文档翻译计划(2) ——消息处理保证
阅读更多Storm中文官方文档翻译计划(2)——消息处理保证通Strom保证来自
spout
的每一个消息都会被完全处理。
powersoft
·
2015-04-08 11:00
storm
大数据
腾讯
实时计算
Hadoop
Storm如何保证消息不丢失
storm保证从
spout
发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。
qq1010885678
·
2015-04-07 21:00
storm
Storm DRPC实现机制分析
DRPC是建立在Storm基本概念(Topology、
Spout
、Bolt、Stream等)之上的高层抽象,个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架,以便能够利用Storm快速的实现
longzhun
·
2015-04-07 10:00
storm
Storm DRPC实现机制分析
DRPC是建立在Storm基本概念(Topology、
Spout
、Bolt、Stream等)之上的高层抽象,个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架,以便能够利用Storm快速的实现
longzhun
·
2015-04-07 10:00
storm
Storm实例:实时单词计数
场景描述: 1.使用一个java程序每间隔一定时间向Redis数据库A中存入数据; 2.Storm的
Spout
读取Redis数
fansy1990
·
2015-03-27 17:00
storm
应用
Storm拓扑,组件之
spout
、bolt,并行策略
软件版本:Storm:0.9.3,Redis:2.8.19;jedis:2.6.2;参考:http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html一、Storm原理Storm简述:Storm中有两个组件:nimbus和supervisor,nimbus主要负责分配资源和s
fansy1990
·
2015-03-27 00:32
storm
Storm拓扑,组件之
spout
、bolt,并行策略
软件版本:Storm:0.9.3,Redis:2.8.19;jedis:2.6.2;参考:http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html一、Storm原理 Storm简述:Storm中有两个组件:nimbus和supervisor,nimbus主要负责分配资源
fansy1990
·
2015-03-27 00:00
storm
并行策略
Storm DRPC 使用
DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC,而是通过在Topoloye中的
spout
jmppok
·
2015-03-25 10:00
框架
集群
storm
分布式
drpc
strom 如何保证可靠性
twitter-storm如何保证消息不丢失/本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processingstorm保证从
spout
jmppok
·
2015-03-25 10:00
storm
可靠性
Storm弹性计算:实时调整Topology并发数
比如增加Topology的worker数,修改Bolt,
Spout
的并行执行数量parallelism等,从
jmppok
·
2015-03-25 10:00
storm
topology
弹性计算
动态调整
Storm中数据的输入输出
初学Storm的小伙伴可能会有这样的问题:我写了
Spout
和Bolt,创建了Topology,提交到了Cluster中,然后呢?怎么访问并使用这个Topology呢?
jmppok
·
2015-03-25 10:00
storm
输入输出
Storm实时计算:流操作入门编程实践
下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob,是一个用来编排、容纳一组计算逻辑组件(
Spout
抓哇小王子
·
2015-03-13 09:06
大数据
stream group
流分组:
spout
和bolt通讯的方式成为流分组。
chengjianxiaoxue
·
2015-03-05 15:00
Stream
storm UI没有topology stats没有
spout
与bolt的stats
我这边的问题是这样的: 启动集群后,
spout
与bolt的stats,用的版本:storm0.9.2 错误原因:版本太低UIbug处理方式:升级版本到0.9.3 出现截图如下:
chengjianxiaoxue
·
2015-03-05 12:00
storm
storm并行度
storm的supervisor运行的是topology中的
spout
/bolttask。 task是storm中进行计算的最小的运行单位,表示的是
spout
、bolt的运行实例。
chengjianxiaoxue
·
2015-03-04 20:00
storm
storm日志bebug问题
请在
spout
和bolt的prepare方法中读取配置文件。任何资源类的初始化都需要放到prepare方法中(比如数据库连接,和读取文件索引类等)。程序部
如风达
·
2015-03-02 15:00
Flume,Kafka与Storm整合
1、Kafka与Storm的整合 Kafka与storm的整合就是用Kafka的消费者实现为为storm的数据源
spout
,用Kafka的stream数据作为storm中
spout
的数据源。
shen_jz2012
·
2015-02-10 11:00
storm
Flume
kafka
流计算
平台搭建
topology.max.
spout
.pending详解
storm里面topology.max.
spout
.pending属性解释:1.同时活跃的batch数量,你必须设置同时处理的batch数量。
cjun1990
·
2015-01-28 15:00
JStorm之Topology提交客户端
一个topology包含一或多个spoutbolt,
spout
负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。
lihm0_1
·
2015-01-16 15:00
storm
云计算
实时计算
jstorm
storm: storm-kafka
spout
package inok.storm.kafka.sample; import java.io.FileInputStream; import java.io.IOException; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator
ylzhj02
·
2015-01-09 20:00
storm
Storm消息机制
这章讨论Storm's reliability capabilities, 如何保证从
spout
emit出来的所有tuple都被正确的执行(fully processed)?
hi_henainchun
·
2015-01-07 14:00
Storm消息机制
Strom: mongdb
spout
/bolt trending topics
References https://github.com/nathanmarz/storm-contrib http://eugenedvorkin.com/implementing-top-10-most-popular-articles-in-real-time-with-storm-and-
ylzhj02
·
2015-01-04 18:00
mongdb
Storm官方文档about页面翻译
Storm的
spout
的抽象使得集成一个新的队列系统变得简单。示例的队列集成包括:KestrelRabbitMQ/AMQPKafkaJMSAmazonKinesis同样的,集成数据库系统到Storm
damacheng
·
2015-01-04 16:00
Storm-编程入门
一 编程接口
Spout
接口
Spout
组件的实现可以通过继承BaseRichSpout类或者其他*
Spout
类来完成,也可以通过实现IRichSpout接口来实现。
如风达
·
2014-12-31 10:00
IRichBolt和IBasicBolt/BaseBasicBolt对比
这样storm就可以检测整个tuple树有没有完成处理,并且通知源
spout
处理结果。storm提供了一些简洁的api来做这些事情。由一个tuple产生一个新的tuple称为:anchoring。
cjun1990
·
2014-12-25 15:00
IBatchSpout API
IBatchSpout是stormtrident推出的一种可以批量发射的
Spout
。
岩之有理
·
2014-12-10 17:00
storm 原理简介及单机版安装指南(转)
同样,Storm也对数据的实时计算提供了简单
Spout
和Bol
Jacos
·
2014-12-03 23:00
storm入门 第四章 消息的可靠处理
4.1简介storm可以确保
spout
发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。
坏坏一笑
·
2014-12-03 11:00
ack
可靠性
fail
storm消息的可靠处理
Storm中的可靠性
我们知道Storm有一个很重要的特性,那就是StormAPI能够保证它的一个Tuple能够被完全处理,这一点尤为重要,其实storm中的可靠性是由
spout
和bolt组件共同完成的,下面就从
spout
suifeng3051
·
2014-12-02 19:00
storm
Reliable
storm可靠性
storm文档(9)----消息处理保证机制
details/41577125源地址:http://storm.apache.org/documentation/Guaranteeing-message-processing.htmlStorm保证:每条离开
spout
录事参军
·
2014-11-28 15:05
storm
storm文档(9)----消息处理保证机制
41577125源地址:http://storm.apache.org/documentation/Guaranteeing-message-processing.html Storm保证:每条离开
spout
beitiandijun
·
2014-11-28 15:00
storm
storm的并发
Executor是线程,只能为一个
spout
或boult服务,是由Worker进程衍生出来的。
幻想vs理想
·
2014-11-28 11:00
Storm实时计算:流操作入门编程实践
下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob,是一个用来编排、容纳一组计算逻辑组件(
Spout
Yanjun
·
2014-11-28 05:00
storm
开源技术
Storm【Storm0.9.3】- ACK 框架有意的补充
2:
Spout
发射消息之后。将像AckerBolt发射一个消息,这个消息的内容为《RootID,消息ID》AckerBolt将会为该消息创建一条跟踪项3:Bolt产生要发射的消息的
止静
·
2014-11-19 18:00
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他