E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spout
Storm总结
执行器运行着多个任务(task),但执行器只能执行一类组件,要么是
spout
要么是bolt。组件的任务就是task,每一个bolt就相当于多个task。
敏事慎言
·
2015-08-30 23:00
storm记录--10- Storm消息机制
这章讨论Storm's reliability capabilities, 如何保证从
spout
emit出来的所有tuple都被正确的执行(fully processed)?
zlfwmm
·
2015-08-26 10:34
Storm消息机制
storm记录
storm-kafka数据读取问题
产生的原因是这样的,下面分两种情况讨论:1.bolt只接受一个
spout
:如:builder.setSpout("readlog",newKafkaSpout(dataConfi
sundujing
·
2015-08-24 17:00
storm
JStorm中的并行( parallelismction )介绍
JStorm中,一个任务(task)就是一个可以运行在集群内任何节点的一个
spout
或一个bolt实例。
doctor_who2004
·
2015-08-17 00:00
paralleli
JStorm中的并行
JStorm中的并行
JStorm中消息确保处理机制
JStorm中消息确保处理机制从一个
spout
发射(emit)出去的元祖(tuple),到达下层bolt时候,可能有bolt拆成多个元祖。
A_Beaver
·
2015-08-16 23:53
jstorm
JStorm中消息确保处理机制
JStorm中消息确保处理机制 从一个
spout
发射(emit)出去的元祖(tuple),到达下层bolt时候,可能有bolt拆成多个元祖。
doctor_who2004
·
2015-08-16 23:00
JStorm中消息确保处理机制
Strom入门(二)
storm有一种机制可以保证从
spout
发出的每个tuple都会被完全处理。当bolt处理成功时,bolt会调用collector.ack(),失败会调用collector.fail()。
zero__007
·
2015-08-16 17:00
Strom入门(一)
每个Executor线程里面的运行着若干个相同的Task(
spout
/bolt)。每个
spout
/bolt实例一个线程。
zero__007
·
2015-08-16 16:00
Jstorm提交任务的流程
Topology是JStorm对有向无环图的抽象,其内部封装了数据源
spout
和数据处理对象bolt,以及
spout
和bolt、bolt和bolt之间的关系。
UP19910522
·
2015-08-16 15:00
jstorm
storm Async loop died! & reconnect
storm 在有supervisor重启的时候,topology报错,导致所有
spout
不消费: 2015-07-15T09:48:26.470+0800 b.s.util [ERROR
blackproof
·
2015-08-07 02:00
storm
报错
storm Async loop died! & reconnect
阅读更多storm在有supervisor重启的时候,topology报错,导致所有
spout
不消费:2015-07-15T09:48:26.470+0800b.s.util[ERROR]Asyncloopdied
blackproof
·
2015-08-06 13:00
storm
报错
storm Async loop died! & reconnect
阅读更多storm在有supervisor重启的时候,topology报错,导致所有
spout
不消费:2015-07-15T09:48:26.470+0800b.s.util[ERROR]Asyncloopdied
blackproof
·
2015-08-06 13:00
storm
报错
Storm消息机制
这章讨论Storm's reliability capabilities, 如何保证从
spout
emit出来的所有tuple都被正确的执行(fully processed)?
m635674608
·
2015-08-04 23:00
storm
storm七种分发策略
StreamGroupingStorm中用来定义各个计算组件(
Spout
、Bolt)之间流的连接、分组、分发关系。
hiqj
·
2015-08-03 12:00
Storm Topology的并发度
所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology 一个worker可用包含一个或多个executor, 每个component (
spout
m635674608
·
2015-08-01 13:00
storm
storm编程指南
storm编程指南@(博客文章)[storm|大数据]storm编程指南一创建
spout
二创建split-bolt三创建wordcount-bolt四创建report-bolt五创建topo关于分布式编程的一点说明本文介绍了
lujinhong2
·
2015-07-31 22:00
storm中添加自定义metrics
在
spout
或者bolt的prepare方法中注册metrics public void prepare(@SuppressWarnings("rawtypes") Map
kabike
·
2015-07-30 18:00
storm
storm 的三种计算语义
1.at-most-once:
spout
针对相同的tuple只发送一次即可,不需要实现fail和ack方法。
cjfeii
·
2015-07-30 16:31
大数据
storm 的三种计算语义
1.at-most-once:
spout
针对相同的tuple只发送一次即可,不需要实现fail和ack方法。
cjfeii
·
2015-07-30 16:00
Storm、Kafka、Hbase 整合 java 例子
1.拓扑这里我的
spout
用的是storm-kafka-0.93.jar里的KafkaSpout类来作为输入源,我自己写的后边贴出来,不过我自己写的有问题,会把Topology跑死packagetest.kafka
其实我是真性情
·
2015-07-30 09:44
storm原理介绍
一原理介绍二配置三并行度一storm拓扑的并行度可以从以下4个维度进行设置二并行度的设置方法三示例四分组五可靠性一
spout
二bolt一、原理介绍待补充二、配置完整的默认配置文件见下面defaluts.yaml
lujinhong2
·
2015-07-29 18:00
storm-kafka编程指南
kafka|大数据|storm]storm-kafka编程指南一原理及关键步骤介绍一使用storm-kafka的关键步骤1创建ZkHosts2创建KafkaConfig3设置MultiScheme4创建
Spout
5
lujinhong2
·
2015-07-29 18:00
storm
大数据
kafka
Storm介绍(一)
内容简介本文介绍了Storm的起源和Storm作者的八卦,然后介绍了Storm的特点和Storm模型的基本原理,着重介绍了Storm中的基本概念(
Spout
,Bolt,Stream,Tuple等)和对应的编程接口
Jack47
·
2015-07-25 18:00
storm基础框架分析
背景前期收到的问题:1、在Topology中我们可以指定
spout
、bolt的并行度,在提交Topology时Storm如何将
spout
、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的?
foreach_break
·
2015-07-22 23:00
storm如何保证at least once语义?
背景前期收到的问题:1、在Topology中我们可以指定
spout
、bolt的并行度,在提交Topology时Storm如何将
spout
、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的?
foreach_break
·
2015-07-21 21:00
storm ISpout
ISpout定义了 7个方法:1、 open(Mapconf,TopologyContextcontext,SpoutOutputCollectorcollector); 初始化时被调用,提供
spout
晨磊
·
2015-07-21 16:00
流式大数据处理的三种框架:Storm,Spark和Samza
一个拓扑中包括
spout
和b
m635674608
·
2015-07-20 18:00
spark
关于Storm的几点困惑释疑
一、Storm的文档中提及为
Spout
和Bolt单元设置的“线程数量”为“初始线程数量”,难道还可以改变?
AllInCode
·
2015-07-07 16:35
大数据
关于Storm的几点困惑释疑
一、Storm的文档中提及为
Spout
和Bolt单元设置的“线程数量”为“初始线程数量”,难道还可以改变?
DSLZTX
·
2015-07-07 16:00
Storm中进程,线程,任务和实例的关系
以一个具体的例子来阐述“Storm中进程,线程,任务和实例的关系”假设现在有一个Topology实例,在该Topology实例中,配置为整个Topology实例服务的进程数量为10,配置了
Spout
单元和
DSLZTX
·
2015-07-07 14:00
Storm中的基本概念
Spout
:Topology中的输入数据流,连接数据源,将各类数据源转换成tuple结构的数据,并序列化,向Bolt输出转化后的数据流。
yuanman2002
·
2015-07-02 09:00
storm
Storm Topology 提交到集群
问题:当完成Topology各个组件的定义之后(写好了**
Spout
.java 和 **Bolt.java)如何将Topology提交到集群中去?
·
2015-07-01 17:00
storm
Storm 配置图文解析
|sample-topology| |------------------------|Task1Task2Task3 ||WorkerProcess1||T1T2T3 ||+--------+||
Spout
cheungmine
·
2015-07-01 11:00
Bolt的生命周期
1、在定义Topology实例过程中,定义好
Spout
实例和Bolt实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
AllInCode
·
2015-06-30 09:33
大数据
Spout
的生命周期
1、在定义Topology实例过程中,定义好
Spout
实例和Bolt实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
AllInCode
·
2015-06-29 22:04
大数据
Spout
的生命周期
1、在定义Topology实例过程中,定义好
Spout
实例和Bolt实例2、在提交Topology实例给Nimbus的过程中,会调用TopologyBuilder实例的createTopology()方法
DSLZTX
·
2015-06-29 22:00
Storm中的process,thread,task和
spout
对象实例,bolt对象实例
Storm中的process,thread和task的介绍可见文章《Storm的基本架构和编程流程》,那么关于
spout
对象实例和bolt对象实例与这些(process,thread,task)的关系是怎么样的
AllInCode
·
2015-06-29 16:11
大数据
Storm中的process,thread,task和
spout
对象实例,bolt对象实例
Storm中的process,thread和task的介绍可见文章《Storm的基本架构和编程流程》,那么关于
spout
对象实例和bolt对象实例与这些(process,thread,task)的关系是怎么样的
DSLZTX
·
2015-06-29 16:00
六、Storm的高级原语之Transactional Topology
○是一个每个tuple仅被处理一次的框架 ○由Storm0.7引入,于Storm0.9被弃用,被triden取而代之 ○底层依靠
spout
\bolt\topology\stream抽象的一个特性
datapro
·
2015-06-24 17:00
storm
transactional
topology
storm事务
article/details/17844799 1、storm事务性topology的提出对于容错机制,Storm通过一个系统级别的组件acker,结合xor校验机制判断一个msg是否发送成功,进而
spout
blackproof
·
2015-06-23 17:00
storm
事务
storm事务
article/details/17844799 1、storm事务性topology的提出对于容错机制,Storm通过一个系统级别的组件acker,结合xor校验机制判断一个msg是否发送成功,进而
spout
blackproof
·
2015-06-23 17:00
storm
事务
四、Storm入门之
Spout
可靠的消息VS不可靠的消息在设计拓扑结构时,始终在头脑中记着的一件重要事情就是消息的可靠性。当有无法处理的消息时,你就要决定该怎么办,以及作为一个整体的拓扑结构该做些什么。举个例子,在处理银行存款时,不要丢失任何事务报文就是很重要的事情。但是如果你要统计分析数以百万的tweeter消息,即使有一条丢失了,仍然可以认为你的结果是准确的。对于Storm来说,根据每个拓扑的需要担保消息的可靠性是开发者的
datapro
·
2015-06-17 23:00
storm
spout
storm之8:并行度
3、executor(线程):指某个
spout
或者bolt的总线程数量,这些线程会被随机平均的分配到各个worker。4、task(
spout
/bolt实
·
2015-06-17 11:00
storm
一、初识Storm
1、Storm基本概念:Nimbus:负责资源分配和任务调度Supervisor:负责Nimbus分配的任务,启动和停止属于自己管理的worker进程Worker:运行具体处理逻辑的组件进程
Spout
/
datapro
·
2015-06-16 19:00
storm
Spout
的实现步骤
Spout
的实现步骤:· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。· 在数据得到了字段的说明后,将其转换成tuple。
超人学院
·
2015-06-12 16:00
hadoop
storm
超人学院
storm源码分析---Transactional spouts
不同
spout
的特性不同,一个transactionalspout会有如下这些特性:1、有着同样txid的batch一定是一样的。
超人学院
·
2015-06-02 18:00
hadoop
storm
超人学院
storm多语言机制的一个例子
Java端importbacktype.storm.
spout
.SpoutOutputCollector; importbacktype.storm.task.TopologyContext; importbacktype.storm.topology.base.BaseRichSpout
NB_vol_1
·
2015-06-02 17:00
C++
storm
word
多语言机制
一个storm的完整例子——WordCount
importbacktype.storm.
spout
.SpoutOutputCollector; importbacktype.storm.task.TopologyContext; importbacktype.storm.topology.base.BaseRichSpout
NB_vol_1
·
2015-05-31 11:00
集群
storm
wordcount
storm的学习
1、storm框架的核心:Topology、stream、
Spout
、Bolt、streamgrouping、Task、Worker2、storm的多语言机制是指可以使用其他的语言定义
Spout
和Bolt3
NB_vol_1
·
2015-05-31 10:00
storm
jar
语言
一个storm的完整例子——WordCount
importbacktype.storm.
spout
.SpoutOutputCollector; importbacktype.storm.task.TopologyContext; importbacktype.storm.topology.base.BaseRichSpout
nb_vol_1
·
2015-05-31 00:00
storm
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他