E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
BOLT
【2016-03-11】实时计算简介
ApacheStorm:Twitter开源,他们有上千台机器跑Storm;client端:spout(数据源):puma对接mysql的binlog,swallow对接应用消息,blackhole对接流量、打点日志;
bolt
rathan0
·
2016-03-11 23:00
storm开发经验分享
一个“task”指的是负责运行spout和
bolt
代码逻辑的单独一个线程;一个“worker”指的是负责向多个task投递消息的网络监听程序(独立的进程),每“worker”代理的“
xiaqian0917
·
2016-03-10 14:00
Storm实际使用经验
一、使用组件的并行度代替线程池Storm自身是一个分布式、多线程的框架,对每个Spout和
Bolt
,我们都可以设置其并发度;它也支持通过rebalance命令来动态调整并发度,把负载分摊到多个Worker
Hadas-Wk
·
2016-03-09 16:25
Storm
Strom(三)-Strom的特性
Acker工作流程1Spout创建一个新的Tuple时候,会发射一个消息通知acker去跟踪; collector.emit(newValues("value1","value2"),msgId);2
Bolt
xiongsheng
·
2016-03-07 10:00
Strom-(2)核心应用开发
Storm中,Spout和
Bolt
都是Component。Storm定义了一个名叫IComponent的总接口ØSpout的最顶层抽象是ISpout接口。
xiongsheng
·
2016-03-04 16:00
Storm实时计算之Stream Grouping
StreamGrouping定义了一个流在
Bolt
任务间该如何被切分。
gaojingsong
·
2016-03-01 14:48
grouping
ARKIsoft.ARKIPlan.2015 1CD 建筑制图软件
ARKIsoft.ARKIPlan.20151CD建筑制图软件 Csimsoft.
Bolt
.v1.0.0.Linux.Debian641CD螺栓设计 Csimsoft.
Bolt
.v1.0.0.Linux641CD
qq1140988741
·
2016-02-29 09:00
jstorm的acker机制
为了帮助理解,我们参考storm官网的几张图和例子说明这个原理,下面是个wordCount的例子,我们从spout发出来一条消息,这个消息就是一行文字,被下游的
bolt
切分处理,加工,然后再往后发,countbolt
tracymkgld
·
2016-02-23 16:00
storm
大数据
流计算
CoordinatdBolt原理分析
参考链接:http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-
bolt
/ CoordinatedBolt是非常关键的一个类
流水殇
·
2016-02-14 21:00
Storm事务Topology的接口介绍
TransactionalSpoutBatchExecutorBolt类型,用于执行ITransactionalSpout中的消息发送
Bolt
节点。
流水殇
·
2016-02-13 12:00
Csimsoft.
Bolt
.v1.0.0.X64 螺栓设计 + CEETRON.GLView.Inova.v10.0.0.Win32 64 linux 数据三维可视化工具
Csimsoft.
Bolt
.v1.0.0.X64螺栓设计螺栓是一个自动化的解决方案,从复杂的几何图形生成allhex网格与很少或没有用户交互。大多数模型可以通过简单的点击网状网按钮。
rrjjzzyy00
·
2016-02-12 12:00
第2周 Storm概念详解和工作原理,topology、spout、
bolt
的细节和API讲解之2
[root@localhoststorm]#cd/root/soft/code/teststorm/src/main/java/cn/dataguru/storm[root@localhoststorm]#rm-rf*[root@localhoststorm]#lsReportBolt.java SplitSentenceBolt.java WordCountTopology.javaSen
泡海椒
·
2016-02-08 09:00
Storm概念详解和工作原理,topology、spout、
bolt
的细节和API讲解之一
stormdatasource-->
bolt
| || |
bolt
--> 有向无环图boltstorm与传统数据库区别传统数据库先存后计算,而storm
泡海椒
·
2016-02-08 08:00
流式计算-Jstorm提交Topology过程(上)
Topology是Jstorm对有向无环图的抽象,内部封装了数据来源spout和数据处理单元
bolt
,以及spout和
bolt
、
bolt
和
bolt
之间的关系。它能够被提交到Jstorm集群。
mengfanrong
·
2016-02-07 16:00
从storm-jdbc谈谈component的生命周期
storm中的spout,
bolt
的生命周期,都是storm帮你管理好,你只要新建一个实例,指定该component的并行数,就可以。
ericquan8
·
2016-02-07 15:00
storm
component
storm-jdbc
component生命周期
Storm中Trident流合并的例子demo
流的合并操作,是指根据两个流的关联条件将两个流合并成一个流,然后在进行后面的处理操作,如果使用Spout和
Bolt
这种编程模型的话写起来会比较困难和繁琐,因为要设置缓冲区来保存第一次过来的数据
小石头_stone
·
2016-02-01 10:00
jstorm系列-1:入门
我们用spout来发送时间戳,
bolt
来处理时间戳并输出对应的问候语,并且统计每一时间段的问候数目,判断时间戳的生成是否随机。代码如下:publiccla
2BiTT
·
2016-01-30 20:00
jstorm系列-1:入门
我们用spout来发送时间戳,
bolt
来处理时间戳并输出对应的问候语,并且统计每一时间段的问候数目,判断时间戳的生成是否随机。代码如下:publiccla
2BiTT
·
2016-01-30 20:00
Storm学习日记
总体来说是一个订阅发布的功能,中间件主要由3部分组成,spoutbolttopology1.spout消息源有两种实现方式,继承BaseRichSpout类和实现IRichSpout接口主要用来接收消息,并发射给
bolt
Yovela
·
2016-01-28 17:00
Storm学习日记
总体来说是一个订阅发布的功能,中间件主要由3部分组成,spoutbolttopology1.spout消息源有两种实现方式,继承BaseRichSpout类和实现IRichSpout接口主要用来接收消息,并发射给
bolt
Yovela
·
2016-01-28 17:00
storm java 编程思路
总体思路storm编程和hadoop的mapreduce的编程很类似,hadoop的mapreduce需要自己实现map函数,reduce函数,还有一个主类驱动;storm需要自己实现spout,
bolt
张欢19933
·
2016-01-27 19:00
java
storm
编程思路
storm spout和
bolt
java api
ComponentStorm中,Spout和
Bolt
都是其Component。所以,Storm定义了一个名叫IComponent的总接口图谱如下:绿色部分是我们最常用、比较简单的部分。
张欢19933
·
2016-01-27 17:00
java
api
storm
spout和bolt
storm可靠机制
完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应该到达的
Bolt
的处理。
张欢19933
·
2016-01-26 15:00
storm可靠机制
storm自定义数据分组
一个数据流组指定了每个
bolt
会消费哪些数据流,以及如何消费它们。 storm自带数据流组随机数据流组随机流组是最常用的数据流组。
张欢19933
·
2016-01-26 11:00
storm自定义数据分组
storm笔记:storm基本概念
主要的概念包括:topology(拓扑)stream(数据流)spout(水龙头、数据源)
bolt
(螺栓,数据筛选处理)streamgroup(数据流分组)reliability(可靠性)task(任务
看山
·
2016-01-21 14:37
storm
Apache
Storm
学习笔记
[置顶] storm笔记:storm基本概念
主要的概念包括:topology(拓扑)stream(数据流)spout(水龙头、数据源)
bolt
(螺栓,数据筛选处理)streamgroup(数据流分组)reliability(可靠性)task(任务
tobacco5648
·
2016-01-21 14:00
storm
Storm - 事务管理
NOTE:事务性拓扑是一个构建于标准Stormspout和
bolt
之上的抽象概念。设计在事务性拓扑中,Storm以并行和顺序处理混合的方式处理元组。spout并行分批创建供
bolt
chong023
·
2016-01-20 12:45
storm
transaction
框架工具
Storm - 事务管理
NOTE:事务性拓扑是一个构建于标准Storm spout和
bolt
之上的抽象概念。设计在事务性拓扑中,Storm以并行和顺序处理混合的方式处理元组。spout并行分批创建供bo
chong023
·
2016-01-20 12:45
storm
transaction
Storm数据流模型的分析及讨论
Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、Spout、
Bolt
等等。
chong023
·
2016-01-20 11:36
Stream
storm
Module
Storm数据流模型的分析及讨论
Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、Spout、
Bolt
等等。
chong023
·
2016-01-20 11:36
storm
stream
module
框架工具
【Storm入门指南】第七章 在 Storm 中使用非 JVM 语言
Storm是用Java实现的,你之前所看到的本书那些示例spout和
bolt
也是用Java来编码的。所以能用能用Python、Ruby或者JavaScript来编写呢?答案是肯定的。
顺顺顺子
·
2016-01-19 17:43
Storm
译Storm入门指南第七章
在
Stor
storm
流式大数据处理的三种框架:Storm,Spark和Samza
一个拓扑中包括spout和
bolt
两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去;而
bolt
则负责转换这些数据流,在
bolt
中可以完
chong023
·
2016-01-19 17:38
spark
Stream
storm
Samza
流式大数据处理的三种框架:Storm,Spark和Samza
一个拓扑中包括spout和
bolt
两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去;而
bolt
则负责转换这些数据流,在
bolt
中可以完
chong023
·
2016-01-19 17:38
stream
storm
spark
s
开发设计
Storm的数据处理编程单元:
Bolt
学习整理
Bolt
是Topology中的数据处理的单元,也是Storm针对处理过程的编程单元。
超大的雪童子
·
2016-01-16 20:00
Storm的初步学习总结(二)
Storm的DRPC书写和正常的storm处理程序类似,只不过spout和传结果到客户端的
bolt
都已经给好了,需要书写的只是中间处理的
bolt
。服务器端代码如
焦躁不安的程序鑫
·
2016-01-16 20:00
storm
Storm分组机制
StreamGrouping定义了一个流在
Bolt
任务间该如何被切分。
sungyang
·
2016-01-15 15:00
storm
group
分组机制
Storm分组机制
阅读更多StreamGrouping定义了一个流在
Bolt
任务间该如何被切分。
sungyang
·
2016-01-15 15:00
storm
group
分组机制
Storm分组机制
阅读更多StreamGrouping定义了一个流在
Bolt
任务间该如何被切分。
sungyang
·
2016-01-15 15:00
storm
group
分组机制
Storm官方帮助手册翻译(下)
使用其他语言编写
Bolt
Bolt
可以使用任意语言编写。用另外一种语言编写
Bolt
来作为子进程运行。Storm会在标准输入输出的基础上使用Json来与子进程通信。
am_danger
·
2016-01-14 17:00
storm
英文
官方
帮助
手册
storm的作业单元:Topology
那么,组件根据作用的不同,在Storm中分为两类:Spout组件和
Bolt
组件。而Topology就是这两类组件通过数据流连接的一种计算逻辑结构。
超大的雪童子
·
2016-01-10 21:00
【车坛风云】雪佛兰推出2017款
Bolt
纯电动车
雪佛兰在2016年国际消费电子展上发布了2017款
Bolt
纯电动车。这款电动车拥有超长的续航里程,实现了雪佛兰品牌对消费者的坚实承诺。
轿车情报
·
2016-01-08 00:00
五、DRPC
DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语spout,
bolt
,topology而成的一种模式(pattern)。本来应
u013360022
·
2015-12-31 11:00
二、Topology的并行度
每一个Spout和
Bolt
会被当作很多task在整个集群里面执行。默认情况下每一个tas
u013360022
·
2015-12-28 14:00
一、storm基础概念
同样,Storm也对数据的实时计算提供了简单Spout和
Bolt
原语。Storm适用的场景:(1)、流数据处理:Storm可以用来用来处理源源不断的消息,并将处理之
u013360022
·
2015-12-27 17:00
Storm Trident API总结-1
TridentAPI的困难有如下几个方面的原因:Trident本身是一种更高层的抽象,它完全封装了
Bolt
以及Topology,你很难利用之前StormAPI来理解。
wb81074
·
2015-12-16 18:00
分区
storm
api
分组
trident
trident
聚合
Storm DRPC实现机制分析剖析
DRPC是建立在Storm基本概念(Topology、Spout、
Bolt
、Stream等)之上的高层抽象,个人理解它的目标是在Storm集群之上提供一种分布式的RPC框架,以便能够利用
afreon
·
2015-12-16 17:00
storm
storm-starter
DRPC实现机制
incubator-storm
Apache Storm技术实战之1 -- nimbus启动场景分析
stormcluster中有以下各种进程1.nimbus2.zookeeper3.supervisor4.worker进程之间的逻辑关系如下图所示,其中executor是运行于进程worker中的线程用于执行spout或是
bolt
general_du
·
2015-12-11 18:57
Storm
Storm可靠性总结
本文主要参考了Storm的可靠性文档Storm的可靠性是通过一个叫做Acker的模块来实现的,它会跟踪Spout、
Bolt
发送tuple时所形成的tuple树,看tuple树是成功处理(tuple叶子是否被都被处理
wb81074
·
2015-12-11 10:00
storm
storm可靠性
Acker
Flume、Kafka、Storm结合
进行重构,调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口,调用kafka的消息消费者(Consumer)来接收消息,然后经过几个自定义的
Bolt
Man_华
·
2015-11-27 16:00
Storm开发过程中的问题与建议
(一)topology层级建议设不要设置过多storm讲究是流式计算,spout发送数据,下游的
bolt
处理数据,数据的处理计算就像流水线作业一样,每一个节点完成特定的工序;但是这种流水作业的深度不易过长
Kevin.Yang
·
2015-11-26 21:32
Storm
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他