E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spout
Storm集群中运行的各种组件及其并行
在Storm中,一个task就是运行在集群中的一个
Spout
或Bolt实例。
suifeng3051
·
2014-11-13 16:00
storm
topology
Storm组件
Storm并行
【Storm总结-3】Storm如何保证消息不丢失 (Guaranteeing-message-processing)
--------------本文翻译自:https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processingstorm保证从
spout
Allen_Oscar
·
2014-11-10 16:31
Storm
【Storm总结-3】Storm如何保证消息不丢失 (Guaranteeing-message-processing)
-------------本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processingstorm保证从
spout
Allen_gang
·
2014-11-10 16:00
storm 可靠性机制保证
先概括下acker所参与的工作流程:1.
Spout
创建一个新的
wangjin161
·
2014-11-03 20:00
storm
storm
spout
bolt api基本介绍
注:转帖请注明,原帖地址:http://blog.csdn.net/xeseo/article/details/17750379 ComponentStorm中,
Spout
和Bolt都是其Component
wangjin161
·
2014-11-03 20:00
storm
storm 实时
首先创建一个Topology主类, 然后
spout
是从kafka就收的数据流 KafkaSpout, 第一个bolt会从前面的
spout
接收数据,做一些初步的处理,传输给下一个bolt 不适应重量级的计算
xiangjinqi
·
2014-10-30 16:00
storm
storm grouping
这种混排分组意味着来自
Spout
的输入将混排,或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。
hansha2
·
2014-10-28 10:00
storm
storm学习1
-分析处理 数据之间有关系(聚合等):如日志pv/uv统计、访问热点统计DGA计算模型tuple:数据处理单元stream:持续的tuple流
spout
:从外部获取数据,输出原始tuplebolt:接收
幻想vs理想
·
2014-10-26 16:00
storm
Storm【压力测试】- 系列1: 进行简单的压力测试
storm.benchmark; import backtype.storm.Config; import backtype.storm.StormSubmitter; import backtype.storm.
spout
.SpoutOutputCollector
止静
·
2014-10-16 14:00
storm的ack和fail<转>
为了保证数据能正确的被处理,对于
spout
产生的每一个tuple,storm都会进行跟踪,这里面涉及到ack/fail的处理,如果一个tuple处理成功,会调用
spout
的ack方法,如果失败,会调用fail
yongjian_luo
·
2014-10-10 18:00
IRichBolt和IBasicBolt对比<转>
这样storm就可以检测整个tuple树有没有完成处理,并且通知源
spout
处理结果。storm提供了一些简洁的api来做这些事情。由一个tuple产生一个新的tuple称为:anchoring。
yongjian_luo
·
2014-10-10 18:00
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的
Spout
elf8848
·
2014-10-09 10:00
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序Storm优势1.简单的编程模型类似于MapReduce的
Spout
大阳阳
·
2014-10-09 10:00
T
Storm ack和fail机制再论<转>
messageid 2.在配置中acker数目至少为1 3.在boltemit的时候,要加上第二个参数anchortuple,以保持tracker链路 流程,1.当tuple具有messageid时,
spout
yongjian_luo
·
2014-09-26 18:00
Storm术语简介
Task:worker中每一个
spout
/bolt的线程称为一个task.在storm0.8之后,task不再与物理线程对应,同一个
spout
/bolt的task可能会共享一个物理线程
Cap_zhou
·
2014-09-26 10:00
storm
storm 0.9.2单机性能测试
Topology结构:
spout
输出80万数据(csv格式);bolt1解析csv,拆分各信息段;bolt2按bolt1中某个字段汇总,累加记数后入库(入库触发频率:60s)。
GoldenRoc
·
2014-09-23 12:00
Storm介绍
Storm集群的输入流是一个叫
spout
的组件负责接入处理。
spout
把数据传给bolt组件,bolt组件可以对数据完成某种转化。bolt组件可以把数据持久化,或者传送到其他的bolt。
莫问viva
·
2014-09-23 11:00
Redis系列 -5 【Storm-redis-pubsub】 -Storm接口系列
简单实现,参看代码说话:package yieldbot.storm.
spout
; import static backtype.storm.utils.Utils.tuple; import java.util.Map
止静
·
2014-09-18 11:00
Storm实践3【TopN封装版】 - 1: 简要介绍
在阅读之前务必请先参看本ID的Storm实践系列2 阅读目的: 优化之前的封装 最新版本的StormTOPN整体的构造如下: 依然包含如下的几个package: 1
Spout
止静
·
2014-09-13 13:00
storm-topology
spout
和bolt都可以产生数据流,但是grouping可以决定如何选择下一个处理stream。 Shufle Grouping &n
wind35
·
2014-09-11 09:00
storm
Storm[TOPN -排序] - RandomEmitSPout
本章主题: 简要的模拟如何接收数据: package com.cc.storm.
spout
; import java.io.IOException; import java.util.Map
止静
·
2014-09-03 17:00
Storm实践
业务场景:读取nginx日志,根据$HOST、$PATH、$Cluste、$APP来统计PV,UV,错误码,响应时间等进程模型:
Spout
:读取日志,解析日志,根据配置的规则对日志过滤和分类,同时对记录打上分钟为单位的标签
anghlq
·
2014-08-30 10:00
strom中worker、task、
spout
/bolt、executor、component的关系
storm学习网站:http://chenlx.blog.51cto.com/4096635/d-1/p-1整理一下网上有关worker、task、
spout
/bolt、executor、component
forever_ai
·
2014-08-27 11:11
storm
strom中worker、task、
spout
/bolt、executor、component的关系
storm学习网站:http://chenlx.blog.51cto.com/4096635/d-1/p-1整理一下网上有关worker、task、
spout
/bolt、executor、component
An342647823
·
2014-08-27 11:00
storm
strom中worker、task、
spout
/bolt、executor、component的关系
整理一下网上有关worker、task、
spout
/bolt、executor、component之间的关系。
fzhmoive
·
2014-08-22 11:00
storm
Storm 简介
Executor:运行
spout
/bolt的线程Task:worker中每一个
spout
/bolt的线程称为一个task.Topology:storm中运行的实时应用程序,消
hwssg
·
2014-08-20 10:00
storm
Storm【实践系列-如何写一个爬虫 2】 - RandomURLSpout
package com.digitalpebble.storm.crawler.
spout
; import java.util.Map; import java.util.Random; import
止静
·
2014-08-18 09:00
storm-编程入门
一编程接口
Spout
接口
Spout
组件的实现可以通过继承BaseRichSpout类或者其他*
Spout
类来完成,也可以通过实现IRichSpout接口来实现
Crazy__Programmer
·
2014-08-10 21:00
storm
Storm-kafka【接口实现】4 - KafkaSpout
com.mixbox.storm.kafka; import backtype.storm.Config; import backtype.storm.metric.api.IMetric; import backtype.storm.
spout
.SpoutOutputCollector
止静
·
2014-08-08 16:00
storm 学习
一个topology拓扑图包含多个
spout
和多个bolt
spout
用来读取数据 bolt用来处理数据 --------------------------------------
Tristan_S
·
2014-08-06 17:00
storm
kafka+storm初探
一、storm简介 Storm的术语包括Stream、
Spout
、Bolt、Task、Worker、StreamGrouping和Topology。Stream是被处理的数据。
GoldenRoc
·
2014-08-06 11:00
storm
kafka
Storm详解一、Storm 概述
在Storm集群中处理输入流的是
Spout
组件,而
Spout
又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理,也有可能传递给下一个Bolt。
suifeng3051
·
2014-08-04 10:00
入门
storm
介绍
概述
开发测试时给 Kafka 发消息的 UI 发送器——Mikasa
目前来说外面的Storm拓扑的
Spout
是从Kafka中流入数据的。但是我们要给Kafka发送测试数据的时候,就需要跑到Kafka的测试服务器打开它的一个发送脚本进去发送,非
死月
·
2014-07-30 00:00
kafka
node.js
storm
storm笔记
spout
和bolt
水龙头的部分是数据产生器(
spout
),中间流经的各个节点(bolt)对数据进行分阶段处理。这个模型有点类似以前接触过的过滤器(filt
yaochitc
·
2014-07-26 20:00
storm学习四 开发简单的Topology程序
storm的程序开发可以理解为三步骤(1)
Spout
(2)blot(3)main类(这个应该一成不变)废话不多讲,直接上代码:packagemain.java.storm.cookbook; importjava.util.Map
hao707822882
·
2014-07-25 07:00
storm
storm学习三 drpc学习
DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC,而是通过在Topoloye中的
spout
hao707822882
·
2014-07-23 20:00
storm
Storm数据流模型的分析及讨论
Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、
Spout
、Bolt等等。
wbj0110
·
2014-07-01 09:00
storm
Storm数据流模型的分析及讨论
Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、
Spout
、Bolt等等。
wbj0110
·
2014-07-01 09:00
storm
Storm数据流模型的分析及讨论
Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、
Spout
、Bolt等等。
wbj0110
·
2014-07-01 09:00
storm
Storm应用系列之——可靠性与acker机制
先概括下acker所参与的工作流程:1.
Spout
创建一个新的
wbj0110
·
2014-06-28 13:00
storm
Storm应用系列之——可靠性与acker机制
先概括下acker所参与的工作流程:1.
Spout
创建一个新的
wbj0110
·
2014-06-28 13:00
storm
Storm应用系列之——可靠性与acker机制
先概括下acker所参与的工作流程:1.
Spout
创建一个新的
wbj0110
·
2014-06-28 13:00
storm
Storm应用系列之——
Spout
、Bolt API
前言: 昨天有朋友聊天说,我写的前面三篇太简单了,没有太多深入的东西。好吧,这说明我的目的达到了。我写这个系列的原因就是为了面向应用,进一步细化为两点: 1.以例子说话,由简入深,一步步了解如何在Storm上开发应用,不会读起来吃力; 2.对于一些原理性的东西,不去过于深究,只要记住Storm是这样实现的,开发的时候加以利用或规避。在明白了这些基础的东西以后,如果对于原理性的东西
wbj0110
·
2014-06-28 13:00
storm
Storm应用系列之——
Spout
、Bolt API
前言: 昨天有朋友聊天说,我写的前面三篇太简单了,没有太多深入的东西。好吧,这说明我的目的达到了。我写这个系列的原因就是为了面向应用,进一步细化为两点: 1.以例子说话,由简入深,一步步了解如何在Storm上开发应用,不会读起来吃力; 2.对于一些原理性的东西,不去过于深究,只要记住Storm是这样实现的,开发的时候加以利用或规避。在明白了这些基础的东西以后,如果对于原理性的东西
wbj0110
·
2014-06-28 13:00
storm
Storm应用系列之——
Spout
、Bolt API
前言: 昨天有朋友聊天说,我写的前面三篇太简单了,没有太多深入的东西。好吧,这说明我的目的达到了。我写这个系列的原因就是为了面向应用,进一步细化为两点: 1.以例子说话,由简入深,一步步了解如何在Storm上开发应用,不会读起来吃力; 2.对于一些原理性的东西,不去过于深究,只要记住Storm是这样实现的,开发的时候加以利用或规避。在明白了这些基础的东西以后,如果对于原理性的东西
wbj0110
·
2014-06-28 13:00
storm
Spout
【API 解析】 -
spout
-bolt-
Component在Storm之中,
Spout
和Bolt都是其Compnent,所以在Storm之中定义了一个名叫IComponent的总接口
Spout
在前面的基本例子中,我们实现了一个RandomSout
止静
·
2014-06-25 15:00
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的
Spout
elf8848
·
2014-06-25 00:00
T
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的
Spout
elf8848
·
2014-06-25 00:00
T
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的
Spout
elf8848
·
2014-06-25 00:00
T
Stom概念
自己实现一个实时计算系统要考虑哪些问题1.低延迟、高性能、分布式(单机已无法满足要求)、可扩展、容错2.容易在上面开发应用程序,消息不丢失败、消息严格有序 Storm优势1.简单的编程模型类似于MapReduce的
Spout
elf8848
·
2014-06-25 00:00
T
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他